Jej nazwa wcale nie jest taka jednoznaczna. Nie wywodzi się bynajmniej od potężnych hodowli bydła mlecznego, chociaż całą masę mniejszych i większych porcelanowych jałówek kupić dziś można w sklepiku na tamtejszym rynku.
Nazwa pochodzi najpewniej od krętej rzeczki przepływającej ongiś przez porośnięte jałowcem tereny. Dziś znaczną część jej brzegów porasta zwarty las zwany Lasem Jałowskim. Kiedyś Jałówka była miastem położonym u zbiegu ruchliwych traktów królewskich z Mazowsza na Ruś i z Brześcia do Wilna. Legenda głosi, że sam Zygmunt Stary je tutaj lokował na prośbę swej żony – Bony, a prawa miejskie za namową matki nadał Zygmunt August. Jego popiersie zdobi dziś jałówiecki ryneczek.
Miasteczko było siedzibą starostwa i dóbr królewskich. Przynajmniej dwukrotnie odwiedził je Stefan Batory. Spustoszone podczas wojny północnej (1704-1708) przez obie armie – i polską, i szwedzką – podniosło się na nogi, by w końcu, w ramach represji po powstaniu styczniowym, zupełnie prawa miejskie utracić. Jałówka była niegdyś najprawdziwszym kresowym, wielokulturowym miasteczkiem (podobno nawet Węgrzy tutaj mieszkali). Posiadała cerkiew, kościół i dwie synagogi. Żydów spacyfikowano podczas II wojny. Pozostał po nich trudny do odnalezienia kirkut na zalesionych wzgórzach przy drodze do Kondratek. Fragmenty przysypanych ziemią macew potrafią już wskazać tylko miejscowi.
W Jałówce zachował się do dziś dawny układ zabudowy – duży, zadrzewiony rynek pośrodku miejscowości i rozbiegające się od niego uliczki zabudowane ładnymi, drewnianymi domami. Przy rynku mieszkała głównie ludność żydowska. Większość ich zabudowań spalili Niemcy podczas pacyfikacji i nigdy nie zostały odbudowane. Warta obejrzenia jest w miejscowości cerkiew Podwyższenia Krzyża Świętego (położona tuż przy rynku) i XIX-wieczny kościół Przemienienia Pańskiego, który po powstaniu styczniowym przebudowano na cerkiew, a w 1922 r. ponownie przywrócono katolikom.
Wieś, licząca dziś niewiele ponad 300 mieszkańców, oprócz resztek kirkutu posiada dwa duże cmentarze. Na katolickim, leżącym przy drodze prowadzącej do granicy, wśród starych nagrobków natrafić możemy na dalekie echo twórczości Orzeszkowej – groby Bohatyrowiczów. W pobliżu cmentarza warto odwiedzić imponujące ruiny zbombardowanego przez Niemców kościoła św. Antoniego Padewskiego.