Hallset har gradvis utviklet seg fra å være et landbruksområde med spredt gårdsbebyggelse, til å bli en drabantby. Mye av utviklingen skjedde på 1960- og 70-tallet da Sverre Pedersen utarbeidet en plan for utviklingen av området. Med utviklingen av boligbebyggelse på stedet kom også funksjoner som skoler, kjøpesenter og kirke på 60 og 70-tallet. Andre viktige elementer er jernbanen som kom i 1864 og trikken som kom i 1924.

Karakteristisk for området er blokkbebyggelsen i de store borettslagene Søndre Hallset og Selsbakkhøgda. Her er det lagt vekt på lav høyde på byggene og rikelig med uterom og sol, som var i tråd med Pedersens plan for området. Gårdstunene Selsbakk og Hallset ligger på hver sin ende av den tidligere allèen i selsbakkvegen.