V antiki kraj izgleda še ni bil naseljen, v zgodnjem srednjem veku pa je zaradi kuge v Osorju v njem za eno leto bil celo sedež škofije. Kasneje se je sedež škofije za celotno področje Kvarnerja preneslo v mesto Krk. Veli Lošinj se je močneje začel razvijati v 13. in 14. st., V 15. st. je bil zgrajen obrambni stolp, ki naj bi prebivalce vsaj za silo ščitil pred pirati in drugimi napadalci. Vizualni podobi mesta kar preveč gospoduje velika baročna cerkev Sv. Antona iz 18. st. Ta je bila kot tretja po vrsti zgrajena na temeljih starejših cerkva (iz 15. in 17. st.), v njej pa je srhranjena najbogatejša zbirka slik italijanskih mostrov v Kvarnerju. S slikami je bogata tudi cerkev Sv. Marije iz začetka 16. st.Pomembna dejavnost Velega Lošinja je bilo od nekdaj morjeplovstvo. Kapitani iz tega mesta so pluli po vsem svetu ter domov prinašali dragocenosti in zaslužek. Njihove hiše so med najlepšimi od hiš, ki se ovijajo okrog malega zaliva. Kasneje pa je Veli Lošinj zgradil ladjedelnico v "Mali luki" in tako se je vedno bolj začel razvijati Mali Lošinj, Veli pa je stagniral. Danes se mesto skoraj izključno posveča turizmu.