Prema povjesničaru Ivanu Lučiću je prvi Vitturi po imenu Jakov došao u Trogir iz Venecije 1213. godine. Oženio je Dobrilu Ciga (Cega), te su se njegovi potomci pohrvatili bračnim vezama s trogirskim obiteljima. Narod je Vitturije nazvao Lušići, po svemu sudeći po Lukši Vitturiju koji je živio u 14. stoljeću, pa je tako nazvan i njihov kaštel i selo oko njega.
Kaštel se sastojao od dvorišta na sjeveru koje je bilo okruženo obrambenim zidovima s kulama i dvokatne stambene građevine na južnom dijelu. Drugi kat te građevine je bio ukrašen renesansnim prozorima i triforom s balkonom. Na prvom su katu pak bili manji četvrtasti prozori, dok su u prizemlju na sredini južnog pročelja bila morska vrata uz koja su mogli pristajati brodovi.
Južni dio je dakle sagrađen u moru, a sjeverni dio je obrambenim jarkom punim morske vode preko kojeg se prebacivao pomični most bio odvojen od kopna. Godine 1561., braća Jakov i Jerolim preuređuju kaštel te uz obrambene zidove nadodaju dvokatna krila i dvokatnu renesansnu galeriju. Na prvom katu ugrađuju renesansne otvore i peterodijelni balkon. Pronađeni kameni fragmenti dijelova strojeva za preradu grožđa i maslina služe kao dokaz da je osim obrambene uloge ovaj kaštel imao i gospodarski značaj.
Nakon prestanka turske opasnosti, kaštel gubi svoju obrambenu ulogu. Demontirani su renesansni prozori s južne strane na čije mjesto dolaze barokni prozori, a južni i sjeverni dio se povezuju krovom u jedinstvenu cjelinu.
Obitelj Michieli-Vitturi je živjela u kaštelu sve do 1943. Nakon Drugog svjetskog rata je u njemu smještena osnovna i poljoprivredna škola, te dječje odmaralište. Kaštelu je vraćen izgled kakav je imao oko 1700. godine kada su vršeni radovi na obnovi od 1993. do 2001. Danas su u kaštelu Vitturi smješteni Muzej grada Kaštela i Turistička zajednica grada Kaštela.