Graditeljem mu je trogirski plemić Stjepan Staphileo (Štafileo, Štafilić), podrijetlom s Krete. U Trogir je došao u drugoj polovici 15. stoljeća.Na njegovo podrijetlo ukazuje i njegov obiteljski grb koji na štitu ima grozd. Godine 1508. sagradio je na hridima u moru kaštel. Utvrda je nalik Koriolanovu kaštelu, utvrđena kuća s dvorištem, ulaz brani kula s pokretnim mostom. Koncesiju za gradnju dobio je godine 1500. Pri koncu gradnje trogirski knez Aleksandar Viaro izdao je dozvolu kojom dopušta ograđivanje prostora uz kaštel, koji bi prostor poslužio za izgradnju sela.
Planski gradi selo nasipajući prostor između stare rimske ceste i kaštela. Selo je bilo opasano s tri strane bedemima koji se pružaju u more, na uglovima su kule. Selo su naselili izbjeglice iz Bijaća. Selo je bilo zaštićeno i jarkom, koji se za nevremena plavio morem. Stjepan je umro 1519., te svoje imanje ostavlja sinovima: Petru koji pogiba braneći kaštel od Turaka, Ivanu šibenskom biskupu i vatikanskome diplomatu, koji u Štafilić donosi sliku Čudotvorne Gospe, dar poljskog kralja Sigmunda III. Vase. Jakov je imao četiri kćeri koje su se udale u obitelji: Andreis, Kažotić, Ferro i Zavoreo.