Per la costruzione della Reggia era necessario impiegare molta manodopera, costituita non solo da operai semplici, ma anche da operai specializzati provenienti dalle zone vicine e da altre regioni. Vennero, inoltre impiegati anche degli "schiavi maomettani", catturati dalla marina borbonica durante le loro incursioni sulle coste del sud Italia. Molti provenivano dal Marocco e dall'Albania e ad essi erano riservati i lavori più duri. Risiedevano nel territorio di Ercole e negli edifici adiacenti la futura reggia, che oggi si trovano in Via Passionisti ( ora sede della Società di Storia Patria ). Ricevevano un piccolo compenso, vitto, alloggio ma erano sorvegliati e tenuti in catene.