Appartenne alla famiglia sin dalla metà del XIV secolo e fu ristrutturata da Michelozzo su incarico di Cosimo il Vecchio. Abitata in genere nel periodo estivo, fu amata da Lorenzo de' Medici, che vi risiedette nell'adolescenza e vi ospitò spesso la sua corte di filosofi umanisti. Nel 1537 la villa divenne di proprietà del duca Cosimo I, che la ampliò e vi fece realizzare un grande "Barco" murato (cioè una riserva di caccia), dove animali rari potevano scorrazzare in libertà. Il ruolo della villa come casino di caccia fu ancora più sottolineato da figli di Cosimo, come Francesco I e Ferdinando I, che vi soggiornavano solitamente nei mesi autunnali. Fu per merito dei fratelli vasai Piero e Stefano di Filippo Schiavon provenienti da Montelupo e di Lorenzo di Pierfrancesco dei Medici, a cui il cugino Lorenzo il Magnifico aveva ceduto la villa, se negli ultimi anni del Quattrocento prese il via nella Villa Medicea di Cafaggiolo, in un'area prospiciente le attuali scuderie, una delle più celebri officine ceramiche del Rinascimento.