Az első ismert írott emlék Coggesról Hódító Vilmos egész Angliára kiterjedő leltárában, a Domesday könyvben található. Az akkor feljegyzett birtokos, Wadard, normann lovag volt, aki az ország sorsát eldöntő 1066-os hastingsi csatában a megszálló normann hadsereg, azaz Vilmos oldalán harcolt. Az akkor őshonos angolszászok szolgává váltak földjeiken, ezért is nevezték a leltárt doomsday-nek, azaz végítélet napjának, amely kifejezéssel a név szóbeli kiejtése ma is egyezik, mindössze az írott forma maradt a régies Domesday. A történelem során ekkor történt utoljára, hogy a Brit szigeteket idegen hatalom szállta meg és fogalta el az ott élők akarata ellenére. (Érdemes megjegyezni, hogy szinte pont 600 évvel később azért érkezett egy idegen megszálló sereg a Brit földekre élén a holland Orániai Vilmossal, akit III. Vilmos néven később angol királlyá is koronáztak. Azonban a protestáns haderő kifejezetten az angolok többségének kívánságára érkezett, és vérontás nélkül taszította le trónjáról a katolikus II. Jakabot 1688-ban.)

Az első uradalmi házat a hastingsi csata után valamivel később, kevéssel 1100 előtt már az Arsic család építette a birtokot átszelő Windrush folyó partján. Ennek az épületnek ma már nincs látható nyoma, a mai kastély első változatának alapkövét Walter de Grey tette le a 13. században a folyótól távolabbi, kevésbé iszapos területen. Mint mindenki, aki a 15. századi 32 évig tartó angol örökösödési háborúban – a rózsák háborújában – a Yorkok oldalán állt, a de Grey család is megszívta, és elvesztette vagyonát. Coggest az új király, VII. Henrik kisajátította, majd utódja, VIII. Henrik a 16. század közepén Sir Thomas Popenak adományozta. Az azóta eltelt fél évezred alatt az uradalom többször tulajdonost váltott, az épületet számos alkalommal kibővítették, egyes részeit újjáépítették.

Végül 1974-ben az Oxfordshire-i Megyei Önkormányzat vette meg, és múzeummá alakította. A vidéki életet bemutató múzeumot az önkormányzat 2009-ben bezárta. Cogges alapítványi keretek között 2011-ben nyílt meg újra a nagyközönségnek, de már nem hagyományos múzeumként, hanem működő farmként, ahol a látogatók megtekinthetik vagy önkéntes munkával ki is próbálhatják az állattartás, a növénytermesztés és az élelmiszerfeldolgozás hagyományos és mai módszereit. A fenntartó alapítvány jelképes összegért, évente egy kosár almáért bérli az önkormányzattól a területet. Cogges számos történelmi film forgatási helyszíne is. Talán a legismertebb ezek közül a Downtown Abbey filmsorozat.