A kastély és a körülötte lévő uradalom az 1830-as években egy Csekey nevű birtokosé volt, de ő tönkrement, kénytelen volt a birtok egy részét részenként eladni. A kastélyt dr Dorogi Farkas Ákos Budapest polgármestere vette meg. Galibapusztán 42 család élt, sok cseléd volt, Dorogiéknak intézőjük, vincellérjük. Amikor az 1940-es években jött a szovjet hadsereg, a kastély mögötti kovácsműhelyben elásták az értékeket és Dorogiék visszamentek Pestre, majd Németországba disszidáltak. Az értékeket - valószínűleg azok, akik elásták - ellopták, az oroszok elől a bort kiöntözték, a teményeket a kastély befalazott padlásáról elhordták. Az oroszok a környék összes lábasjószágát elhajtották. Amikor elvonultak a kastély hosszabb ideig üresen állt, az állami gazdaság tulajdonába került. Egyik szárnyába Pásztor József dejtári származású tanító költözött, aki később elvette a másik szárnyba költözött agronómus lányát. Ebben az időben a kastály iskola volt - sok volt a gyerek. Ahogy a gyerekek kinőtték az iskolát, megfogytak, a nyírjesi és a csesztvei iskolába helyezték a kevés iskolás korút. A gazdaság a kastélyban dohányt simíttatott, Pásztor tanítóék Balassagyarmatra költöztek. a családok is elszállingóztak, ki-ki Ipolyszögre, Balassagyarmatra.

A kastély sokáig a Magyarnándori Állami Gazdaság tulajdonában maradt, jelenleg Nagy Zoltán tulajdona, ott is lakik. 2020-tól jelentős felújítást végeztek és a parkját is - ami jelentős természeti érték - elkezdték rendbehozni.