A Batsford arborétum története 1886-ban kezdődött, amikor Algernin Bertram Freeman-Mitford, a későbbi I. Lord Redesdale megörökölte az uradalmat. Az örökös az 1860-as években a brit külügy képviseletében többek között Japánban és Kínában tevékenykedett. Ez nagyban meghatározta az arborétum kialakítását, hiszen a kert számos területét a tervezője távol-keleti mintára alakította ki. Az örökség birtokbavétele után nem sokat teketóriázott, az akkori György-kori udvarházat leromboltatta, helyére egy Tudor stílusú épületett húzatott fel. A birtokkal is hasonlóan járt el. A korábbi parkot teljesen felszámolta, helyén Japán és Kínai mintára vadregényes kerteket alakított ki, itt egy pihenőként szolgáló pagodával, ott egy Buddha szoborral, amott kínai oroszlánnal, sok-sok bambusszal, tavacskával és egy mesterséges, a hegyoldalban 600 méter hosszan csörgedező patakkal. Az akkor betelepített fák képezik ma is az arborétum gyűjteményének alapját.

1916-ban Mitford meghalt. Fia nem tudta fenntartani a hatalmas birtokot, így az első világháború után a család kénytelen volt megválni tőle. Gilbert Alan Hamilton Wills, a későbbi I. Loard Dulverton vette meg, de a második világháború alatt és az azt követő néhány évben ő sem tudta kellően gondozni, a növények elvadultak az épületek állaga jelentősen leromlott. 1956-ban az ifjabb Hamilton Wills, II. Lord Dulverton mentette meg a pusztulástól. Új fákat, nyírt, juhart, kőrist, magnóliát, különböző fenyőket telepített, a kertet eredeti szépségébe varázsolta vissza. Az arborétum mai kialakítása az ő idejében született meg.

1992-es halálával Lord Dulverton az Arborétumot az általa létrehozott Batsford alapítványra hagyta.