Aan het einde van de achttiende eeuw bevond zich op het domein in Esen een jachtpaviljoen dat eigendom was van apotheker De Ruysscher. Dit bescheiden buitenverblijf paste binnen de toen gangbare praktijk waarbij gegoede burgers zich een landelijk toevluchtsoord veroorloofden buiten de stedelijke kern. In de loop van de jaren 1860 werd het oorspronkelijke paviljoen gesloopt en vervangen door een volwaardig kasteel, opgetrokken in Victoriaanse stijl. Het nieuwe gebouw, uitgevoerd in rode baksteen en voorzien van decoratieve elementen die typerend waren voor de negentiende-eeuwse Engelse architectuur, straalde status en representativiteit uit en vormde een markant onderdeel van het omliggende landschap.
Door een huwelijk kwam het domein later in handen van de Ieperse adellijke familie Hynderick de Ghelcke, die het kasteel als residentie gebruikte. Het uitbreken van de Eerste Wereldoorlog betekende echter een dramatische breuk in de geschiedenis van het Esenkasteel. In oktober 1914, in de aanloop naar de Slag om de IJzer, werd het kasteel bezet door de 6de Duitse legerdivisie. Het gebouw fungeerde als strategische uitvalsbasis voor de aanval op Diksmuide. De zware gevechten in deze cruciale fase van de oorlog leidden tot de volledige vernieling van het kasteel. Het domein bleef vervolgens tot aan het geallieerde Eindoffensief van september 1918 in Duitse handen en lag gedurende de oorlogsjaren grotendeels in puin.
Na de oorlog werd beslist het kasteel opnieuw op te bouwen. In 1925 verrees op dezelfde locatie een nieuw landhuis, ontworpen door architect Lauwers. Ditmaal werd gekozen voor een neoclassicistische stijl, die rust, symmetrie en monumentaliteit uitstraalde. Het gebouw werd opgetrokken in gele baksteen en onderscheidde zich duidelijk van zijn negentiende-eeuwse voorganger, zowel in vormgeving als in materiaalgebruik. Het nieuwe kasteel herstelde het residentiële karakter van het domein en sloot aan bij de heropbouwarchitectuur die kenmerkend was voor het interbellum in de Westhoek.
Tijdens de Tweede Wereldoorlog bleef het kasteel grotendeels gespaard van zware schade, al werd het gedurende lange perioden bezet door Duitse troepen. In de laatste oorlogsmaanden, tegen het einde van 1944, verbleef de Britse veldmaarschalk Bernard Montgomery er tijdelijk, wat het strategische belang van het gebouw en zijn ligging opnieuw onderstreepte.
Na de oorlog bleef het domein eigendom van de familie Hynderick de Ghelcke. In 1983 verkocht Suzanne Hynderick de Ghelcke het kasteel aan de stad Diksmuide. Aanvankelijk werd geen definitieve bestemming gevonden voor het gebouw. In de tweede helft van de jaren tachtig deed het korte tijd dienst als oorlogsmuseum, waarbij de focus lag op de lokale oorlogsgeschiedenis en de rol van Esen tijdens de Eerste Wereldoorlog. Rond 1996 kwam het landhuis in handen van de Provincie West-Vlaanderen. Sindsdien is het kasteel in gebruik als huisvesting voor de provinciale streekwerking van de Westhoek, waarmee het een nieuwe publieke functie kreeg binnen het regionale bestuur en erfgoedlandschap.