De oudste, bekende eigenaar van het domein en kasteel Gestelhof is Egidius van Ghestele (1312). Ook Filips II, koning van Spanje, was enkele jaren eigenaar van het domein in het midden van de zestiende eeuw.
Pieter van Daele herstelde en breidde het kasteel uit, nadat het door Maarten Van Rossum werd vernield. Deze Gelderse legeraanvoerder plunderde tijdens de Gelderse Oorlogen in 1542 een groot deel van Brabant, inclusief het Gestelhof. Na jaren van verval werd het kasteel in 1681 opnieuw verbouwd en hersteld door Jacob de Groesbeeck. In de 19de eeuw werd het Gestelhof gekocht door Peter-Joseph Le Grelle, eigenaar van het naburige kasteeldomein Rameyen. Het Gestelhof, sinds de Franse Revolutie onbewoond, kwam zwaar in verval.
In 1870 werd het Karel-Pieter-Joseph Le Grelle eigenaar van het Gestelhof en Rameyen. Zoals zijn vader voor hem, verbleef hij meestal op het buitenverblijf Rameyen. Toen zijn enige dochter Emma Le Grelle hem vroeg het vervallen Gestelhof te laten restaureren willigde hij haar verzoek in. Het Gestelhof werd volledig gerestaureerd in neo-Vlaamse-renaissancestijl door architect A. Cuypers.
In de Eerste Wereldoorlog werd het kasteel zwaar beschadigd toen het bijna volledig uitbrandde. De schade werd gelukkig hersteld in 1917. Sinds een aantal jaren is de Nederlandse familie Zweegers eigenaar van dit prachtig onderhouden kasteeldomein Gestelhof.