Op de plaats waar zich vandaag het gemeentehuis bevindt, lag vroeger het kasteel van de heerlijkheid Terheide, waarvan de oorsprong teruggaat tot de 15de eeuw. Dit middeleeuwse kasteel vormde eeuwenlang het bestuurlijke en symbolische centrum van de heerlijkheid en maakte deel uit van een groter domein met bijhorende landbouwgebouwen en religieuze infrastructuur. De ligging van het kasteel was strategisch gekozen en weerspiegelde het feodale gezag dat van hieruit over de omliggende gronden werd uitgeoefend.
In 1820 werd het landgoed aangekocht door baron Jozef de Man d’Hobruge, een invloedrijke figuur in het lokale bestuur, die tussen 1823 en 1846 en opnieuw van 1848 tot 1854 burgemeester van Hoeilaart was. Onder zijn eigenaarschap bleef het oude kasteel voorlopig behouden, maar de veranderende woon- en representatie-eisen van de 19de eeuw zouden spoedig leiden tot ingrijpende veranderingen.
Zijn zoon, baron Jean de Man d’Attenrode, die het ambt van burgemeester bekleedde van 1854 tot 1878, besliste aan het begin van de jaren 1850 het verouderde middeleeuwse kasteel volledig te laten afbreken. Op dezelfde plaats liet hij een nieuw kasteel optrekken dat beantwoordde aan de esthetische en comfortnormen van zijn tijd. Het ontwerp werd toevertrouwd aan de Antwerpse architect Jozef Claes, een vooraanstaand vertegenwoordiger van de romantische bouwstijl. Deze stijl combineerde historische neo-stijlen met een sterke aandacht voor landschappelijke inpassing en natuurlijke elementen. Claes verwierf ook bekendheid door onder meer de kapel van het Arenbergkasteel in Heverlee te ontwerpen. De eerste steen van het nieuwe kasteel van Terheide werd plechtig gelegd in 1858, wat het begin markeerde van een nieuw hoofdstuk in de geschiedenis van het domein.
Na de Eerste Wereldoorlog kwam het kasteel in financieel moeilijk vaarwater. De hoge onderhoudskosten wogen zwaar op de eigenaars, waardoor Maxime de Laage de la Rocheterie het gebouw op 1 december 1919 verkocht aan het gemeentebestuur. Hiermee verloor het kasteel zijn private residentiële functie en werd het omgevormd tot gemeentehuis, een rol die het tot op vandaag vervult. Deze herbestemming gaf het gebouw een centrale plaats in het openbare en administratieve leven van de gemeente.
In 1995 werd een grondige restauratie van het kasteel afgerond, zowel aan het exterieur als aan het interieur. Deze werken werden grotendeels uitgevoerd door het gemeentepersoneel en hadden als doel het historische karakter van het gebouw te bewaren, terwijl het tegelijkertijd werd aangepast aan de noden van een moderne openbare administratie. Er werd bewust gezocht naar een evenwicht tussen hedendaags gebruikscomfort en respect voor de architecturale en historische waarde van het voormalige kasteel.
Het kasteel maakt deel uit van een ruimer historisch ensemble, waartoe ook de kasteelhoeve en de Onze-Lieve-Vrouwkapel behoren. De kasteelhoeve is een tastbaar overblijfsel van het domein van de heerlijkheid Terheide en dateert in haar huidige vorm uit de 17de eeuw, al zijn er oudere bouwdelen aanwezig. In de 19de eeuw werd de hoeve aangepast aan veranderende functionele behoeften. De restauratie ervan gebeurde in twee fasen: in 1994 werd de zuidvleugel gerenoveerd, waarin vandaag de sociale dienst van het OCMW en de dienst Omgeving zijn ondergebracht. Eind 2008 volgde de restauratie van de westelijke en noordelijke vleugel, die sindsdien in gebruik zijn door de dienst Burgerzaken en de technische dienst. In mei 2009 werd het Sociaal Huis officieel geopend in de vroegere orangerie van de hoeve.
De Onze-Lieve-Vrouwkapel was oorspronkelijk via een overdekte gang verbonden met het middeleeuwse kasteel. Deze verbinding onderstreepte de nauwe band tussen het wereldlijke en het religieuze gezag binnen de heerlijkheid. Bij de afbraak van het oude kasteel in de jaren 1850 werd ook deze gang verwijderd en kreeg de kapel een nieuwe gevel, waardoor zij haar huidige, meer zelfstandige verschijningsvorm kreeg. Samen vormen het gemeentehuis, de kasteelhoeve en de kapel een waardevol historisch ensemble dat de evolutie van Terheide van feodale heerlijkheid tot moderne gemeente weerspiegelt.