Het Kasteel van Herlaer, in vroegere tijden ook bekend onder de naam “Hof ten Hove”, behoort tot de oudste adellijke domeinen van de regio. Algemeen wordt aangenomen dat het werd opgetrokken kort na de slag bij Woeringen, aan het einde van de dertiende eeuw, een periode waarin de macht van de hertogen van Brabant stevig werd uitgebreid. Toch suggereren sommige bronnen dat de oorsprong van het kasteel nog verder teruggaat in de tijd, mogelijk tot de tiende eeuw, toen op deze plaats al een versterkte nederzetting of wachttoren zou hebben gestaan.
Het domein lag strategisch aan de Wimp, een schilderachtige bijrivier van de Grote Nete. Van de nabijgelegen watermolen, die eveneens tot het domein behoorde en door het stromende water van de Wimp werd aangedreven, is voor het eerst melding gemaakt in 1462. Zowel het kasteel als de molen vormden eeuwenlang een belangrijk economisch en sociaal middelpunt in de omgeving.
Oorspronkelijk was het kasteel een dubbel omgracht waterslot, omgeven door brede grachten die het zowel verdedigden als zijn status benadrukten. Tot in de vijftiende eeuw bleef het in handen van de familie van Herlaer, een geslacht dat nauwe banden onderhield met de heren van Berlaar en verwant was aan de invloedrijke adellijke familie Berthout. Deze verwantschap getuigt van de hoge rang die de bewoners van Herlaer in de middeleeuwse samenleving innamen.
In de loop van de vijftiende eeuw kwam het domein in bezit van de familie van Vriesele. Een dochter uit deze familie huwde met Pieter van Brimeu, heer van Poederlee, en hun dochter Catharina trad in 1497 in het huwelijk met Adriaan Sandelyn. Deze laatste liet het kasteel, dat tegen die tijd in verval was geraakt, opnieuw opbouwen. Zijn werken markeerden het begin van een nieuwe bloeiperiode voor Herlaer, waarin het zich ontwikkelde van een verdedigingsburcht tot een statige residentie.
Vanaf 1684 kwam het domein in handen van de familie van Reynegom, een invloedrijke adellijke familie van rijke grondeigenaars die lange tijd een belangrijke politieke en maatschappelijke rol speelde in Herenthout en de omliggende dorpen. Onder hun bewind kreeg het kasteel zijn huidige vorm. De grote verbouwing van 1704 verleende het gebouw zijn karakteristieke uitstraling in traditionele bak- en zandsteenstijl, waarin de sporen van vroegere bouwfasen harmonieus werden geïntegreerd. In de tweede helft van de negentiende eeuw volgden bijkomende aanpassingen, die het interieur en enkele buitengevels moderniseerden, zonder afbreuk te doen aan het historische karakter van het geheel.
Vandaag getuigt het Kasteel van Herlaer van een rijk verleden dat meer dan acht eeuwen overspant. Samen met de watermolen vormt het een beeldbepalend element in het landschap van Herenthout. Sinds 1986 zijn zowel het kasteel als de molen beschermd als monument en dorpsgezicht, waarmee hun erfgoedwaarde officieel wordt erkend.