Binnen de heerlijkheid Hertsberge bevond zich sinds de vroege middeleeuwen een proosdij van reguliere kanunniken, die ressorteerde onder de Sint-Calixtusabdij van Cysoing, gelegen in het huidige Noord-Frankrijk. Deze abdij bezat in de regio meerdere afhankelijke domeinen, waarvan Hertsberge er één was. Volgens de overlevering stond op deze plek reeds in de 9de eeuw een kapel, wat wijst op een vroege religieuze aanwezigheid en het belang van de site binnen het lokale landschap.
Rond het midden van de 16de eeuw werd de oorspronkelijke kapel herbouwd. Deze heropbouw resulteerde in het gebouw dat vandaag nog steeds bestaat en dat, ondanks latere schade en herstellingen, zijn historische kern opvallend goed heeft weten te bewaren. De kapel maakte integraal deel uit van de proosdijsite en fungeerde eeuwenlang als religieus en bestuurlijk centrum van het domein.
Een ingrijpende verandering volgde aan het einde van de 18de eeuw. Tijdens de Franse overheersing werden kerkelijke instellingen systematisch opgeheven en hun goederen aangeslagen. In 1796 werd de proosdij van Hertsberge officieel afgeschaft. Twee jaar later, in 1798, werd het domein openbaar verkocht en kwam het in handen van de familie Veranneman-Pardo, waarmee een einde kwam aan de eeuwenlange religieuze functie van de site.
In het begin van de 19de eeuw, vóór 1829, liet Philip Veranneman op het voormalige proosdijdomein een nieuw en imposant kasteel optrekken. Het gebouw werd uitgevoerd in Vlaamse neorenaissancestijl, een architecturale vormgeving die toen populair was bij de adel en burgerij en die bewust aansloot bij de historische vormentaal van de Zuidelijke Nederlanden. Opmerkelijk is dat het kasteel rechtstreeks werd aangebouwd tegen de georiënteerde proosdijkapel, wat zowel architecturaal als symbolisch de overgang van een religieus naar een seculier adellijk domein benadrukt.
In 1880 werd het kasteel aangekocht door baron Robert Rapaert de Grass, een invloedrijke figuur in het lokale openbare leven. Hij zou later, na de bestuurlijke hervormingen van het begin van de 20ste eeuw, de eerste burgemeester van de gemeente Hertsberge worden, een functie die hij uitoefende van 1921 tot 1930. Intussen had de kapel haar rol als parochiekerk verloren: na de bouw van een nieuwe parochiekerk in 1895 was zij niet langer het religieuze centrum van de dorpsgemeenschap.
De Eerste Wereldoorlog bracht zware verwoestingen met zich mee voor het domein. Zowel het kasteel als de voormalige proosdijkapel liepen aanzienlijke schade op door beschietingen. De toestand van de gebouwen baarde zorgen bij erfgoedinstanties, waardoor op aandringen van de Koninklijke Commissie voor Monumenten en Landschappen werd beslist tot een grondige restauratie. Deze werkzaamheden werden in de jaren 1920 uitgevoerd onder leiding van architect Joseph De Jonghe, in samenwerking met architect Viérin en baron Van Zuylen. De restauratie had tot doel zowel de historische waarde als de architecturale samenhang van de site te vrijwaren.
Sinds 1990 bevindt het kasteel zich in privébezit en wordt het beheerd door een industriëlenfamilie. Ondanks deze private bestemming blijft de site een belangrijk getuigenis van de religieuze, adellijke en architecturale geschiedenis van Hertsberge, waarin meer dan duizend jaar continuïteit en verandering samenkomen.