De vroegste geschiedenis van het kasteel gaat terug tot het begin van de veertiende eeuw. In deze periode was het domein eigendom van de familie Bossoit, die geldt als de eerste heren van Ermeton. Het oorspronkelijke kasteel was vermoedelijk een versterkt adellijk verblijf, aangepast aan de noden en leefomstandigheden van de middeleeuwen. Door de eeuwen heen bleef het een belangrijk lokaal machtscentrum.
Een beslissende fase in de architecturale ontwikkeling van het gebouw vond plaats tussen 1625 en 1630. In die jaren liet Richard Godart, toenmalig eigenaar van het domein, het oude kasteel grondig verbouwen en herinrichten. Hij transformeerde het middeleeuwse bouwwerk tot een meer comfortabel en representatief kasteel, waarvan de hoofdlijnen en het algemene uitzicht grotendeels overeenkomen met het gebouw zoals wij het vandaag kennen. Deze verbouwing weerspiegelt de overgang van een defensieve residentie naar een statig landhuis, aangepast aan de levensstijl van de zeventiende-eeuwse adel.
Tot het begin van de achttiende eeuw bleef het kasteel in handen van de familie Godart. Nadien wisselde het domein meerdere malen van eigenaar en kwam het achtereenvolgens in het bezit van de familie de Villermont en vervolgens van de familie Hadelin d’Oultremont, beide vooraanstaande adellijke geslachten die het kasteel als residentie gebruikten en het omliggende domein verder beheerden.
Een ingrijpende verandering in de bestemming van het kasteel vond plaats in de twintigste eeuw. In 1936 werd het gebouw gehuurd door de gemeenschap van de Benedictijnse zusters, die er een klooster wilden vestigen. Enkele jaren later, in 1942, kocht de gemeenschap het kasteel definitief aan, waarmee het domein een religieuze en contemplatieve functie kreeg die tot op vandaag voortduurt.
De Benedictijnse gemeenschap zelf werd in 1917 in Brussel gesticht door pater Eugène Vandeur, monnik van de abdij van Maredsous. Vanaf haar ontstaan stelde de gemeenschap zich tot doel het benedictijnse leven te beleven volgens de Regel van Sint-Benedictus, met een bijzondere aandacht voor gebed, gemeenschapsleven en geestelijke verdieping. Van bij de oprichting tot op heden is de gemeenschap trouw gebleven aan deze oorspronkelijke inspiratie: als vrouwen die de rijkdom van de christelijke spiritualiteit niet alleen beleven, maar ook delen met allen die met het klooster en zijn werking in contact komen.