Op deze plaats bevond zich reeds in 1390 een versterkt kasteel, eigendom van Engelbert de la Marck, heer van Loverval. Deze vroege burcht maakte deel uit van het uitgebreide bezit van de familie De la Marck, die in de late middeleeuwen tot de invloedrijkste adellijke geslachten van het prinsbisdom Luik behoorde. Het kasteel had in deze periode vooral een defensieve functie en paste binnen het netwerk van versterkingen dat de territoriale macht van zijn eigenaars moest ondersteunen.
In 1440 kwam het domein in handen van Gérard de Marbais. Gedurende bijna anderhalve eeuw bleef het kasteel eigendom van deze familie, tot 1609. In deze lange periode evolueerde het gebouw geleidelijk van een strikt militaire vesting naar een residentieel kasteel, aangepast aan de veranderende woon- en representatiebehoeften van de adel. Over de precieze bouwfasen uit deze tijd zijn slechts beperkte gegevens bewaard gebleven, maar duidelijk is dat het oorspronkelijke middeleeuwse karakter gaandeweg werd afgezwakt.
Vanaf 1670 behoorde het kasteel toe aan Flaveaux van Henry de la Raudière, een familie die het bezit behield tot het einde van het Ancien Régime. Aan het begin van de achttiende eeuw bestond het kasteel nog slechts uit twee loodrecht op elkaar staande vleugels, wat wijst op een relatief bescheiden omvang. Deze configuratie weerspiegelde zowel de economische omstandigheden van de tijd als de geleidelijke verschuiving van militaire naar residentiële functies.
In 1787 liet Louise-Martine de Flaveau de la Raudière, barones van Loverval en Ermeton-sur-Biert, het kasteel voltooien in de vorm die het aan het einde van de achttiende eeuw aannam. Deze voltooiing markeerde het einde van een lange bouwkundige ontwikkeling en gaf het kasteel een meer samenhangend en representatief karakter, passend bij de adellijke status van de eigenares.
In de negentiende eeuw kwam het kasteel in handen van Werner de Mérode. De familie de Mérode speelde een belangrijke rol in de lokale geschiedenis van Loverval en leverde gedurende meerdere generaties burgemeesters aan de gemeente. Het kasteel fungeerde in deze periode als het sociale en politieke centrum van het dorp. Een bijzonder moment in zijn geschiedenis vond plaats in 1846, toen het huwelijk werd voltrokken tussen Karel III van Monaco en Antoinette de Mérode, een gebeurtenis die het kasteel internationale bekendheid gaf.
Reeds in 1845 onderging het gebouw ingrijpende verbouwingen. Het werd verhoogd en uitgebreid in baksteen en kreeg een neoklassiek uiterlijk, in overeenstemming met de architecturale smaak van de negentiende eeuw. Deze aanpassingen veranderden het silhouet en het karakter van het kasteel ingrijpend. Aan het begin van de twintigste eeuw werden nog twee vierkante torens toegevoegd, die het geheel een monumentaler en meer symmetrisch voorkomen gaven.
In 1939 werd het kasteel verkocht aan de Zusters van Liefde van Gent. Zij gaven het gebouw een volledig nieuwe bestemming door het om te vormen tot een opleidingsinstituut voor leerkrachten, met zowel middelbaar als hoger onderwijs. Daarmee begon een nieuw hoofdstuk in de geschiedenis van het kasteel, waarin het zijn residentiële functie verloor maar een blijvende rol bleef spelen in het maatschappelijke en culturele leven van de regio.