Het leengoed van La Berlière behoorde reeds vóór 1337 toe aan de prinsen de Ligne, een van de oudste en invloedrijkste adellijke geslachten van de Zuidelijke Nederlanden. Gedurende meerdere eeuwen bleef het domein binnen deze familie, wat wijst op het strategische en economische belang van de heerlijkheid. In 1511 ging La Berlière over in handen van de familie Saint-Genois des Mottes, waarna het in 1643, via erfenis, werd verworven door de familie d’Ennetières. Deze overdrachten weerspiegelen de klassieke feodale dynamiek van huwelijken, erfopvolging en familiale allianties die het bezit van land en macht bepaalden.
In 1664 werd de heerlijkheid officieel verheven tot baronie, een erkenning van de toenemende status van het domein en zijn eigenaars. Toch bleef La Berlière niet gespaard van de gewelddadige conflicten die de regio in de zeventiende eeuw teisterden. Tijdens de oorlogen onder het bewind van Lodewijk XIV werd het middeleeuwse kasteel verwoest. Deze vernielingen maakten een einde aan het oorspronkelijke versterkte bouwwerk, dat na 1677 werd vervangen door een nieuw kasteel op dezelfde locatie, aangepast aan de veranderende militaire en residentiële noden van de tijd.
Het huidige kasteel vindt zijn oorsprong aan het einde van de achttiende eeuw. In 1793 gaf Balthasar d’Ennetières et des Mottes, samen met zijn echtgenote Rose de Sainte-Aldegonde de Noircarme, opdracht tot de bouw van een nieuw en ambitieus kasteel. Hun adellijke wapens, die nog steeds het fronton van de voorgevel sieren, herinneren aan hun rol als bouwheren. Het ontwerp werd toevertrouwd aan de Doornikse architect Antoine-Joseph Payen le Vieux, een vooraanstaand vertegenwoordiger van het classicisme. Door historische omstandigheden en de omvang van het project werd de bouw pas rond 1835 voltooid.
Architecturaal onderscheidt het kasteel zich door zijn indrukwekkende U-vormige plattegrond. Het gebouw rust op een massieve onderbouw die aan drie zijden wordt weerspiegeld in een uitgestrekte vijver, wat het geheel een monumentale en tegelijk elegante uitstraling verleent. Het vierkante hoofdvolume telt twee verdiepingen en wordt gekenmerkt door een centraal voorgebouw. Op de hoeken staan vier statige, rechthoekige torens die het kasteel een evenwichtige en symmetrische compositie geven, in overeenstemming met de classicistische esthetiek.
In 1849 kwam het domein in handen van graaf Octave d’Oultremont de Wégimont de Duras, die het erfde via zijn huwelijk met de kleindochter van Balthasar d’Ennetières. Zijn kleinzoon Adhémar zette de ontwikkeling van het landgoed voort en gaf het domein zijn landschappelijke en representatieve grandeur. Hij liet een Franse tuin aanleggen voor het kasteel, terwijl achter het gebouw een landschappelijk park werd ontworpen met sierlijke vijvers. Daarnaast werden paardenstallen, een ruime hoeve en een jachthuis toegevoegd, waardoor La Berlière uitgroeide tot een volledig uitgerust adellijk domein.
Na het overlijden van Adhémar in 1910 konden zijn zonen het uitgestrekte goed niet behouden en zagen zij zich genoodzaakt het te verkopen. In 1912 kwam het domein in handen van de familie Bernheim, gevolgd door de familie Motte-Duthoit. Tijdens de Tweede Wereldoorlog kende La Berlière een moeilijke periode: het kasteel werd gebruikt als munitiedepot, wat niet alleen zijn functie veranderde maar ook leidde tot ernstige verwaarlozing en verval.
In 1946 betekende de aankoop door de Jozefieten een keerpunt in de geschiedenis van het domein. Dankzij hun ingreep werd het kasteel gered van verdere aftakeling. Onder leiding van architect Paul Stevens werd het gebouw grondig gerestaureerd en het park opnieuw ingericht, met respect voor de historische structuur en het landschappelijke karakter. Sindsdien vervult het kasteel een nieuwe maatschappelijke rol als zetel van het College de La Berlière, een school voor secundair onderwijs, waarin erfgoed en educatie op duurzame wijze met elkaar worden verbonden.