Oorspronkelijk een heerlijkheid die ressorteerde onder de heren van Roeulx en later werd toevertrouwd aan de familie van Edingen, ontwikkelde het domein van La Follie zich in de loop van de late middeleeuwen tot een volwaardig versterkt kasteel. Het gebouw werd opgevat volgens een streng en functioneel defensief concept: een vrijwel vierkant grondplan met op de hoeken vier massieve ronde torens, onderling verbonden door muren met een dikte tot drie meter. Deze architectuur bood een aanzienlijke weerstand tegen belegeringen en is, ondanks latere aanpassingen, tot op vandaag duidelijk herkenbaar. Het geheel werd omgeven door een slotgracht en was enkel toegankelijk via een ophaalbrug en een poortkasteeltje, dat zowel als verdedigingspunt als statussymbool fungeerde.
In 1488, tijdens de Vlaamse Opstand tegen Maximiliaan van Oostenrijk, speelde La Follie een belangrijke rol. In die periode was het kasteel de zetel van de familie d’Orley. Bernard II d’Orley, toen nog jong, schaarde zich samen met zijn schoonvader Hendrik III van Wittem en enkele andere edelen aan de zijde van de opstandelingen tegen het offensief van de Brusselaars, die de belangen van Maximiliaan verdedigden. De humanist en kroniekschrijver Pontus Heuterus beschreef hoe de opstandelingen erin slaagden verschillende plaatsen en kastelen in te nemen, maar uiteindelijk vastliepen bij La Follie, dat zich als een bijzonder taai bolwerk manifesteerde en niet kon worden overwonnen.
Na het overlijden van Bernard II d’Orley in 1506 nam zijn weduwe, Isabeau de Wittem, het initiatief om het kasteel een nieuw karakter te geven. In plaats van de oude burcht volledig af te breken, koos zij ervoor het bestaande middeleeuwse complex aan te passen en te verzachten, zodat het beter aansloot bij de comfort- en woonidealen van de zestiende eeuw. Zo evolueerde La Follie geleidelijk van een puur militair bolwerk naar een aangename residentie, waarin verdedigingsarchitectuur en wooncomfort met elkaar werden verzoend.
Het binnenplein wordt gedomineerd door de achthoekige Sint-Christoffelkapel, een opmerkelijk bouwwerk dat getuigt van de religieuze en artistieke ambities van de bewoners. De kapel bezit beschilderde spitsgewelven en vier oorspronkelijke renaissanceglasramen, die uitzonderlijk goed bewaard zijn gebleven en tot de zeldzaamste voorbeelden van hun soort in de regio behoren. In de gewelfde kelders van het kasteel zijn bovendien nog steeds de fundamenten van de vroegere hoektorens zichtbaar, stille en tastbare resten van het oorspronkelijke verdedigingssysteem.
Vandaag wordt het château de La Follie bewoond door graaf Emmanuel de Lichtervelde, die het domein met zorg beheert en de historische gelaagdheid van de site bewaart. Tegelijk blijft het kasteel een levendige culturele plek. Elke zomer vormt het decor voor evenementen van hoog niveau: in juli vindt er een gerenommeerd klassiek muziekfestival plaats, terwijl in augustus het Théâtre Royal des Galeries er openluchtvoorstellingen organiseert. Zo verenigt La Follie verleden en heden en blijft het niet alleen een monument van geschiedenis, maar ook een dynamische ontmoetingsplaats waar erfgoed en cultuur elkaar blijven versterken.