Reeds rond het jaar 1000 maken oude kronieken melding van een kasteeltoren die de vallei van de Eau Blanche bewaakte. Deze toren vormde het strategische en symbolische beginpunt van wat later zou uitgroeien tot het kasteel van Chimay.
In de veertiende eeuw werd de burcht geïntegreerd in de stadsomwalling van Chimay, een indrukwekkend verdedigingssysteem van bijna een kilometer lang, versterkt met een twintigtal torens. Het kasteel gold toen als een robuuste en prestigieuze residentie, waaraan onder meer Karel de Stoute, hertog van Bourgondië, groot belang hechtte. Op de fundamenten van deze middeleeuwse vesting lieten Philippe de Croÿ en zijn zoon Charles in 1607 het huidige kasteel bouwen. Het L-vormige gebouw was opgevat als een harmonieuze combinatie van militaire kracht en residentieel comfort: voldoende afschrikwekkend voor vijanden, maar tegelijk elegant en aangenaam om in te wonen.
Het kasteel kende echter een woelige geschiedenis. In 1635 werd het in brand gestoken door Franse troepen. In totaal werd het kasteel maar liefst zeven keer door vuur verwoest, meestal in het kader van oorlogshandelingen. Telkens opnieuw wist Charles de Croÿ het domein te herstellen en zelfs te verfraaien, waarmee hij zijn vastberadenheid en de blijvende betekenis van Chimay onderstreepte.
In de negentiende eeuw kreeg het binnenplein een culturele invulling met de bouw van een klein theater. Deze zaal werd en wordt gebruikt voor muzikale uitvoeringen en culturele evenementen, waaronder een gerenommeerd barokmuziekfestival dat ook koninklijke gasten aantrekt.
In de nacht van 6 op 7 mei 1935 werd het kasteel opnieuw zwaar getroffen door een verwoestende brand. Bij de daaropvolgende restauratie koos men ervoor alle negentiende-eeuwse toevoegingen te verwijderen, zodat het gebouw zijn vroegere, meer sobere en historische uitstraling terugkreeg.
Tot op vandaag is het kasteel van Chimay eigendom van prins Philippe de Chimay. Het blijft een monumentale en levendige getuige van meer dan duizend jaar geschiedenis, waarin oorlog, herstel, cultuur en continuïteit elkaar afwisselen.