Het Château des Comtes vormt vandaag het enige bewaard gebleven voorbeeld van burgerlijke architectuur van vóór de negentiende eeuw in Moeskroen en wordt terecht beschouwd als het historische pronkstuk van de stad. Het kasteel is niet alleen een architecturaal monument, maar ook een tastbare getuige van de complexe feodale en politieke geschiedenis van de regio.
In de middeleeuwen was het grondgebied van Moeskroen verdeeld over drie afzonderlijke heerlijkheden. De heerlijkheid van Moeskroen zelf behoorde aanvankelijk toe aan de heren van Oudenaarde, een invloedrijke familie met uitgebreide bezittingen in het graafschap Vlaanderen. In 1332 werd deze heerlijkheid verkocht aan de familie de la Barre. In die periode bestond het bezit hoofdzakelijk uit landerijen, lenen en rechten; een representatief kasteel ontbrak nog.
Het eerste kasteel, dat fungeerde als zetel van het leen van de Ramées, bevond zich enkele honderden meters verwijderd van de huidige locatie. Dit versterkte bouwwerk werd in 1340 verwoest, vermoedelijk in het kader van de conflicten die de regio in de veertiende eeuw teisterden. Nog vóór 1359 werd een nieuw kasteel opgetrokken op de plaats waar het huidige Château des Comtes zich bevindt. Deze nieuwe vesting groeide in belang en werd in 1430 officieel erkend als zetel van de heerlijkheid van Moeskroen.
Een belangrijke stap in de geschiedenis van het domein volgde in 1627, toen de heerlijkheid werd verheven tot graafschap. Ferdinand Georges de Liedekerke werd daarbij aangesteld als eerste graaf van Moeskroen. Nadien kwam het graafschap achtereenvolgens in handen van andere adellijke families, waaronder de familie de Basta en later de markies van Ennetières, die elk hun stempel drukten op het beheer en de uitstraling van het kasteel.
De geschiedenis van het Château des Comtes werd echter herhaaldelijk getekend door oorlog en geweld. Tijdens de Godsdienstoorlogen in de zestiende eeuw liep het gebouw aanzienlijke schade op. Ook de talrijke militaire campagnes van Lodewijk XIV in de zeventiende en achttiende eeuw lieten diepe sporen na. Veel onderdelen van het huidige kasteel dateren uit deze turbulente periode, waarin herstellingen en aanpassingen noodzakelijk waren om het gebouw bewoonbaar en verdedigbaar te houden.
In 1801 stortte de donjon in, wat een belangrijk verlies betekende voor het oorspronkelijke silhouet van de burcht. In de loop van de negentiende eeuw werd het kasteel verder aangepast aan de veranderende noden van de tijd. Zo werd halverwege die eeuw de oorspronkelijke ophaalbrug vervangen door de vaste brug die vandaag nog toegang tot het gebouw verleent. Tijdens de bevrijding van Moeskroen in 1918, aan het einde van de Eerste Wereldoorlog, richtten Britse artilleriebeschietingen opnieuw zware schade aan, waarbij een aanzienlijk deel van de oude burcht werd verwoest.
Na deze lange periode van verval en beschadiging werd het historische belang van het gebouw officieel erkend. Sinds 1945 geniet het Château des Comtes de status van beschermd monument. In 1960 werd het eigendom van het gemeentebestuur van Moeskroen. Na jaren van verwaarlozing volgde een grondige en zorgvuldige restauratie, waarbij men ernaar streefde het historische karakter en de architecturale waarde van het kasteel te respecteren.
Vandaag vervult het Château des Comtes een culturele functie. Het vormt het decor voor tentoonstellingen, concerten en andere culturele evenementen, en staat zo opnieuw in het hart van het stedelijke leven. Als stille getuige van bijna zeven eeuwen geschiedenis blijft het kasteel een symbool van het verleden én een levendige ontmoetingsplaats voor het heden.