Het kasteel van Acoz, schilderachtig gelegen in het hart van de vallei van de Biesme, behoort tot de oudste adellijke sites van de regio. Reeds in de twaalfde eeuw wordt het vermeld als eigendom van de abdij van Floreffe, wat wijst op het vroege strategische en economische belang van deze plek. In die periode fungeerde het domein vermoedelijk zowel als versterkte residentie als beheercentrum van abdijgoederen.
In 1543 kwam het kasteel in wereldlijke handen terecht toen Jean Marotte het domein verwierf. Hij werd de stamvader van een familie die in 1629 officieel in de adelstand werd verheven. Gedurende meer dan twee eeuwen bleef het kasteel van Acoz eigendom van de familie Marotte, die het uitbouwde tot een prestigieuze residentie en het een vaste plaats gaf binnen de regionale adel. Deze lange periode van stabiliteit kwam ten einde in 1759, toen Jean-Michel Valentin de Marotte, graaf van Quiévrain, kinderloos overleed.
Het domein werd vervolgens nagelaten aan zijn nicht Marie-Thérèse Catherine d’Udekem. Zij schonk het kasteel aan haar neef Jacques-François-Joseph d’Udekem, waardoor Acoz overging naar deze Henegouwse adellijke familie. De naam d’Udekem d’Acoz zou later nationale bekendheid verwerven: uit deze familie werd koningin Mathilde geboren, wat het kasteel een bijzondere plaats geeft binnen de Belgische dynastieke geschiedenis.
In de negentiende eeuw brak een nieuw, meer intellectueel hoofdstuk aan. Irénée Drion vestigde zich met haar gezin in het kasteel, en haar zoon Octave Pirmez, schrijver, filosoof en een van de meest markante figuren van de negentiende-eeuwse Lettres Belges, zou er wonen en werken tot aan zijn dood. Acoz werd in die tijd een plaats van reflectie, literatuur en gedachtewisseling. Na Octave Pirmez nam zijn neef Maurice Pirmez in 1883 het domein over. De familie Pirmez bleef tot het jaar 2000 eigenaar van het kasteel en waakte gedurende meer dan een eeuw over het behoud van zijn historische karakter.
In 2001 kwam het kasteel van Acoz in handen van Tony Cammaert, een Brusselse antiquair gevestigd aan de Grote Zavel en gespecialiseerd in Japanse kunst. Met grote eerbied voor de geschiedenis liet hij het gebouw zorgvuldig restaureren. Zonder het erfgoed te verloochenen, gaf hij het kasteel een subtiele oosterse toets, waarin zijn persoonlijke passie en het historische karakter van de burcht harmonieus samenkomen. Zo kreeg het kasteel van Acoz een nieuwe levensfase, waarin eeuwen geschiedenis worden gedragen door een eigentijdse, verfijnde visie.