De geschiedenis van het imposante château de Tavigny voert terug tot de vroege middeleeuwen. In die tijd bestond het kasteel vermoedelijk slechts uit een robuuste slottoren, die nog altijd het hart van het huidige bouwwerk vormt. Deze toren was toen eigendom van het klooster van Prüm, net over de Duitse grens, en diende als versterkte uitvalsbasis in een onrustige grensstreek.
Rond 1360 kwam het domein in handen van de Luxemburgse adellijke familie d’Ouren, die het eeuwenlang zou behouden. Onder hun bewind evolueerde de sobere middeleeuwse burcht langzaam tot een elegant renaissancekasteel. Twee ronde torens van het oorspronkelijke complex werden afgebroken en vervangen door ruimere bijgebouwen. Rond de centrale toren verrees een ommuring met op elke hoek een ronde toren, en de oude verdedigingstoren werd geleidelijk omgevormd tot een comfortabele residentie.
Toen Jean François, baron d’Ouren, in 1730 overleed, ging het kasteel over op de tweede zoon van zijn zuster, Hubert Sebastian, baron van Dobbelstein d’Eyenbourg. Na diens overlijden in 1811 stierf deze familietak uit, en het kasteel kwam in handen van een neef, Gabriel Auguste, graaf de Ludre. Hij verkocht het enkele jaren later, in 1824, aan een rijke leerlooier uit Stavelot.
Na generaties van particuliere eigenaars werd het kasteel in 1982 verkocht aan Annette Vanwelden door Josephine Marie-Marguerite Lemaire, weduwe van Edouard Le Maire. In 1998 kwam château de Tavigny in handen van het Nederlandse echtpaar Henk de Vries en Nelleke Bos. Onder hun zorg kreeg het kasteel een nieuwe bestemming als kunst- en cultuurcentrum, waar internationale kunstenaars en bezoekers elkaar vinden in een unieke historische omgeving.