Het oude Château de Ville wordt voor het eerst vermeld in het jaar 832, toen het eigendom was van de machtige abdij van Stavelot-Malmedy. In die vroege middeleeuwen fungeerde het domein vermoedelijk als een versterkte residentie die zowel een economische als bestuurlijke rol vervulde binnen het uitgestrekte abdijbezit. De strategische ligging verklaart waarom het kasteel doorheen de eeuwen herhaaldelijk van eigenaar wisselde en telkens werd aangepast aan de noden en ambities van zijn nieuwe heren.
In de loop van de 15de eeuw kwam het Château de Ville in handen van de invloedrijke familie De la Marck, een van de machtigste adellijke geslachten van het prinsbisdom Luik en de omliggende gebieden. Hun bezit markeert een periode waarin het kasteel vermoedelijk werd versterkt en aangepast aan de militaire realiteit van de late middeleeuwen. In de 16de eeuw volgde de familie Pallandt, afkomstig uit het Rijnland, die het domein verder ontwikkelde als adellijke residentie.
De 17de eeuw bracht opnieuw ingrijpende veranderingen. Achtereenvolgens kwamen de families Marteau en Pape in het bezit van het kasteel. Deze periode werd gekenmerkt door aanhoudende conflicten in de Zuidelijke Nederlanden, wat ook zijn weerslag had op Château de Ville. Tussen 1675 en 1679 werd het gebouw ingericht als Spaans garnizoen, een duidelijke aanwijzing voor zijn strategisch belang tijdens de oorlogen tussen Frankrijk en Spanje. Deze militaire bezetting liet ongetwijfeld sporen na, zowel in de architectuur als in het landschap rondom het kasteel.
Aan het einde van de 17de eeuw werd het domein verworven door Ernest-Ferdinand Martini, heer van Rollé. In 1768 ging het eigendom over op François-Joseph de Coinet de Botey, heer van My. Het gebied maakte toen deel uit van het graafschap Durbuy en ressorteerde juridisch onder het gerechtshof van Wéris, wat het feodale en administratieve belang van het domein onderstreept. De laatste adellijke eigenaars die in de bronnen worden vermeld, zijn leden van de familie Lamarche, waarmee een lange opeenvolging van kerkelijke, adellijke en militaire machthebbers werd afgesloten.
In de 19de eeuw onderging het Château de Ville grondige verbouwingen die het zijn huidige uitzicht gaven. Daarbij werd het voormalige feodale karakter aangepast aan meer residentiële en educatieve functies, in overeenstemming met de veranderende maatschappelijke context van die tijd. Vandaag ligt het kasteel te midden van een uitgestrekt en verzorgd park en vervult het een nieuwe rol als internaat van het Atheneum van Durbuy. Daarmee blijft het Château de Ville een levende plaats, waarin meer dan een millennium geschiedenis zichtbaar en tastbaar aanwezig blijft.