Na de ontmanteling van de vroegere stadsvesten van Oudenaarde in de loop van de 19de eeuw kwamen aanzienlijke percelen grond beschikbaar voor herbestemming. Deze militaire infrastructuur, die haar verdedigende functie had verloren door veranderende oorlogstechnieken en stadsontwikkeling, maakte plaats voor nieuwe stedelijke en residentiële initiatieven. Een deel van deze vrijgekomen gronden werd verworven door de invloedrijke familie Liedts, die een prominente rol speelde in het politieke, economische en culturele leven van het jonge België.
Charles Liedts (1802–1878), een van de medegrondleggers van de Belgische staat, bekleedde meerdere sleutelposities, waaronder die van minister van Financiën, en was nauw betrokken bij de oprichting van de Nationale Bank van België. Omstreeks 1860 liet hij op het aangekochte terrein een buitenverblijf oprichten. Dit eerste kasteel was een relatief sober, witgepleisterd gebouw dat aansloot bij de burgerlijke architectuuridealen van het midden van de 19de eeuw, waarin functionaliteit, ingetogen elegantie en representativiteit centraal stonden. Het fungeerde zowel als privéresidentie als statussymbool binnen een snel moderniserende samenleving.
In 1883 werd het gebouw ingrijpend heropgebouwd onder impuls van zijn zoon, Amedée Liedts. Deze verbouwing resulteerde in een kasteel in eclectische stijl, een architecturale benadering die in de tweede helft van de 19de eeuw bijzonder populair was bij de hogere burgerij. Het nieuwe ontwerp combineerde bewust elementen uit diverse historische stijlen, waaronder neoclassicistische en neorenaissance-invloeden, en weerspiegelde de culturele ambities, historische belangstelling en maatschappelijke positie van de familie. Het kasteel kreeg hierdoor een uitgesproken representatief karakter, passend binnen de bredere context van 19de-eeuwse monumentale residentiële architectuur.
Parallel met de ontwikkeling van het kasteel werd het omliggende park aangelegd, voornamelijk tussen 1865 en 1869. Het park werd vormgegeven volgens de principes van de Engelse landschapsstijl, die zich onderscheidt door haar ogenschijnlijk natuurlijke compositie. Slingerende paden, uitgestrekte graspartijen, zorgvuldig geplaatste boomgroepen en zichtlijnen naar het kasteel creëerden een harmonieuze relatie tussen gebouw en landschap. Deze aanpak sluit aan bij de romantische landschapsarchitectuur van de 19de eeuw, waarin natuurbeleving, esthetiek en sociale representatie nauw met elkaar verweven waren.
Amedée Liedts bleef kinderloos en nam, met het oog op het behoud van zijn levenswerk, de beslissing om zijn volledige eigendom aan de stad Oudenaarde over te dragen. In 1907 schonk hij het kasteel, samen met de omvangrijke bibliotheek, kunstcollecties en het parkdomein, aan de stad. Deze schenking kaderde in een bredere traditie van filantropie onder de gegoede burgerij en had tot doel het culturele en maatschappelijke leven van Oudenaarde duurzaam te verrijken. Na de overdracht werd het domein opengesteld voor het publiek en kreeg het park de functie van stadspark, waar het al snel uitgroeide tot een belangrijke ontmoetings- en ontspanningsruimte voor de inwoners.
In de 20ste en 21ste eeuw onderging het kasteel verschillende aanpassingen en herbestemmingen, waarbij het historische karakter grotendeels behouden bleef. Vandaag huisvest het gebouw het Vrijzinnig Centrum Liedts, dat het kasteel een hedendaagse culturele en maatschappelijke invulling geeft. Het park is nog steeds vrij toegankelijk en vervult een essentiële rol als groene ruimte binnen het stedelijke weefsel van Oudenaarde. Zo blijft het domein een levend erfgoed, waarin de geschiedenis van de familie Liedts, de stedelijke ontwikkeling van Oudenaarde en het huidige stadsleven op betekenisvolle wijze samenkomen.