Omstreeks 1830 bevond het domein zich in het bezit van Josephus Johannes De Rouck. In deze periode werd het omschreven als een zogenaamd lustbos, een vorm van landschappelijk aangelegd bosgebied dat hoofdzakelijk een recreatieve en esthetische functie vervulde. Het complex onderging in de daaropvolgende decennia slechts beperkte ingrepen, waardoor de bestaande structuur grotendeels behouden bleef.
In 1852 erfde August De Rouck het domein. Onder zijn relatief jonge en dynamische leiding nam de ontwikkeling van het goed een beslissende wending. Met een duidelijke visie op landschappelijke samenhang en representatie breidde hij het domein systematisch uit door de aankoop van aangrenzende percelen. Deze geleidelijke uitbreiding resulteerde erin dat het domein tegen circa 1879 zijn huidige ruimtelijke contouren had bereikt.
In 1871 liet August De Rouck op een van de hoogste punten van het domein een landhuis optrekken. De situering op een verheven locatie was zorgvuldig gekozen en bood een panoramisch uitzicht over het omliggende park, wat het residentiële en landschappelijke karakter van het domein aanzienlijk versterkte.
In 1887 werd het eigendom verworven door de Gentse ondernemer Georges Henry. In overeenstemming met de laatnegentiende-eeuwse tendens waarbij de welgestelde burgerij zich buitenverblijven met sier- en landschapstuinen liet aanleggen, gaf hij opdracht tot de aanleg van een landschappelijke tuin in Breivelde. Deze ingreep verleende het domein een uitgesproken romantische uitstraling, gekenmerkt door kronkelende paden, afwisselende zichtlijnen en een natuurlijke beplanting.
Kort na de eeuwwisseling kwam het domein in handen van Philippe Plancqaert van Exen, die het bestaande landhuis liet herbouwen in neo-Vlaamse renaissancestijl. Deze stijlkeuze sloot aan bij de toenmalige herwaardering van de nationale bouwtraditie en gaf het gebouw een uitgesproken historiserend karakter. In 1907 verwierf ridder van Male de Ghorain het park en het kasteel, dat vervolgens gedurende meerdere generaties in het bezit van zijn familie bleef.
Uiteindelijk werd het domein aangekocht door de gemeente Zottegem. In de hedendaagse context vervult het kasteel van Breivelde een horecafunctie, terwijl het omliggende park als publiek toegankelijk erfgoedgebied wordt beheerd. Op die manier blijft de historische en landschappelijke waarde van het domein behouden en geïntegreerd in het hedendaagse maatschappelijke leven.