De geschiedenis van het kasteel Zorgvliet begint in het midden van de negentiende eeuw, wanneer baron August van Reynegom de Buzet, afkomstig uit Herenthout, in 1860 de gronden van de familie de Kerckhove aankocht. Deze plek, met een lange voorgeschiedenis, vormde het decor voor de realisatie van zijn ambitieuze bouwplannen. Op het terrein liet hij een neoclassicistisch kasteel optrekken dat door zijn strakke symmetrie, evenwichtige verhoudingen en sobere monumentaliteit meteen opviel. Zorgvliet vertoonde daarbij duidelijke stilistische gelijkenissen met het nabijgelegen Sint-Michielskasteel, een verwantschap die niet alleen architecturaal maar ook historisch betekenisvol bleek te zijn.
In 1877 breidde baron Van Reynegom zijn domein namelijk verder uit door het Sint-Michielskasteel aan te kopen. De toenmalige eigenares, mevrouw Casse-Bruynsieraden, ruilde haar kasteel om voor Zorgvliet en vestigde zich in het nieuwe onderkomen. Daarmee kwam een bijzondere wisselwerking tot stand tussen beide eigendommen, die door de aankoop van Reynegom voor het eerst in één hand verenigd werden. De baron versterkte hiermee niet alleen zijn grondbezit, maar ook zijn positie als invloedrijke landeigenaar in de regio.
Tijdens de twintigste eeuw veranderde Zorgvliet opnieuw van karakter en eigendom. Het kasteel kwam terecht bij de gebroeders Eugène, Joseph en Isidore Bollekens, Antwerpse pioniers van de vroege vliegtuigbouw. Hun naam was verbonden aan technische innovatie en vooruitgang, maar ondanks hun ondernemingszin bleef het kasteel zelf een plek van rust, beschutting en landelijke sereniteit. De familieband met het domein bleef bestaan tot ver in de eeuw. Line Bollekens, dochter van een van de broers, bewoonde het landgoed gedurende een groot deel van haar leven. Haar onverwachte dood in een auto-ongeluk in 1986 maakte abrupt een einde aan deze familiale aanwezigheid. Het domein ging vervolgens over op haar neef, J.P. Bastin, die in november 1987 besloot het geheel te verkopen aan de familie De Cuyper.
Toen de nieuwe eigenaars het kasteel in handen kregen, troffen zij een erg verwaarloosd gebouw aan, zwaar geteisterd door tijd en gebrek aan onderhoud. Toch lieten zij zich niet afschrikken. Met geduld, vakmanschap en toewijding zetten zij een omvangrijke restauratie in gang die het kasteel opnieuw tot leven bracht en zijn elegante uitstraling herstelde. Gedurende de daaropvolgende dertig jaar kreeg Zorgvliet bovendien een nieuwe functie: het werd verhuurd aan diverse bedrijven, zonder daarbij zijn statige karakter te verliezen.
In 2017 begon een nieuw hoofdstuk in de geschiedenis van het domein toen Amanu Invest het kasteel verwierf. Inmiddels staat Kasteel Zorgvliet op de officiële lijst van beschermde monumenten.