Het kasteel van Middelheim wordt voor het eerst vermeld in schriftelijke bronnen in 1342, hetgeen wijst op het bestaan van een residentiële of versterkte site in de late middeleeuwen. Over de aard en de oorspronkelijke structuur van het gebouw zijn de gegevens beperkt, maar het kasteel maakte deel uit van een netwerk van landgoederen dat diende als centrum van lokaal grondbezit en bestuurlijke controle in de omgeving van Antwerpen.
Vanaf de zestiende eeuw ontwikkelde het domein zich tot zomerresidentie voor opeenvolgende vooraanstaande Antwerpse families. Deze ontwikkeling past binnen een bredere tendens in de Zuidelijke Nederlanden, waarbij stedelijke elites buitenverblijven aanlegden in de omgeving van Antwerpen. Dergelijke domeinen combineerden agrarische exploitatie met recreatieve functies en representatieve voorzieningen, en weerspiegelden de toenemende welvaart en culturele ambitie van de stedelijke elite.
In de achttiende eeuw onderging het kasteel een ingrijpende architecturale transformatie die het huidige uitzicht grotendeels bepaalde. De Parijse architect Gilles Barnabé Guimard, die tevens betrokken was bij de ontwerpen van het Koningsplein en het Koninklijk Park in Brussel, voerde de verbouwingen uit in de stijl van Lodewijk XIV. De ingrepen omvatten onder andere een strikte symmetrische indeling, een hiërarchische ordening van de ruimten en een gevelontwerp dat sobere elegantie combineerde met representatieve kwaliteit. Met deze transformatie werd het kasteel definitief omgevormd van een mogelijk defensief of gemengd middeleeuws complex tot een representatieve residentie. Sinds deze verbouwing zijn er nauwelijks ingrijpende architecturale wijzigingen uitgevoerd.
In de negentiende eeuw kwam het kasteel in handen van ridder E. Parthon de Von, die een uitgesproken belangstelling had voor botanica en landschapsarchitectuur. Onder zijn beheer werden het park en de tuinaanleg uitgebreid met serres en een oranjerie, in lijn met de negentiende-eeuwse fascinatie voor exotische planten en wetenschappelijke tuinbouw. Na Parthon de Von werd het domein eigendom van de familie Le Grelle, die het kasteel tot 1909 als privéresidentie behield.
In 1909 kocht de stad Antwerpen het domein, waarmee Middelheim werd opgenomen in het stedelijke patrimonium en een publieke functie kreeg. Tijdens de Tweede Wereldoorlog liep het park aanzienlijke schade op, zowel aan de beplanting als aan de aanwezige infrastructuur. Bij de daaropvolgende heraanleg werd het domein zorgvuldig heringericht, met behoud en versterking van zowel de landschappelijke als de culturele waarden.
In 1950 werd het park officieel geopend als Openluchtmuseum voor Beeldhouwkunst. Deze herbestemming markeerde een innovatieve benadering van erfgoed en landschap, waarbij het historische park werd ingezet als podium voor moderne en hedendaagse sculptuur. Gedurende de tweede helft van de twintigste eeuw ontwikkelde Middelheim zich tot een internationaal erkend museumpark waarin kunst, architectuur en natuur in wisselwerking staan.
Tegelijkertijd werden delen van het oorspronkelijke domein afgestaan voor maatschappelijke doeleinden, zoals het Middelheimziekenhuis, de Universiteit Antwerpen en het Pastoraal en Theologisch Centrum. Het kasteel zelf vervult thans de functie van museumcafé, waarmee het gebouw een actieve rol behoudt binnen het park. In deze functie blijft het een tastbare getuige van de transformatie van een middeleeuws landgoed tot een hedendaags cultuur- en kunstcentrum.