In 1129 was ’s-Gravenwezel een kleine heerlijkheid binnen het markgraafschap Antwerpen, dat op dat moment deel uitmaakte van het hertogdom Brabant. Het gebied behoorde toe aan de heren van Wesele, een adellijke familie waarvan de naam in de loop der eeuwen verschillende vormen aannam. In 1292 werd nog gesproken van Wesele, in 1318 van Wezel, en tegen 1452 raakte de benaming Sgrevenwesele ingeburgerd, waaruit de huidige plaatsnaam is voortgekomen.
Het kasteel vormde het bestuurlijke en economische centrum van de heerlijkheid en stond in de volksmond bekend als “het hof”. Zoals vele versterkte residenties in de regio was het oorspronkelijk opgevat als een waterburcht. Het geheel werd omgeven door een dubbele gracht: een eerste gracht rond het hoofdgebouw en een tweede rond het erf met de bijgebouwen, wat zowel bescherming bood als de status van de heer benadrukte. Doorheen de eeuwen werd het kasteel herhaaldelijk aangepast, uitgebreid en verfraaid, in overeenstemming met de veranderende wooncomforten en architecturale voorkeuren van zijn bewoners.
In de veertiende eeuw werd de ronde toren opgetrokken, een markant overblijfsel van de middeleeuwse verdedigingsarchitectuur. In de vijftiende eeuw volgden belangrijke bouwcampagnes waarbij de oost- en noordgevels in gotische stijl werden herbouwd, wat het kasteel een meer representatief en monumentaal karakter gaf. Tijdens de zeventiende eeuw werd een barok poortgebouw toegevoegd, dat met zijn vormgeving en decoratie getuigde van de toenmalige voorliefde voor pracht en uitstraling. In de achttiende eeuw onderging vooral de zuidzijde een ingrijpende vernieuwing naar ontwerp van de Antwerpse architect Jan Pieter Van Baurscheit de Oudere. Deze architect was een van de belangrijkste vertegenwoordigers van de barok in Antwerpen en verwierf ook bekendheid met projecten zoals het Osterriethhuis op de Meir.
In de late twintigste eeuw kreeg het kasteel een geheel nieuwe invulling. In de jaren tachtig werd het aangekocht door antiquair en kunstverzamelaar Axel Vervoordt, die internationaal naam had gemaakt met zijn uitgesproken en eclectische visie op kunst en interieur. Hij restaureerde het historische gebouw met groot respect voor de bestaande structuren en richtte de ongeveer vijftig vertrekken in als afzonderlijke, zorgvuldig gecomponeerde ruimtes. Elk vertrek kreeg een eigen sfeer, waarin kunst, architectuur en geschiedenis met elkaar in dialoog werden gebracht. Zo groeide het kasteel van ’s-Gravenwezel uit tot een unieke plaats waar een eeuwenoud erfgoed een hedendaagse culturele betekenis kreeg.