De naam Hovorst was al in de 14de eeuw bekend, namelijk had ene Arnoldus de Hoevorst een domein in leen van de Hertog van Brabant. Het betrof hier een boerderij met gronden gelegen in het gehucht Vierseldijk.
In welk jaar er een kasteel werd opgericht blijft in het vage. Sommige bronnen vermelden 1400 of daaromtrent. In 1414 was de heerlijkheid eigendom van Claus van de Werve de Oude, een telg uit het bekende Antwerpse geslacht der van de Werves. Maar hoe het kasteel of woning van de eigenaar er op dat moment uitzag blijft al evenzeer in het duister. Voor een goed beeld moeten we wachten tot begin 17de eeuw, toen in 1618 een kaart van het domein werd getekend. Op deze, in 1696, gepubliceerde ets ziet men duidelijk een omwald slot, dat bereikbaar was via een loop en ophaalbrug.
De nazaten van de bouwheer hielden Hovorst in hun bezit tot 1651. Krijgsschulden verplichtten de toenmalig bezitter afstand te doen van zijn eigendommen. In 1802 werd Hovorst gekocht door P.J. de Bruyn die het kasteel verbouwde in empirestijl. Uiteindelijk, toen in 1875 het kasteel verkocht werd, verwierf Augustinus van de Werve opnieuw het oude familiebezit. Deze liet Hovorst gedeeltelijk afbreken. Onder zijn impuls werd het kasteel, naar ontwerp van architect Pierre Langerock, in een Vlaams renaissancekleedje gestoken, en kreeg het zijn huidig uitzicht.