De oorsprong van het huidige Kasteel Fruithof kan worden gesitueerd in het begin van de zeventiende eeuw. In archivalische bronnen uit deze periode wordt op het domein melding gemaakt van een hoeve met de benaming ’t Cleyn Frythout. Deze vroege vermelding wijst op een overwegend agrarische functie van het terrein, ingebed in het toen nog grotendeels landelijke landschap aan de rand van de stad. De naam zelf verwijst vermoedelijk naar een met struik- en fruitgewas begroeid gebied, wat niet ongebruikelijk was voor dergelijke hoeven in deze regio.
In de tweede helft van de achttiende eeuw onderging het domein een ingrijpende transformatie. In een periode die ruwweg tussen 1750 en 1800 kan worden gesitueerd, werd het Fruithof uitgebouwd tot een zogenaamd hof van plaisantie. Dergelijke buitenverblijven waren typerend voor de welgestelde stedelijke elite, die buiten de stadsmuren rust en ontspanning zocht in een zorgvuldig vormgegeven natuurlijke omgeving. Het Fruithof paste binnen deze bredere traditie van achttiende-eeuwse buitenplaatsen, waarin architectuur, tuin- en landschapsaanleg samen een harmonisch geheel vormden dat zowel comfort als representatie nastreefde.
Na meer dan een eeuw relatief ongewijzigd gebruik kende het domein in het begin van de twintigste eeuw opnieuw een belangrijke gedaanteverandering. In 1920 kwam het eigendom in handen van Philippe Moretus de Bouchout, lid van een vooraanstaande Antwerpse familie. Enkele jaren later liet hij het bestaande gebouw grondig verbouwen. Tussen 1927 en 1928 kreeg het kasteel zijn huidige uitzicht, uitgevoerd in een neorococostijl die bewust refereerde aan de elegante vormentaal van de achttiende eeuw. Deze ingreep weerspiegelt de toenmalige belangstelling voor historiserende stijlen en het herwaarderen van aristocratische wooncultuur.
Als tastbare herinnering aan deze verbouwing werden op de voorgevel de wapenschilden aangebracht van de familie Moretus de Bouchout en van gravin Legrelle. Deze heraldieke elementen onderstrepen het representatieve karakter van het gebouw en situeren het kasteel expliciet binnen de genealogische en sociale context van zijn eigenaars.
Een nieuwe fase in de geschiedenis van Kasteel Fruithof brak aan in 1986, toen het werd aangekocht door de Borgerhoutse drukkersfamilie Onzea. Zij namen het initiatief tot een restauratie van het historische gebouw en gaven het een eigentijdse herbestemming. In december van datzelfde jaar opende het kasteel zijn deuren als restaurant. Daarmee werd een duurzaam nieuw gebruik geïntroduceerd dat het behoud van het erfgoed verenigde met economische en maatschappelijke vitaliteit.
Naast zijn gastronomische functie ontwikkelde Kasteel Fruithof zich in de daaropvolgende decennia ook tot een culturele ontmoetingsplaats. Regelmatig werden en worden er tentoonstellingen georganiseerd van beeldhouwers, schilders en fotografen, waardoor het domein een actieve rol is gaan spelen binnen het lokale culturele leven. Deze combinatie van erfgoed, kunst en gastvrijheid sluit aan bij hedendaagse visies op erfgoedbeheer, waarin herbestemming en publieksgericht gebruik centraal staan.