Op de plaats van het huidige Hof ter Welle bevond zich reeds in de middeleeuwen een omwalde hoeve, georganiseerd rond een centrale binnenplaats. Deze site maakte deel uit van een typisch feodaal landbouw- en verdedigingssysteem, waarbij de omwalling zowel bescherming bood als een duidelijke afbakening vormde van het domein. In de loop van de renaissance onderging het goed een belangrijke transformatie. De oorspronkelijke hoeve werd uitgebouwd tot een aanzienlijk kasteel, dat in grote lijnen de vorm aannam die vandaag nog herkenbaar is. Deze verbouwing weerspiegelde de veranderende wooncultuur van de adel, waarbij comfort en representatie steeds belangrijker werden naast defensieve aspecten.
Het domein behoorde in deze periode tot de bezittingen van de adellijke familie Vilain XIIII, die ook bekendheid verwierf als eigenaars van het kasteel Wissekerke in Bazel. Gedurende de daaropvolgende eeuwen bleef Hof ter Welle in handen van opeenvolgende adellijke geslachten. Tot in de 18de eeuw werd het bewoond door onder meer de families Van Pottelberghe, Del Plano en Foullon d’Anteville, die elk op hun manier bijdroegen aan het beheer en de instandhouding van het domein.
Een fundamentele wending in de geschiedenis van Hof ter Welle vond plaats in 1723, toen het kasteel eigendom werd van jonkvrouw Anne-Françoise Piers. Zij gaf het domein een uitgesproken sociale en filantropische bestemming door er een school op te richten voor arme kinderen en weeskinderen. Deze initiatief paste binnen de bredere traditie van adellijke liefdadigheid in de 18de eeuw, waarbij privébezit werd ingezet voor het algemeen nut.
Na de Franse Revolutie en de invoering van nieuwe bestuurlijke structuren kreeg het domein een institutionele rol. In 1796 werd het, na de oprichting van de burgerlijke hospicen, door deze administratie gebruikt als instelling van weldadigheid. Drie jaar later, in 1799, ging Hof ter Welle over naar het Bureel van Weldadigheid, de voorloper van het huidige OCMW. In de 19de en 20ste eeuw ontwikkelde de site zich verder tot een school- en kloosterdomein, waar onderwijs en zorg centraal stonden. Deze functies brachten aanpassingen met zich mee, maar lieten de historische kern van het kasteel grotendeels intact.
In 1988 verlieten de laatste zusters het domein. Nadien nam het dienstencentrum Hof ter Welle vzw de zorg- en welzijnstaken over en werd bijkomende infrastructuur opgericht om aan de hedendaagse noden te voldoen. Het kasteel zelf bleef in deze periode echter leeg en raakte geleidelijk in verval.
Tussen 2015 en 2017 werd Hof ter Welle grondig gerestaureerd en herbestemd. Vandaag fungeert het kasteel als erfgoedhuis van de gemeente Beveren. Het biedt onderdak aan het heemkundig museum en aan de gemeentelijke kunstcollectie, die samen een rijk en gevarieerd beeld schetsen van de geschiedenis en cultuur van het Land van Beveren. Daarnaast heeft ook de Hertogelijke Heemkundige Kring Het Land van Beveren er haar vaste stek gevonden. Op die manier vormt Hof ter Welle vandaag een levendig centrum waar erfgoed, onderzoek en publiekswerking samenkomen.