Al bijna anderhalve eeuw bepaalt het Hof ter Wallen in belangrijke mate het dorpsbeeld van Olsene. Het huidige kasteel werd opgetrokken in het midden van de 19de eeuw, in een periode waarin de landelijke adel haar maatschappelijke positie en prestige vaak tot uitdrukking bracht in monumentale residenties. De eerste steen werd gelegd op 18 september 1854 door baron Polydore Piers de Raveschoot en zijn echtgenote, barones Surmont de Volsberghe. Voor het ontwerp werd een beroep gedaan op de Gentse architect Louis Minard, die het gebouw vormgaf in de Vlaams neorenaissancestijl, een historiserende bouwstijl die in die tijd bijzonder populair was en aansloot bij een hernieuwde belangstelling voor de Vlaamse architecturale traditie.
Hoewel het huidige kasteel dateert uit de 19de eeuw, is de site zelf aanzienlijk ouder. Archeologische opgravingen brachten resten aan het licht van muren die vermoedelijk uit de 11de eeuw stammen en toebehoorden aan een eerder kasteel of versterkt verblijf dat zich op dezelfde plaats bevond. Deze vondsten wijzen erop dat het Hof ter Wallen deel uitmaakte van een langdurige bewoningsgeschiedenis, waarbij de strategische ligging nabij de Leie een belangrijke rol speelde.
De bouw van het nieuwe kasteel was technisch bijzonder uitdagend. De ondergrond, die van nature drassig was, moest eerst worden gestabiliseerd. Daartoe werd gebruikgemaakt van een opmerkelijke methode waarbij gestapelde runderhuiden dienden om de bodem droog te houden. Op deze voorbereidende laag werden duizenden houten heipalen aangebracht, die het fundament van het kasteel dragen. Het bouwmateriaal werd grotendeels via de Leie aangevoerd en aan de loskaai gelost. Van daaruit zorgde een aaneenschakeling van meer dan tweehonderd arbeiders, gewapend met kruiwagens en transportkarren, voor het verder vervoer tot aan de werf. Dankzij deze strakke organisatie kon het kasteel binnen een tijdspanne van minder dan vijf jaar worden voltooid, wat in die periode als uitzonderlijk snel werd beschouwd.
Gedurende generaties bleef het Hof ter Wallen het eigendom en de residentie van de familie Piers de Raveschoot, die een uitgesproken stempel drukte op het lokale bestuur en het maatschappelijke leven van Olsene. Baron Polydore Piers de Raveschoot had zes zonen, van wie er vier het ambt van burgemeester van Olsene bekleedden. Zijn zoon Stanislas Piers de Raveschoot, de vader van Solange, was daarvan de langst regerende. Het feit dat vier broers elkaar opvolgden als burgemeester van dezelfde gemeente is een zeldzaam en mogelijk uniek gegeven in de lokale politieke geschiedenis.
In 2003 kwam een einde aan deze lange familiale bewoning met het overlijden van Solange Piers de Raveschoot, die op 93-jarige leeftijd stierf. Zij bleef ongehuwd en kinderloos en was de laatste vertegenwoordiger van de adellijke familie die het kasteel had gebouwd en bewoond. Na haar overlijden stond het Hof ter Wallen enkele jaren leeg, wat onvermijdelijk leidde tot achteruitgang van het gebouw.
In 2007 werd het kasteel echter onderworpen aan een ingrijpende renovatiecampagne. Het domein kwam in privébezit, maar niet langer in handen van de adel. Bij de restauratie werd bijzondere aandacht besteed aan het behoud van het historische karakter en de architecturale waarde van het gebouw, terwijl het interieur en de technische installaties werden aangepast aan de hedendaagse normen van comfort en veiligheid. Zo blijft het Hof ter Wallen ook vandaag een markant en betekenisvol element in het erfgoedlandschap van Olsene.