Op de fundamenten van de historische hoeve De Rode Poort werd in 1908 het kasteel Ter Wallen opgetrokken. De bouwheer was Joseph van Naemen, parlementslid en een invloedrijke figuur binnen het politieke en maatschappelijke leven van zijn tijd. Samen met zijn echtgenote Suzanne Vanden Bogaerde gaf hij opdracht voor de bouw van een elegante residentie, ontworpen door de gerenommeerde architect Walter Vercoutere. Met dit project wilde het echtpaar een representatieve woning realiseren die zowel comfort als status uitstraalde. De naam Ter Wallen verwijst naar de oude verdedigingswallen die het terrein in vroegere eeuwen omsloten en herinnert aan de historische gelaagdheid van de site.
Het kasteel werd opgevat als een statige buitenresidentie, ingebed in een verzorgd domein dat aansloot bij de toenmalige opvattingen over wonen, landschap en prestige. De architectuur weerspiegelde de verfijnde smaak van het begin van de twintigste eeuw en sloot aan bij het oeuvre van Vercoutere, die bekendstond om zijn evenwichtige ontwerpen en aandacht voor detail.
Tijdens de Eerste Wereldoorlog kreeg het kasteel een ingrijpend andere functie. Het bood onderdak aan de zusters Ursulinen van Blois, die hun klooster en school hadden moeten ontvluchten. Later, in de zomer van 1917, werd het gebouw door de bezetter ingericht als militair hospitaal voor gewonde Duitse soldaten die van het front terugkeerden. Deze periode liet onvermijdelijk sporen na in het gebouw en betekende een tijdelijke breuk met het oorspronkelijke residentiële karakter van het kasteel.
Na de Tweede Wereldoorlog volgde opnieuw een functiewijziging. Het domein werd aangekocht door Wybo, een Izegemse borstelfabrikant, die het kasteel een nieuwe bestemming gaf als restaurant- en feestlocatie. Gedurende meerdere decennia fungeerde Ter Wallen als een stijlvolle ontmoetingsplaats voor feestelijkheden en sociale evenementen, waarbij het statige interieur en de groene omgeving een belangrijke rol speelden. In 1985 kwam een einde aan deze horecaperiode en werd het kasteel opnieuw ingericht als privéwoning.
Een nieuw hoofdstuk in de geschiedenis van Kasteel Ter Wallen begon in 2018, toen Laurence Vansteenkiste het domein huurde met de ambitie er een bed and breakfast in onder te brengen. Gedurende tien maanden werd het kasteel intensief gerenoveerd en aangepast, met grote zorg voor het behoud van de historische kenmerken en de eigenheid van het gebouw. Deze werken hadden tot doel het kasteel een hedendaagse functie te geven zonder afbreuk te doen aan zijn erfgoedwaarde.
Op 23 september 2019 opende de bed and breakfast officieel de deuren. Vandaag vormt Kasteel Ter Wallen opnieuw een plek waar gastvrijheid en geschiedenis samenkomen, ingebed in het stedelijke weefsel van Izegem en gedragen door een verleden dat meer dan een eeuw omspant.