Het château de Là-Bas bezit een lange en gelaagde geschiedenis die haar oorsprong vindt in de vijftiende eeuw. De vroegst bekende heer van het domein is Jean de Vaul, die het kasteel rond 1450 in bezit had. In deze periode fungeerde het kasteel vermoedelijk als een versterkte adellijke residentie, passend binnen het feodale landschap van de streek. Doorheen de daaropvolgende eeuwen wisselde het domein van eigenaar, tot het in handen kwam van de familie de Posson.
Een beslissend moment in de geschiedenis van Là-Bas vond plaats in 1734, toen de familie de Posson het kasteel volledig liet herbouwen. Deze heropbouw gaf het domein een nieuw en representatief aanzien, in overeenstemming met de architecturale smaak en de wooncomforteisen van de achttiende eeuw. De herinnering aan deze bloeiperiode is tot op vandaag zichtbaar: de wapenschilden van de familie de Posson prijken nog steeds op beide torens en vormen een tastbaar symbool van hun invloed op het kasteel.
In 1783 kwam het kasteel via een huwelijk in handen van de familie Philippart. Dat jaar trad Lambert de Philippart in het huwelijk met Philippine de Posson, waardoor het domein binnen de familie werd overgedragen. Het echtpaar kreeg zes kinderen, onder wie Charles Philippart, die later een belangrijke rol zou spelen in het lokale bestuur als burgemeester van Aische-en-Refail. Onder hun bewoning bleef het kasteel een familiale residentie met een sterke verankering in het regionale leven.
Na het overlijden van Charles Philippart kwam het landgoed in 1819 in bezit van zijn zuster Rose-Joséphine Philippart. In datzelfde jaar huwde zij met graaf Philibert-Emmanuel van Goidtsnoven, waarmee een nieuwe adellijke familie aan de geschiedenis van het kasteel werd toegevoegd. Hun kleinzoon, Leopold van Goidtsnoven, gehuwd met gravin Van der Burch, nam in 1870 het initiatief tot een grondige restauratie van het kasteel. Deze ingrijpende werkzaamheden bepaalden in grote mate het huidige uitzicht van het gebouw en combineerden respect voor de historische structuur met negentiende-eeuwse aanpassingen en verfraaiingen.
Ook in de twintigste eeuw speelde het château de Là-Bas een opmerkelijke en soms discreet gebleven rol. Tijdens de Tweede Wereldoorlog verbleven de jonge prinsen Boudewijn en Albert er in 1942 op zomerkamp, een weinig bekend maar betekenisvol hoofdstuk in de geschiedenis van het domein. In diezelfde moeilijke periode bood het Manoir in alle stilte bescherming aan Joodse kinderen, die er een veilig toevluchtsoord vonden, ver weg van vervolging en gevaar.
Na de oorlog kreeg het kasteel opnieuw een andere bestemming. In 1955 werd het domein omgevormd tot een toeristisch centrum. Op het uitgestrekte terrein van ongeveer twintig hectare werd een luxueuze camping ingericht, die gedurende meer dan een halve eeuw bezoekers uit binnen- en buitenland aantrok. Deze nieuwe functie gaf het kasteel een plaats binnen het recreatieve en toeristische landschap van de regio.
Uiteindelijk kwam aan deze periode een einde door financiële moeilijkheden, die leidden tot de sluiting van het toeristische centrum. Nadien werd het domein verworven door een vastgoedbelegger, waarmee opnieuw een nieuw hoofdstuk werd toegevoegd aan de lange en veelzijdige geschiedenis van het château de Là-Bas.