De oorsprong van het Lozerkasteel gaat terug tot de vroege middeleeuwen en is nauw verbonden met de ontwikkeling van de heerlijkheid Huise. Reeds in 1080 wordt de site vermeld als het bestuurlijke centrum van deze heerlijkheid. De vroegst bekende heer is Eustachius van Vijve, die in de 11de eeuw als leenhouder optrad binnen het feodale stelsel van het graafschap Vlaanderen. Het domein nam in deze periode een strategische en bestuurlijke positie in binnen het omliggende landschap.
In de daaropvolgende eeuwen wisselde de heerlijkheid meermaals van eigenaar en kwam zij in handen van verschillende vooraanstaande adellijke geslachten. In de 15de en 16de eeuw behoorde Lozer onder meer toe aan de familie Vilain van Gent, een invloedrijk patricisch geslacht dat een belangrijke rol speelde in het politieke en economische leven van de stad Gent en haar omgeving. Later werd het domein eigendom van de familie de Montmorency van Nevele, een zijtak van het machtige huis Montmorency. De bekendste vertegenwoordiger van deze familie was Filips de Montmorency, graaf van Hoorn, een prominent edelman en staatsman in dienst van de Habsburgse kroon. Zijn onthoofding in 1568 op de Grote Markt van Brussel, samen met Lamoraal van Egmont, markeerde een sleutelmoment in de aanloop naar de Tachtigjarige Oorlog en liet ook op lokaal niveau diepe sporen na.
Na een periode van frequente eigendomsoverdrachten kwam het kasteel in januari 1650 in handen van Jean-Baptiste della Faille, grootbaljuw van Gent en lid van een invloedrijke Gentse patriciërsfamilie. Met deze aankoop begon een uitzonderlijk lange en ononderbroken periode van familiebezit. Meer dan drieënhalve eeuw bleef het Lozerkasteel eigendom van de familie della Faille d’Huysse, die het domein niet alleen als residentie gebruikte, maar het ook blijvend vormgaf en onderhield. Hun aanwezigheid bepaalde in hoge mate het huidige karakter van zowel het kasteel als het omliggende park.
Het oorspronkelijke kasteel had een vrij sobere, blokvormige opbouw, zoals gebruikelijk was voor versterkte adellijke woningen in de late middeleeuwen. In de 18de eeuw werd het gebouw grondig verbouwd en kreeg het een neoklassieke uitstraling, aangepast aan de toen geldende architecturale smaak en het representatieve wooncomfort van de adel. Na de verwoestingen van de Eerste Wereldoorlog volgde opnieuw een ingrijpende heropbouwcampagne. Architect Valentin Vaerwyck, een toonaangevende figuur binnen de Vlaamse architectuur van het begin van de 20ste eeuw, ontwierp het huidige kasteel in de stijl van het neo-Lodewijk XVI, waarbij hij klassieke elegantie combineerde met een eigentijdse interpretatie.
Ook het park rond het kasteel weerspiegelt deze gelaagde geschiedenis. In 1885 werd het domein heraangelegd door de Duitse tuinarchitect Friedrich Eduard Keilig, bekend om zijn landschappelijke parken waarin natuurlijke reliëfs, waterpartijen en doordachte zichtlijnen centraal stonden. Het resultaat is een bosrijk park dat het kasteel op harmonieuze wijze in het landschap inbedt en tegelijk de statige allure van de residentie benadrukt.
Vandaag wordt het Lozerkasteel nog steeds bewoond door de tiende generatie van de familie della Faille d’Huysse. Baron della Faille d’Huysse en zijn echtgenote, barones Elisabeth du Bois de Vroylande, hebben het historische domein een hedendaagse invulling gegeven zonder afbreuk te doen aan het erfgoedkarakter. In de bijgebouwen baten zij een viersterrenbed-and-breakfast en een vakantiewoning uit, waardoor het eeuwenoude kasteeldomein op een respectvolle manier wordt opengesteld voor gasten uit binnen- en buitenland. Zo blijft Lozer niet alleen een levend familiebezit, maar ook een actief en beleefbaar onderdeel van het Vlaamse kastelenerfgoed.