Het kasteel van Losange kent een bewogen geschiedenis die teruggaat tot de middeleeuwen. Ooit stond hier een imposante waterburcht, omringd door grachten en gebouwd ter verdediging van het omliggende land. Deze versterking werd echter volledig verwoest in de 17de eeuw. Pas eeuwen later, in 1941, ontdekte men de oude fundamenten terug in de vijver die nog steeds naast het huidige kasteel ligt, een stille herinnering aan het verleden.
Het huidige kasteel verrees aan het begin van de 18de eeuw, toen de dienst- en bijgebouwen van de verdwenen burcht werden verbouwd en uitgebreid tot een elegant landhuis. Van 1912 tot 1920, met een onderbreking tijdens de Eerste Wereldoorlog, kreeg het kasteel een grondige restauratie onder leiding van architect V. Pauwels, die het interieur moderniseerde en het geheel een nieuwe grandeur gaf. Uit die periode stamt ook de neogotische kapel, met twee prachtige glasramen van de Gentse kunstenaar Camille Ganton.
Tijdens het Von Rundstedt-offensief in de winter van 1944 liep het kasteel van Losange zware schade op. Toch werd het na de Tweede Wereldoorlog zorgvuldig hersteld, zodat zijn historische charme behouden bleef.
In 1958 kwam het domein in handen van de familie d’Udekem d’Acoz. Graaf Patrick d’Udekem d’Acoz en zijn echtgenote, gravin Anne Komorowska, namen het kasteel in 1971 over en begonnen aan een grondige renovatie van het sinds 1957 onbewoonde gebouw.
Vandaag draagt het kasteel van Losange niet alleen de sporen van eeuwen geschiedenis, maar ook een vleugje koninklijke glans: koningin Mathilde bracht hier haar kindertijd door, waardoor het kasteel voortaan een bijzondere plaats inneemt in de Belgische geschiedenis.