Van een kasteel in Ittre wordt al melding gemaakt aan het begin van de 14de eeuw. Het toenmalige versterkte gebouw speelde vermoedelijk een rol in de lokale verdediging en controle over de omgeving. In 1578 werd dit middeleeuwse kasteel echter in brand gestoken, een lot dat het deelde met vele adellijke residenties tijdens de troebele tijden van de godsdienstoorlogen. Pas in 1632 werd het heropgebouwd door Florent Rifflart, waarmee de site opnieuw haar plaats innam in het feodale en economische landschap van de streek.
Het heropgebouwde kasteel stond beneden, ter hoogte van de weg, maar werd in 1875 volledig verwoest. Enkele jaren later besloot Albert Smet, voorzitter van de verzekeringsmaatschappij AG en burgemeester van Ittre, om op een nabijgelegen heuvel een nieuw kasteel te laten oprichten. Zo verrees in 1885 het huidige Château d’Ittre, dat door zijn ligging boven het dorp een imposante en schilderachtige aanblik biedt.
Het nieuwe kasteel werd opgetrokken in baksteen en natuursteen naar de plannen van architect Henri Maquet, bekend als ontwerper van de gevel van het Koninklijk Paleis te Brussel. Zijn ontwerp combineert statige symmetrie met elegantie: een centraal gedeelte met drie grote bogen wordt geflankeerd door twee torens, wat het gebouw een evenwichtige en monumentale uitstraling geeft, typerend voor de neorenaissance-architectuur van het einde van de 19de eeuw.
Het omliggende park, aangelegd in 1884, is het werk van Louis Fuchs, een van oorsprong Duitse landschapsarchitect die in België grote faam verwierf. Fuchs was, samen met zijn tijdgenoten Charles Girault en Édouard André, een van de drie belangrijkste tuin- en parkarchitecten van de 19de eeuw. Zijn ontwerp voor het park van Ittre combineert de verfijning van de Franse traditie met de romantische elementen van het Engelse landschap, waardoor het domein een harmonieuze overgang vormt tussen natuur en architectuur.