Tussen eeuwenoude bomen, verscholen in een zacht glooiend park van 52 hectare, ligt het indrukwekkende kasteel van Cailloux. Dit statige gebouw werd tussen 1881 en 1883 opgetrokken in opdracht van Hector Defoër, een telg uit een vooraanstaande familie van Jodoigne, naar de plannen van de gerenommeerde architect Charles-Émile Janlet. Janlet, bekend om zijn eclectische stijl en gevoel voor harmonie tussen natuur en architectuur, ontwierp een kasteel dat tegelijk elegant en monumentaal was, met een bijzonder dak dat het silhouet van het gebouw een unieke allure gaf.
De geschiedenis van het kasteel is nauw verbonden met het boeiende leven van zijn bouwheer. Hector Defoër reisde in 1851 met zijn broer naar Egypte, een avontuur dat zijn leven een beslissende wending zou geven. In 1863 werd hij, op verzoek van Ismaïl Pacha, vice-koning van Egypte, in dienst genomen door de Egyptische regering. Tussen 1865 en 1873 fungeerde hij in Parijs als financieel agent van de vice-koning. Tegelijkertijd was hij betrokken bij de oprichting van belangrijke financiële instellingen zoals de Franco-Egyptische Bank en Crédit Lyonnais, waarmee hij een aanzienlijk fortuin opbouwde.
Toen Egypte in de jaren 1870 in financiële moeilijkheden kwam en onder internationale controle werd geplaatst, keerde Defoër terug naar zijn geboortestreek. Met de middelen die hij in het buitenland had vergaard, zijn vermogen werd geschat op 20 miljoen frank, een van de grootste fortuinen van het land, kocht hij een uitgestrekt domein in Jodoigne. Op deze grond liet hij het kasteel van Cailloux bouwen, een uitdrukking van zowel zijn succes als zijn gehechtheid aan zijn roots.
Hoewel hij nooit een politiek mandaat bekleedde, speelde Hector Defoër een belangrijke maatschappelijke rol in het lokale leven. Hij ondersteunde de gemeentescholen, schonk geld aan liefdadigheidsprojecten en liet een ziekenhuis bouwen dat hij opdroeg aan zijn moeder, Beatrix. Zijn naam bleef lang synoniem met vrijgevigheid en vooruitgang in Jodoigne. Hij overleed in 1905 op 72-jarige leeftijd.
Na zijn dood kwam het domein in handen van de Belgische staat in 1938. Een dramatische gebeurtenis trof het kasteel op 10 december 1952, toen een zware brand het meesterlijke en zeer originele dak verwoestte, een van de architectonische pronkstukken van Janlets ontwerp.
Vandaag behoort het kasteel van Cailloux toe aan de Franse Gemeenschap. Het majestueuze gebouw, dat zijn karakteristieke neorenaissancestijl grotendeels heeft behouden, doet nu dienst als internaat van het Koninklijk Atheneum van Jodoigne.