De Heerlijckyt van Elsmeren wordt voor het eerst vermeld in 1299 als een versterkt domein langs de Gete. In die periode maakte het deel uit van de eerste verdedigingslinie van het hertogdom Brabant tegen het aangrenzende graafschap Loon, een grensgebied dat regelmatig werd geconfronteerd met militaire spanningen en machtsconflicten. Het oorspronkelijke complex bestond uit een donjon met enkele bijgebouwen en vervulde zowel een defensieve als een bestuurlijke functie. Tot in de vijftiende eeuw bleef het leengoed in handen van het geslacht Van der Elsmeren, dat zijn naam ontleende aan deze heerlijkheid en er zijn machtsbasis had.
In het midden van de vijftiende eeuw ging het domein over op Dierick van Halle, wat wijst op een eerste belangrijke overdracht binnen de feodale structuren van de regio. Tegen het einde van de zestiende eeuw, in 1599, werd de heerlijkheid aangekocht door François Baillet, heer van Neerlinter. Hij verwierf tevens de hertogelijke grondheerlijkheid over Geetbets, waardoor zijn invloed in het oostelijke deel van Brabant aanzienlijk toenam. Onder zijn nazaten kwam het domein tot verdere ontwikkeling, zowel bestuurlijk als architecturaal.
Een beslissend keerpunt in de geschiedenis van Elsmeren volgde omstreeks 1667, toen Jacques van de Ven, een afstammeling binnen de eigenaarslijn, het middeleeuwse feodale hof liet afbreken. Op dezelfde locatie liet hij een nieuw kasteelcomplex optrekken dat beantwoordde aan de woon- en representatie-eisen van de zeventiende-eeuwse adel. Het jaartal 1667, dat verwijst naar deze bouwcampagne, is nog steeds zichtbaar op een windwijzer boven een van de torentjes en vormt een tastbare herinnering aan deze ingrijpende transformatie.
Het nieuwe kasteel werd opgetrokken in baksteen en vertoont een verfijnde architectuur die zich situeert in de overgangsperiode tussen barok en rococo. De sobere massiviteit van de vroegere versterking maakte plaats voor meer decoratieve elementen, met sierlijke gevelornamenten en een harmonieuze opbouw die comfort en status benadrukte. In 1699 kwam het domein in handen van de familie De Rijckman de Betz, die gedurende meerdere generaties het uitzicht en het karakter van Elsmeren verder zou bepalen.
Het huidige voorkomen van het kasteel is in belangrijke mate het resultaat van restauratie- en verfraaiingscampagnes die in de twintigste eeuw werden uitgevoerd, met name in de jaren 1920 en opnieuw in de jaren 1990, telkens onder impuls van dezelfde familie. Tijdens deze werken werd bijzondere aandacht besteed aan het behoud van het historische karakter van het gebouw. Volgens overlevering en archivalische aanwijzingen zou daarbij ook bouwmateriaal zijn hergebruikt dat afkomstig was van het nabijgelegen, gedeeltelijk gesloopte kasteel van de heren van Hoen te Rummen, wat wijst op een bewuste omgang met regionaal erfgoed.
Het kasteel wordt omringd door een park met vijvers en een rijke variatie aan boomsoorten, waaronder enkele zeldzame exemplaren. Deze landschappelijke aanleg versterkt het residentiële karakter van het domein en vormt een harmonieuze overgang tussen architectuur en natuur, zoals dat vanaf de achttiende en negentiende eeuw steeds meer werd nagestreefd.
In 2004 droeg de familie De Rijckman de Betz de Heerlijckyt van Elsmeren over aan nieuwe eigenaars. Zij gaven het domein een nieuwe invulling als seminarie- en ontmoetingscentrum, waarbij zij het historische patrimonium met zorg en respect behielden. Zo blijft Elsmeren, ondanks zijn gewijzigde functie, een levendige getuige van meer dan zeven eeuwen regionale geschiedenis, waarin militaire, feodale en residentiële lagen elkaar hebben opgevolgd.