Het kasteel Drie Koningen werd in 1802 opgericht in opdracht van Franciscus-Josephus-Joannes, baron de Serret van Outryve d’Ydewalle, op een terrein dat voordien volledig toebehoorde aan de paters karmelieten. De ligging van het domein, op een lichte verhevenheid langs een belangrijke verkeersas, gaf het van meet af aan een markante en goed zichtbare plaats in het landschap.
Oorspronkelijk stond het kasteel bekend onder de naam Meerberg. Deze benaming verwees enerzijds naar de nabijgelegen wijk Meerberg, die reeds in 1469 in schriftelijke bronnen wordt vermeld, en anderzijds naar de heuvel waarop het gebouw werd opgetrokken. In de loop van de 19de eeuw raakte deze naam echter geleidelijk in onbruik. De benaming Drie Koningen nam de overhand, ontleend aan een herberg die reeds in 1565 vermeld wordt op het kruispunt van de heirweg en die in het lokale geheugen een vaste plaats had ingenomen.
De ontstaansgeschiedenis van het domein is nauw verbonden met de ingrijpende veranderingen aan het einde van de 18de eeuw. Tijdens de Franse Revolutie werden kerkelijke goederen massaal aangeslagen en verkocht als zogenaamde Nationale Goederen om de staatskas te spijzen. In dat kader kocht kanunnik Jean-Georges van Outryve in 1798 de voormalige karmelietengronden op openbare verkoop. Vier jaar later, in 1802, schonk hij het domein aan zijn schoonbroer, baron de Serret van Outryve d’Ydewalle, die vrijwel onmiddellijk opdracht gaf tot de bouw van een nieuw kasteel.
Het kasteel werd opgetrokken in een zuivere Empirestijl, een architecturale vormentaal die sterk beïnvloed was door de klassieke oudheid en die haar opgang maakte tijdens het bewind van Napoleon Bonaparte. Deze stijlkeuze weerspiegelde niet alleen de heersende smaak van de tijd, maar ook de maatschappelijke positie en culturele aspiraties van de opdrachtgever. Volgens de overlevering werd bij de bouw deels gebruikgemaakt van herwonnen materialen afkomstig van de afgebroken Sint-Donaaskerk te Brugge, wat het gebouw een bijkomende historische gelaagdheid verleent.
Doorheen de 19de en het begin van de 20ste eeuw onderging het kasteel meerdere renovaties en aanpassingen, met name in 1858, 1871 en 1909. Deze ingrepen hadden tot doel het comfort te verhogen en het gebouw aan te passen aan de noden van opeenvolgende generaties, zonder afbreuk te doen aan het oorspronkelijke architecturale karakter. Dankzij deze zorgvuldige onderhouds- en restauratiecampagnes bleef het kasteel in uitzonderlijk goede staat bewaard.
Na het overlijden van André van Outryve d’Ydewalle in 1940 ging het kasteel over naar zijn oudste zoon Hubert. Tot op heden blijft het domein in handen van de familie: het kasteel wordt vandaag bewoond door Raynier Outryve d’Ydewalle, zoon van Hubert. Daarmee vormt kasteel Drie Koningen een zeldzaam voorbeeld van een vroeg 19de-eeuws adellijk landgoed dat niet alleen zijn architecturale integriteit heeft behouden, maar ook zijn familiale continuïteit, en zo een levende getuige blijft van meer dan twee eeuwen geschiedenis.