Het Kasteel Frezenberg, gelegen in een uitgestrekt park met een achterliggende ommuurde tuin, werd in 1843 gebouwd in opdracht van baron Dominique Van Zuylen van Nyevelt uit Oostkamp. Van Zuylen was burgemeester van Vlamertinge van 1843 tot 1862 en was gehuwd met Marie-Thérèse Van den Peereboom. Omdat het echtpaar kinderloos bleef, ging het domein na hun overlijden over op Marie-Thérèses neef, senator Paul Van den Peereboom. Hij was gehuwd met Marie-Constance Buyse en woonde hoofdzakelijk in Kortrijk. Voor de senator fungeerde Frezenberg voornamelijk als zomerresidentie. Tijdens zijn eigenaarschap liet hij het kasteel moderniseren en uitbreiden, terwijl ook het park volgens de toenmalige landschappelijke opvattingen werd heraangelegd en verder verfraaid.
Met het uitbreken van de Eerste Wereldoorlog kwam het domein in de onmiddellijke nabijheid van het Ieperse front te liggen. Dankzij zijn strategische ligging werd het kasteel achtereenvolgens gebruikt als hoofdkwartier door Franse troepen en later door verschillende Britse eenheden. In Britse militaire verslagen werd het aangeduid als Belgian Château, een benaming die verwees naar de aanwezigheid van de Britse artillerie op de site. Rondom het kasteel werden loopgraven, schuilplaatsen en verbindingswegen aangelegd, waardoor het domein uitgroeide tot een belangrijke schakel in de geallieerde verdedigingslinie ten westen van Ieper. Tijdens de hevige gevechten in de omgeving liep het kasteel zware schade op.
Na de oorlog keerde de familie Van den Peereboom niet meer naar Frezenberg terug. De eigenaar schonk het zwaargehavende domein aan de orde van de ongeschoeide karmelietessen, die het kasteel lieten verbouwen tot een klooster en er zich in 1925 vestigden. Bij de restauratie werden twee nieuwe vleugels en een kapel toegevoegd. Het oorspronkelijke eclectische kasteel, ontworpen door de Brusselse architect Edouard Ramaekers en gekenmerkt door een uitgesproken neoclassicistische vormentaal, kreeg hierdoor zijn huidige uitzicht en bestemming.
Sindsdien staat het domein bekend als De Karmel van Vlamertinge. Te midden van een eeuwenoud park en getekend door een bewogen geschiedenis groeide het uit tot een plaats van stilte, bezinning en gebed. Als voormalige adellijke residentie, militaire hoofdkwartiersite uit de Eerste Wereldoorlog en contemplatief klooster verenigt De Karmel verschillende lagen van het verleden. Vandaag vormt het een uitzonderlijk waardevol historisch, architecturaal, militair en religieus erfgoed binnen de Westhoek.