Het domein Blekkervijver maakte oorspronkelijk deel uit van de uitgestrekte landerijen die toebehoorden aan de jezuïetenorde in en rond Aalter. De jezuïeten hadden er landbouwgronden, bossen en vijvers in bezit, die zij beheerden in functie van hun onderwijs- en pastorale activiteiten. Deze situatie kwam abrupt ten einde in 1773, toen paus Clemens XIV de Sociëteit van Jezus ophief. In de daaropvolgende jaren werden de voormalige eigendommen van de orde door de overheid aangeslagen en openbaar verkocht.
In 1780 wist Jean Baptist Roelandts, griffier van het Land van de Woestijne, een aanzienlijk deel van deze gronden te verwerven, waaronder het domein Blekkervijver. Roelandts behoorde tot de lokale bestuurlijke elite en legde met deze aankoop de basis voor de uitbouw van een privélandgoed. Na zijn overlijden ging het domein over op zijn zoon, eveneens Jean Baptist geheten, die het bezit een duidelijk residentieel en economisch karakter gaf. Hij liet op het domein een buitenverblijf oprichten en breidde de eigendommen verder uit door bijkomende aankopen van omliggende gronden. Daarnaast richtte hij op Blekkervijver een paardenfokkerij in, die het domein regionale bekendheid bezorgde en het economische rendement verhoogde.
Toen Jean Baptist Roelandts junior in 1839 kinderloos overleed, kwam het domein in handen van zijn nicht Camille van Cutsem. Zij was gehuwd met Alexander Jullien, en samen met hun familie namen zij hun intrek op Blekkervijver. Gedurende de rest van de 19de eeuw bleef het domein in handen van deze familie, die het karakter van een landelijk buitenverblijf met park en vijvers behield. In deze periode fungeerde Blekkervijver voornamelijk als privéresidentie en ontspanningsoord voor de eigenaars, zonder grote structurele ingrepen aan de bestaande bebouwing.
In 1894 werd het domein aangekocht door Karel Mast-De Maeght, een telg uit een welgestelde familie. Onder zijn eigenaarschap brak een nieuwe bouwkundige fase aan. In 1920 liet hij de bestaande gebouwen slopen, die intussen verouderd en niet langer aangepast waren aan de wooncomforten van de tijd. Op dezelfde plaats gaf hij opdracht tot de bouw van een nieuw kasteeltje. Het ontwerp werd toevertrouwd aan de Gentse architecten Oscar Henricus en Albert Van de Voorde, die kozen voor een elegante neo-Lodewijk XIV-stijl. Het gebouw werd opgetrokken in een combinatie van baksteen en zandsteen en straalde een klassieke, evenwichtige monumentaliteit uit. Opmerkelijk is dat bij de bouw ook materiaal werd hergebruikt afkomstig van het gesloopte kasteel van Schuurlo, wat niet ongebruikelijk was in het begin van de 20ste eeuw.
Tijdens de Tweede Wereldoorlog kende het domein Blekkervijver opnieuw een woelige periode. In de aanloop naar de Duitse inval werden Belgische officieren van het nabijgelegen vliegveld van Aalter op het domein ingekwartierd. In mei 1940 zochten terugtrekkende Belgische troepen er tijdelijk beschutting tegen Duitse luchtaanvallen. Tijdens de bezetting werd het kasteel, samen met de omliggende gronden, opgeëist door het Duitse leger, dat het domein gebruikte voor militaire doeleinden.
Na het einde van de oorlog verloor Blekkervijver zijn functie als privéresidentie. In 1948 werd het domein verkocht aan de Congregatie van de Broeders van Liefde. Zij pasten het interieur van het kasteel aan hun religieuze en gemeenschapsgerichte noden aan. Daarnaast werd een nieuwe vleugel opgetrokken, waarin onder meer een noviciaat en een kapel werden ondergebracht. Sindsdien is het domein onafgebroken eigendom van de Broeders van Liefde. Het kasteel en het omliggende terrein zijn sindsdien niet toegankelijk voor het publiek en vervullen een besloten religieuze en institutionele functie.