Van oudsher maakte het terrein waarop vandaag het park en kasteel Casier liggen deel uit van een open veld midden in de stad Waregem. Dit gebied was eigendom van het Onze-Lieve-Vrouwekapittel van Doornik en bleef dat tot het begin van de negentiende eeuw. In die periode kwam het domein in handen van Godefroid Boulez, die van 1804 tot 1819 burgemeester van Waregem was. Zijn betrokkenheid bij het lokale bestuur weerspiegelde zich in zijn keuze om zich te vestigen op deze strategisch gelegen gronden aan de rand van de toenmalige stadskern.
In 1829 erfde zijn dochter Victoire Boulez het volledige bezit. Zij was gehuwd met Ferdinand Storme, die haar vader opvolgde als burgemeester van Waregem en dit ambt bekleedde van 1819 tot 1830. Het domein bleef zo binnen een familie die gedurende meerdere decennia een bepalende rol speelde in het politieke en maatschappelijke leven van de stad.
Een volgende belangrijke fase brak aan in 1847, toen Félix Deruyck huwde met Nathalie Storme, dochter van Ferdinand Storme. Tussen 1847 en 1852 liet het echtpaar het huidige kasteel Casier bouwen in sobere neoclassicistische stijl. Het nieuwe kasteel werd opgevat als een statige burgerlijke residentie, aangepast aan de open parkruimte errond, en het echtpaar vestigde zich er permanent. Félix Deruyck genoot in Waregem een groot aanzien, niet alleen omwille van zijn maatschappelijke positie, maar ook door zijn sociale engagement. In 1853 richtte hij samen met zijn echtgenote de Conferentie van de Heilige Vincentius a Paulo op, die zich inzette voor de ondersteuning van arme en hulpbehoevende inwoners. Samen met burgemeester Jules Storme lag hij bovendien mee aan de basis van de organisatie van Waregem Koerse, dat zou uitgroeien tot een van de bekendste paardenrennen van het land.
Na het overlijden van Félix Deruyck en Nathalie Storme ging het domein over naar hun nichtje Marie-Victorine Storme, die gehuwd was met baron Victor Casier. De familie Casier woonde hoofdzakelijk in Gent en gebruikte het kasteel in Waregem als zomerverblijf. Onder hun eigenaarschap bleef het park zijn landschappelijk karakter behouden en werd het kasteel verder geïntegreerd in het sociale leven van de stad, zij het minder intensief bewoond.
Tijdens de laatste dagen van de Eerste Wereldoorlog liep het domein zware schade op. Zowel het kasteel als het koetshuis werden getroffen door oorlogsgeweld. In 1919 werd het kasteel hersteld en tegelijkertijd uitgebreid met een zuidelijke vleugel, afgewerkt met een mansardedak. Deze ingreep gaf het gebouw zijn huidige, evenwichtige volume en versterkte het representatieve karakter van de residentie.
In 1977 kocht de gemeente Waregem het park en het kasteel aan, waarmee het domein een publieke bestemming kreeg. Na de nodige aanpassings- en herstellingswerken werd het park opengesteld voor het publiek en groeide het uit tot een geliefde groene ontmoetingsplek in het hart van de stad. Vanaf 1983 werd in het kasteel een tearoom ondergebracht, die later grondig werd gerenoveerd. In 2003 werd kasteel Casier officieel beschermd als monument, als erkenning van zijn architecturale en historische waarde. Sinds 2017 huisvest het kasteel een eigentijdse bar-bistro, waarmee het domein een nieuwe, hedendaagse invulling kreeg en toegankelijk blijft voor zowel inwoners als bezoekers van Waregem.