Il progetto per il palazzo è stato realizzato da Matija Persky, esperto costruttore della regione Carniola, l'architetto Jožef Hueber di Graz ha invece progettato il nuovo portale per il parco del palazzo. Nel suo arredamento hanno collaborato svariati artisti, tra cui il pittore Anton Lerhinger da Rogatec e lo scultore di Graz Veit Königer.
La famiglia Gaisruck mantenne la proprietà del palazzo fino al 1825, quando a causa di difficoltà economiche venne venduta ad Anton Čokl pl. Ruhetal. Nel 1835 Ludvik Hausmann, padre della prima poetessa slovena Fany Hausmann, divenne il nuovo proprietario del palazzo. Per ampliare e modernizzare il palazzo Hausmann si indebitò fino al punto da doverlo vendere nel 1849 al principe Karl Salm.
Nel 1919 il palazzo venne acquistato dal barone Turkovič che ne rimase proprietario fino al 1930 quando venne ceduto alla banovina della Drava che lo trasformò in ospedale psichiatrico. Le sculture barocche sulle scalinate, i tappeti – chinoserie e parte dell'arredamento vennero trasferiti al Museo nazionale di Lubiana. Visto il nuovo utilizzo dell'edificio, il palazzo ha subito molte ristrutturazioni e cambiamenti perdendo le sue caratteristiche artistico – monumentali. Allo stesso modo sono state cambiate e degradate anche le superfici verdi del parco.
Durante la Seconda Guerra mondiale i tedeschi trasformarono Novo Celje in un lazzaretto, trasferendo i malati che allora si trovavano nell'ospedale a Hartheim vicino a Linz, dove vennero uccisi.
Dopo il 1945 il palazzo divenne ospedale per le malattie polmonari fino al decennio fra il 1970 e 1980 quando fu trasformato in una casa di riposo. Nel 1983 venne rilevato dall'organizzazione dei lavoratori Hmezad Agrina Žalec. Infine nel 1995 diventò proprietà del Comune di Žalec che nel 2001 promosse il progetto tutt’ora in corso per la ristrutturazione sia del palazzo che del parco. Anche se il palazzo è vuoto e non ha una funzione definita, al suo interno si svolgono alcuni eventi divenuti ormai tradizionali: