Načrte za dvorec je izdelal kranjski deželni stavbni mojster Matija Persky, graški arhitekt Jožef Hueber pa je zasnoval nov portal v grajski park. Pri opremljanju dvorca so sodelovali številni umetniki, med njimi slikar Anton Lerhinger iz Rogatca in graški kipar Veit Königer.
Gaisrucki so dvorec posedovali do leta 1825, ko je celotna posest prišla na boben in jo je kupil Anton Čokl pl. Ruhetal. Leta 1835 je postal novi lastnik posesti Jožef Ludvik Hausmann, oče prve slovenske pesnice Fany Hausmann, ki je z njim živela v dvorcu. Hausmann je povečal posest in moderniziral gospodarstvo, pri čemer se je zadolžil, zato je leta 1849 dvorec prodal Karlu princu Salmu.
Leta 1919 je posest kupil baron Turkovič in dvorec leta 1930 prodal Dravski banovini, ki ga je preuredila v umobolnico. Baročne kipe s stopnišča, slikane tapete - chinoserije, del opreme in ostanke arhiva so takrat prenesli v ljubljanski Narodni muzej, večino inventarja pa je lastnik že prej razprodal. Za potrebe nove namembnosti je dvorec v tem času doživel številne predelave oz. prezidave in tako izgubil veliko umetniško-spomeniških lastnosti. Prav tako so bile za nove namene močno spremenjene in degradirane parkovne površine.
Med drugo svetovno vojno so Nemci Novo Celje spremenili v lazaret, dotedanje bolnike pa odpeljali v Hartheim pri Linzu, kjer so jih usmrtili.
Po letu 1945 je bila v dvorcu bolnišnica za pljučne bolezni, med 1970 in 1980 dom starejših občanov, leta 1983 ga je prevzela delovna organizacija Hmezad Agrina Žalec, od 1995 pa je v lasti Občine Žalec. Leta 2001 je bila izdelana projektna dokumentacija za obnovo dvorca in parka, po kateri postopno potekajo obnovitvena dela. Čeprav je dvorec prazen in nima prave funkcije, se tu odvijajo nekatere že tradicionalne prireditve, kot je Pohod po hmeljski poti ter umetniške razstave.