Az épületet a 13. század végén kezdték el építeni. A királyi építkezéseket követően a Kanizsaiak a 15. század végéig egy zárt udvarú palotaszárnyakkal és védőművekkel körbevett várat építettek ki. A mai formát is meghatározó munkálatok Nádasdy Tamás idejében, 1549 és 1562 között történtek. A 17. század közepén további jelentős építkezések folytak III. Nádasdy Ferenc országbíró irányítása alatt. A kastély secco és freskó technikával készült mennyezeti csataképsorozata a hazai barokk művészet legnagyobb szabású monumentális történeti falképsorozata, s mint ilyen ez az egy maradt meg. A képeket Hans Rudolf Miller festette 1653-ban, s nagyrészt II. Nádasdy Ferencnek a "fekete bég"-nek törökellenes csatáit ábrázolják. A díszterem oldalfalain a szintén bécsi származású, de Sopronban letelepedett Dorffmaister Istvánnak jó száz évvel későbbi 1769-ben vegyes technikával (olaj és al fresco-al secco) készül ótestamentumi jeleneteket ábrázoló művei láthatóak. A későbbiekben még előfordulnak kisebb-nagyobb építkezések, de lényegében mai formájában is egy 16-17. századi várkastély tárul a látogató szeme elé.