Nejstarší stavbou zámeckého komplexu je románská válcovitá věž z r. 1323 (Turris Budetyn), která sloužila na ochranu místa kde se vybíralo mýto. V r. 1545 Juraj Sugoň postavil okolo věže renesanční vodní hrad. Další úpravy proběhly v r. 1713ve stylu baroka. V r. 1849 byl zámek vypálen a krátce poté znovu zrestaurován. V r. 1920 - 23 se uskutečnila přestavbe jihozápadního křídla, kde byly v přízemí a prvním patře vytvořeny stropy ze dřeva. Kompletní obnovu prováděl v letech 1966 - 1976 Slovenský ústav památkové péče a ochrany přírody v Banské Bystrici. V současné době jsou opraveny dvě budovy pro restaurátory, ostatní jsou v dezolátním stavu. V prostorách zámku je umístěna expozice drátenického muzea, která bude koncem r. 2006 přemístěna do městských prostor Žiliny a zámek bude na pět let pro veřejnost uzavřen.