Po vymření Turzovců, kteří zřídili v Bytči knihovnu a měli zde i klenotnici se sbírkou vzácných gobelínů, se osudy zámku změnily. Ten se dostal roku 1624 do rukou Eszterházyů, kteří vlastnili Bytču až do poloviny 19. století.
