Na místě dnešního Bytčanského zámku stával menší hrad (obytná věž s dvorcem) postavený ve 13. století.