V roce 1165 Cheb získal císař Friedrich I. Barbarosa a po stavebních úpravách jej začal využívat k pobytu při svých četných inspekčních cestách po říši, stal se tzv. císařským falcem.