De oorsprong van Huis Bergh ligt in de twaalfde eeuw. Rond de burcht groeide een nederzetting die in 1379 stadsrechten kreeg. In de vijftiende eeuw werden kasteel en stad samen omringd door verdedigingswerken — een uitzonderlijke structuur die de naam Kasteelstad verklaart.
Vandaag wandel je in korte tijd van het kasteel naar het oude Raethuys, de kerken, de Muntwal, de kasteeltuin en het stadsplein. Tussen de monumenten vind je terrassen en lokale adressen waar je rustig kunt blijven hangen.