Der niedrigere der Türme, der ursprünglich im romanischen Stil erbaut wurde, stammt noch aus der Zeit vor der Judithbrücke und bildete später einen Teil der Befestigungsanlagen. Auf der Ostseite wurde im ersten Stock ein romanisches Sandsteinrelief eingelassen, das älter als 700 Jahre ist. Laut einer der Theorien sind auf ihm der Lokator der Kleinseite (kniend) und der Gründer Premysl II. zu sehen (beide in Lebensgröße). Im Jahr 1591 erhielt der Turm eine Renaissance-Fassade mit dem interessanten Motiv eines Baphomets (eines Wesens mit dem Kopf eines Ziegenbocks und dem Körper eines Menschen).
Der höhere Turm wurde während der Regentschaft von Jiri z Podebrad (Georg von Podiebrad) im Jahr 1464 errichtet. Er diente als Wachturm und Lager. Die Höhe des Turms beträgt 45m, ein Umgang befindet sich in 26m Höhe. Die beiden Kleinseitner Brückentürme verbindet ein zinnenbewehrtes Tor, das wohl aus dem Jahr 1411 stammt.