Z počátku bylo město opevněno příkopem, který měl z vnější strany val a z vnitřní dřevěné hrazení. Postupně bylo toto hrazení nahrazeno jednoduchou kamennou hradbou.
Ještě v roce 1304 nebylo město pořádně opevněno. Hradby se začaly stavět až po nájezdu Kumánů. Rozsáhlá stavba dvojstupňových hradeb, opatřených střílnami a šesti polokruhovými baštami trvala pak celá desetiletí, než se podařilo město zcela opevnit. Zvláště bohatí měšťané měli zájem o jejich vybudování a svojí fi nanční pomocí také velkou měrou ke stavbě přispívali.
Součástí hradeb byly čtyři městské brány vystavěné v postupném časovém údobí. Původně vedly do města 3 brány: Horní čili Oslavanská, Dolní čili Kounická a Židovská. Na Oslavanské bydlel městský hlásný až do r. 1820. Na Kounické bývaly dle pověsti hodiny, než byly dány na věž chrámovou, což se stalo r. 1575. Také zde bydlel hlásný. Brána Židovská (stála na místě židovské školy) byla roku 1690 zazděna. Zároveň byla prolomena branka pro pěší, jež se nazývala Židovskou.
Všechny 3 brány a hradby byly vystavěny za Přemysla II. Otakara. Horní brána byla zbourána r. 1829, a získaným kamenem vydlážděna blízká ulice. Přední Kounická ulice dostala dlažbu r. 1861, kdy se zbourala Dolní brána. Čtvrtá „Nová brána“ vedoucí do Rybářské ulice byla vystavěna r. 1572, a stržena r. 1856. V hradbách byly prolomeny i dvě branky pro pěší. Jedna k severu (ulice Ve Fortně), a druhá k jihu (Mlýnská ulice). Získaným kamenem se vydláždilo Drůbežní náměstí.
Na hradbách stálo ještě šest věží s báněmi. Důmyslné hradební opevnění je zřejmé i v historické zástavbě města, kde ulice svými nárožími kryjí pohledy z jedné do druhé. Naopak proti tomuto zjištění nám prozíravost předků dokumentuje rohový dům v ulici Josefa Vávry 2, z jehož arkýře bylo vidět ke třem městským branám a severní brance.
Přes všechnu tuto obrannou dokonalost se však město nikdy nepříteli neubránilo a několikrát bylo vydrancováno.