Dům pánů z Lipé, zvaný též Pírkův dům, byl postaven v letech 1610–1620 na místě dvou měšťanských domů italským stavitelem Antoniem Valdim pro chrudimského provazníka Šimona Pírka. V roce 1636 prošel dům stavební úpravou. To již byl v rukou knížat z Lichtenštejna, kteří jej roku 1658 darovali svému hejtmanovi Jiřímu Broskému.
V 18. století dům přechází do správy města. Roku 1873 byla provedena rozsáhlá úprava, během které byla vzácná renesanční atika nahrazena zděným patrem, čímž došlo k umělecké degradaci objektu. Nárožní dvoupatrový dům má kamenný renesanční bohatě zdobený portál, ostění oken, nárožní válcový arkýř, kamennou nárožní bosáž a kamenný sokl.
Po mnohá desetiletí byla budova sídlem škol, úřadů, muzea a také zde byla vojenská kasárna. Ve druhé polovině 20. století prošel dům rozsáhlou obnovou. K domu přiléhá nádvoří, které je v současné době parkově upraveno. Dnes v budově sídlí městský úřad.