Zemský sněm rozhodl o zřízení a stavbě internátní školy pro neslyšící děti na Moravě dne 6. 4. 1892. Obecní zastupitelstvo města nabídlo bezplatně pozemek o výměře 19 000 m2, zdarma zajištění 200 000 cihel, kámen a písek z obecního lomu a řečiště.
Stavební práce byly zahájeny slavnostním položením základního kamene 14. 7. 1893. Vyučovat se začalo již v září 1894 slavnou bohoslužbou v ivančickém kostele. Vlastní předání se konalo o měsíc později 14. 10. 1894, kdy byl slavnostně vysvěcen celý ústav a jeho kaple. V roce 1898, kdy byla ustavena čeština za úřední jazyk, byly na ústavě vytvářeny české učebnice a osnovy.
Za 1. světové války byl ústav používán jako vojenská nemocnice. Vojáci vyklidili budovu až v lednu 1919. Vyučování začalo opět 15. 6. 1919.
Také 2. světová válka zasáhla do práce ústavu. Koncem roku 1938 zde bylo po tři měsíce ubytováno vojsko československé armády, v červnu 1941 zde po tři týdny odpočívaly německé jednotky.
V lednu 1943 zde byla na polovině budovy zřízena pobočka Ústavu pro duševně choré. Neslyšící děti zatím v ústavu bydlely, ale vyučování bylo zajištěno v ivančických školách.
V srpnu 1943 přijelo do ústavu 165 dětí z bombardovaného Berlína. Německá mládež budovu ústavu značně poškodila, od září 1944 byla přesunuta do školy Na Brněnce. V ústavu byl opět zřízen lazaret pro zraněné vojáky. Začátkem dubna 1945 zde byly ubytovány německé vojenské jednotky. Po jejich odchodu zůstala poničená budova a spáleniště hospodářské budovy.
Po osvobození města v dubnu 1945 se zde usadila sovětská armáda a po ní do 5. 9. 1945 jednotky československé armády. V letech 1943–1946 byli neslyšící žáci i s pedagogickým personálem přestěhováni do ústavu ve Valašském Meziříčí.
Obnova ústavu probíhala do března 1946, kdy byli žáci po skupinách povoláváni do školy.
V současnosti je zde Mateřská škola, Základní škola a Dětský domov.