La Torre Viscontea è l'unica parte delle fortificazioni di origine viscontea sopravvissuta integra agli abbattimenti decretati alla fine del secolo XVIII. Il Borgo fortificato, di forma triangolare, era completamente cinto dalle mura difensive fin dal tempo di Azzone Visconti.

Il castello vero e proprio nel Seicento ospitava la guarnigione spagnola di cui parla Alessandro Manzoni ne I Promessi Sposi e occupava una superficie di circa 1.200 metri  quadri.

Nel 1782, all'interno delle riforme volute dall'imperatore Giuseppe II, la piazzaforte militare di Lecco venne abolita, consentendo lo sviluppo urbano del centro e il castello fu venduto a privati. Oggi del castello visconteo rimane solo la torre trecentesca a seguito dello sviluppo urbano ed industriale della città. Al piano terreno sono ancora visibili gli alloggi del corpo di guardia e alcune palle di cannone in pietra. Il primo piano è stato ristrutturato e  adibito a spazio per le mostre temporanee, realizzate dal Si.M.U.L in collaborazione con enti e associazioni del territorio.