All’interno del palazzo sono allestiti il Museo Archeologico, la Pinacoteca e la Galleria di Arte Contemporanea.

Palazzo Pianetti, un significativo esempio di architettura settecentesca, fu commissionato dalla nobile famiglia Pianetti nella metà del‘700. Il palazzo acquisì l’aspetto attuale nella metà del secolo successivo, quando fu ristrutturato in occasione del matrimonio di Vincenzo Pianetti con una discendente della prestigiosa famiglia marchigiana Azzolino. Negli anni seguenti, a causa di gravi problemi finanziari, la famiglia Pianetti fu costretta a vendere l’intero palazzo. Nel 1901 l’edificio venne acquistato dalla famiglia Tesei, ultimi proprietari prima della graduale e parziale acquisizione da parte del Comune di Jesi.

Dal 1981 il piano nobile di Palazzo Pianettiè sede della Pinacoteca. A caratterizzare questo piano sono la celebre Galleria degli Stucchi e le stanze decorate con le Storie di Enea, due delle quali ospitano le note opere di Lorenzo Lotto. Il nucleo originario della collezione deriva dalle opere divenute di proprietà comunale grazie al decreto Valerio,  e ampliato successivamente attraverso donazioni. Le stanze del secondo piano, interamente decorate in stile ottocentesco, accolgono dal 2002 la Galleria d’Arte Contemporanea le cui opere derivano, oltre che da acquisizioni, anche dal premio“Rosa Papa Tamburi” ideato dall’artista jesino Orfeo Tamburi, e dalla mostra del 1981“La Ruota del Lotto” grazie alla quale artisti contemporanei hanno reinterpretato i capolavori di  Lorenzo Lotto. Dal 2017 nei locali delle ex Scuderie di Palazzo Pianettiè allestito il Museo Archeologico che contiene reperti provenienti dal territorio, la collezione Pasquarella-Spridgeon e un gruppo di statue romane.