Il Polo museale di Palazzo dei Priori si trova all’interno dell’omonimo Palazzo duecentesco che si impone su Piazza del Popolo. Il palazzo frutto di annessioni di un’abitazione privata e dell’antica chiesa di San Martino ha assunto l’aspetto attuale solo nel Cinquecento con l’imponente scalinata d’accesso e l’imponente statua bronzea di papa Sisto V fusa nel 1588 da Andrea Sansovino quando Fermo diventa sede arcivescovile.

Al suo interno sono ospitate la Pinacoteca Civica, la Sala del Mappamondo e le Sale di Rappresentanza che comprendono: la Sala dei Ritratti, la Sala dei costumi, la Sala degli Stemmi, la Sala del Sindaco, la Sala dell’Aquila con i preziosi affreschi di Pio Panfili e la Sala Rossa. 

La Pinacoteca Civica ospita un'importante raccolta di dipinti di scuola marchigiana e veneta, assieme a manufatti in pietra, costumi, stemmi, porcellane, arredi ed oggetti di pregio. Tra le opere più significative quelle di Andrea da Bologna, Francescuccio di Cecco Ghissi, Jacobello del Fiore (Storie di Santa Lucia), Vittore Crivelli (Crocifissione), Vincenzo Pagani, Giuliano Presutti e Giovanni Lanfranco (Pentecoste). Di particolare interesse un arazzo fiammingo realizzato su disegno di Giusto de Gand e il dipinto di Peter Paul Rubens raffigurante L'Adorazione dei Pastori, commissionato al pittore nel 1608 dai Padri Filippini per la loro chiesa. È  compresa, nel percorso di visita della pinacoteca, la preziosa Sala del Mappamondo commissionata dal Cardinale fermano Decio Azzolino j. e realizzata nel 1688 dall'architetto Adamo Sacripante, che conserva il nucleo piu' antico della biblioteca. La Sala, completamente arredata con scaffalature in legno di noce, ospita parte del fondo antico della Biblioteca Comunale donato principalmente dal fermano Romolo Spezioli, medico personale della regina Cristina di Svezia. Domina l'ambiente l'imponente mappamondo, realizzato dal geografo Silvestro Amanzio  Maroncelli nel 1713.