Nell'area
più elevata del centro storico, si alza la possente mole quadrata dell'antico
Palazzo del Comune, più noto come Palazzo della Signoria sede originale
del Gonfaloniere e dei Priori, cioè della Magistratura cittadina.L'edificio poggia nel lato nord-est sulle fondamenta dell'antico teatro romano e venne edificato, dopo l'abbattimento del medioevale Palazzo dei Priori, tra il 1486 e il 1498, su progetto dell'illustre architetto senese Francesco di Giorgio Martini, gia attivo in diverse località delle Marche e, a partire dal 1471, impiegato ad Urbino alla realizzazione della nuova ala del Palazzo del Duca Federico da Montefeltro.
L'elegante facciata in laterizio, che prospetta sulla Piazza Colocci, ha un doppio ordine di finestre a croce guelfa munite di cornici in pietra finemente incise.
Al di sopra del grande portale d'ingresso, costruito nel 1558 in stile dorico-rustico, è posta un'edicola rettangolare decorata con putti e festoni d'alloro con all'interno un grande leone rampante, stemma della città, scolpito in pietra nel 1498 da Michele di Giovanni da Milano e dal figlio Alvise, su un disegno del Martini; alla base dell'edicola è una scritta latina così tradotta: " Re Esio lo concesse, Federico II Imperatore lo coronò, la Repubblica, pontificando Alessandro IV, lo pose ".
Nel 1551 il palazzo era stato completato con una torre slanciata a tre ordini merlati e cupola finale, che crollò nel 1657 a seguito di un terremoto.
Quella attuale è stata riedificata nel 1666 ma per scarsità di fondi non venne mai ultimata.
Parte interessante del palazzo è il portico interno progettato dal Martini.
Sorretti da pilastri con mattoni a vista e capitelli scanalati, si alzano complessivamente per l'intero tracciato del cortile, quattordici archetti, due dei quali posti nella campata d'ingresso e in quella simmetrica frontale, più ampi e a sesto ribassato.
All'interno del cortile, in posizione arretrata rispetto al centro, è un pozzo costruito in pietra da Giovanni di Gabriele da Como, intorno al quale gira l'ambulacro del portico con accessi alle due scale a rampa rettilinea che portano ai piani superiori.
A piano terra è anche la porta di entrata ad un suggestivo locale coperto da ampie volte che costituiva la Sala delle Armi, mentre oggi è adibito a sede del Museo civico che conserva reperti e testimonianze storiche della città.
Nel secondo ordine, agili colonne in pietra d'Istria con capitelli corinzi, sorreggono le volte a crociera del loggiato e sono state disegnate da Andrea Contucci da Monte S. Sovino, detto "Sansovino", chiamato a Jesi nel luglio del 1519.
Al primo piano si trova la Sala principale, ha un soffitto ligneo realizzato dallo jesino Pieramore di Bartolomeo Pierleoni dal 1522 al 1525 composto da cassettoni con lacunari, di cui quello centrale porta scolpito uno scudo con leone, stemma di Jesi.
Il terzo ordine ha oggi una sistemazione provvisoria con pilastri in legno collocati a seguito dei restauri del palazzo effettuati nel 1936.
Questo piano ospita, nell'antica Sala dei Giudici, la splendida Biblioteca Planettiana, donata dalla famiglia Pianetti al Comune agli inizi del '900.