Sorge sulle fondazioni della Rocca realizzata da Baccio Pontelli (nei sotterranei, non visitabili, è tutt'ora visibile la massiccia struttura di una torre di rinfianco) e venne costruito alla fine del sec. XVI, su disegno dell'architetto urbinate Lattanzio Ventura, per ospitare la Magistratura cittadina costretta, nel 1585, a lasciare il Palazzo della Signoria per dar posto al Governatore Pontificio.
Nell'occasione, venne anche realizzato un porticato in linea con quello adiacente di Palazzo Ricci che venne poi chiuso nel 1773 per problemi di stabilità. Nello stesso anno venne anche aperto l’attuale atrio di ingresso.
La facciata si presenta con scansioni geometriche lineari a tre ordini di finestre munite di cornici.
Nell'atrio sono conservati cimeli storici e lapidi, di cui una riporta la trascrizione della famosa lettera fatta pervenire agli jesini, nell'agosto del 1239, da Federico II per esortarli a passare dalla sua parte nella lotta contro il Papato.
Al primo piano si trovano: la Sala del Consiglio, con belle prospettive architettoniche alle pareti dipinte dall'artista Lorenzo Daretti (sec. XVIII); la Sala della Giunta, la Sala degli Sposi, attualmente del Sindaco.
Quest'ultimo ambiente è un piccolo gioiello neoclassico, con volta a botte, decorato con cassettoni dipinti a lacunari e rosoni, terminante in una nicchia absidata, decorata a losanghe che racchiudono leggiadre figure femminili danzanti.
Sulla volta, una raffigurazione a tempera ricorda il Sacrificio di Virginia, eroina romana, mentre nel catino, figura una rappresentazione allegorica con l'Incoronazione della Giustizia da parte della Felicità.
L'intero partito decorativo è opera dell'artista Felice Giani (1758-1823) e dell'ornatista mantovano Gaetano Bartolani, che le realizzarono alla fine del sec. XVIII.