Il palazzo sorge sull'area della Rocca pontelliana, fra l'Arco del Magistrato e Piazza Spontini, con il prospetto posteriore che da sulla Piazza della Repubblica e sul quale si eleva una facciata neoclassica, ricavata dopo il 1890 a seguito della demolizione del Torrione meridionale della Rocca. Voluto nel 1544 da Vincenzo di Costantino Ricci, il palazzo si caratterizza per la facciata a bugnato con pietre tagliate a forma di diamante, sull'esempio del prestigioso Palazzo dei diamanti di Ferrara e del più vicino Palazzo Mozzi di Macerata, realizzato pochi anni prima, e dal quale il Ricci prese probabilmente lo spunto per la sua residenza jesina. Completa l'edificio un porticato a sei arcate che alleggerisce la struttura e che insieme al loggiato del Palazzo Leopardi, crea un gradevole effetto scenografico.