Il maestoso Palazzo Baldeschi Balleani è collocato sul lato nordest di Piazza Federico II, allora Piazza San Floriano, che diede i natali all'imperatore Federico II e sorta sul luogo del Foro Romano, all'incrocio tra il Cardo ed il Decumano. La piazza è cinta da notevoli edifici eretti tra il XVI e il XIX: la chiesa di San Floriano (oggi sede del Teatro Valeria Moriconi) ed il convento (oggi Scuola Primaria “G. Mestica”), il Duomo, il Palazzo Vescovile, il complesso di Palazzo Ripanti Nuovo e Vecchio, il Palazzo Ghislieri Nuovo e all'angolo il Palazzo Amici-Honorati.
Palazzo Baldeschi Balleani è un'elegante residenza nobiliare eretta a partire dal 1720 dietro committenza dei Balleani, presenti a Jesi fin dal Medioevo e noti come Baligani. Tano Baligani di Filippuccio fu anche Signore di Jesi tra il 1320 e il 1328. In seguito, la famiglia si fuse con i Guglielmi e poi con i Baldeschi. Nel 1902, nella biblioteca del conte Aurelio Guglielmi-Balleani è stato ritrovato il Codex Æsinas, il più antico e importante manoscritto dell'"Agricola" di Tacito, contenente anche un brano della "Germania", oggi conservato presso la Biblioteca Nazionale di Roma. Durante la Seconda Guerra Mondiale, i conti salvarono il manoscritto dai nazisti nascondendolo nelle cucine del Palazzo.
Il Palazzo Baldeschi Balleani è subito individuabile tra gli altri edifici storici della piazza per la struttura quasi isolata nell'angolo del lato breve, ma incastonata tra il Duomo e San Floriano, e per l'originale facciata: caratterizzata dall'intonaco color avorio antico sottolineato dalle modanature ocra pallido delle finestre, è arricchita da quattro grandi telamoni che sorreggono una balconata con decorativa ringhiera in ferro battuto. All'altezza del secondo piano, in una nicchia, è posta una statua della Madonna con Bambino. L'edificio, progettato dall'architetto romano Francesco Ferruzzi, è riccamente decorato all'interno da stucchi, grottesche e pitture murali di decoratori e artisti attivi a Jesi nel XVIII secolo.