Diventato l'emblema della sua civiltà è stato in ugual misura amato e odiato, tanto da essere definito "Stupor Mundi" ma anche "Essere pestifero, maledetto, scismatico, eretico ed epicureo, corruttore della terra intera", secondo il giudizio di fra' Salimbene da Parma. Non sappiamo se sia nato a Jesi per scelta o per volere del destino.

Si racconta che Costanza d'Altavilla, figlia del re normanno Ruggero II, in viaggio con il marito Enrico VI e le sue truppe verso il sud dell'Italia alla conquista del Regno di Sicilia, ad un certo momento deve essersi separata dal marito perché era finalmente in attesa di un figlio.

Le fonti contemporanee tacciono sul luogo preciso all'interno della città dove Federico sarebbe nato. Sono stati gli storici locali, quali il Grizio e il Baidassini, a parlare molti secoli più tardi con dovizia di particolari dell'evento, che sarebbe avvenuto all'interno di un padiglione alzato in Piazza S. Floriano alla presenza delle autorità religiose, civili, della nobiltà e di molti cittadini di Jesi; tutto questo perché non si potesse dubitare, o peggio ancora, negare, il verificarsi del parto tenuto conto dell'età avanzata dell'imperatrice.

Se la nascita di Federico II a Jesi è certa, altri episodi successivi che legano l'imperatore alla sua città natale, sollevano, invece, molti dubbi. Lo storico Pietro Grizio racconta di una presunta venuta a Jesi nel 1216 e parla di accoglienze trionfali degli jesini che "oltre ad altri sontuosissimi apparati, fatti per la venuta di tanto uomo, innalzarono in suo onore un arco di marmo in piazza S. Floriano con bellissimo disegno e architettura, pieno di statue ed epitaffi, fra i quali alcuni dicevano: Natus est hic nobis Federicus II imperator semper augustus et aesinae patriae pater".

Federico, in occasione della visita, volle onorare non solo a parole ma anche con privilegi la sua città natale: ornò il leone, stemma del Comune, di una corona reale e diede a Jesi il titolo di Repubblica.

Tradizione vuole che l'Imperatore avrebbe voluto rendere navigabile il fiume Esino, tuttavia pare che gli jesini, posti di fronte alla alternativa, o il porto o il titolo di città regia, scelsero quest'ultima e, continua, il Grizio, "Federico fu tanto amato e riverito che in sua memoria, una contrada presso il nostro fiume a diverse miglia dalla città, verso libeccio, si chiamasse Passo Imperatore, perché Federico II venendo a Jesi su quel punto traghettò lesino".
La tradizione storica locale parla anche di una seconda visita in città che sarebbe avvenuta nel 1220 durante il tragitto dalla Germania a Roma per ricevere da Papa Onorio III la corona imperiale, ma anche su questo avvenimento gli storici sono molto scettici.

Un terzo episodio che collega Jesi con Federico riguarda la famosa lettera che l'Imperatore fece pervenire agli jesini nel 1239 tramite il figlio Enzo, nominato re di Sardegna, giunto nella Marca per sottrarla alle dipendenze del Papa Gregorio IX. Nell'appello a liberarsi dal giogo della Chiesa e a sottomettersi all'Impero, Federico usa parole di amore e di grande ammirazione per la propria città natale con il chiaro proposito di trarla dalla sua parte.
A seguito della lettera, gli jesini, intuendo i possibili vantaggi che avrebbero ottenuto, si schierarono con I'Imperatore cacciando dalla città i capi del partito guelfo.