Il lago era un apprezzato luogo di divertimenti e villeggiatura degli antichi romani. Tra l'altro, nelle vicinanze erano situati un bosco e un luogo di culto dedicati alla dea Diana; "Nemi" infatti prende il nome (e lo attribuisce anche al paese che sorge sopra di esso) dal Nemus Dianae, bosco sacro dedicato alla dea; l'edificio di età romana a lei dedicato, il tempio di Diana, sorgeva originariamente sulle rive del lago ma ora ne è relativamente distante per la diminuita capienza del bacino. L'emissario, anch'esso di epoca romana, nel suo tratto sotterraneo è lungo 1650 metri, passa sotto Genzano attraversando il recinto craterico del Vulcano Laziale e si riversa incanalato nella Valle Ariccia. L'importanza storica di questo luogo è confermata dalla ricchezza archeologica.

Questo nuovo palazzo era collocato alla destra dell'attuale portale d'ingresso. È probabile che l'originario nucleo del palazzo si presentasse come semplice articolazione del recinto fortificato, privo di una specifica individualità, prevalentemente aperto verso l'interno del borgo e chiuso verso l'esterno. A fianco del vecchio palazzo, in corrispondenza dell'attuale portale, era situata la porta principale dell'insediamento urbano di Genzano ("Genzano Vecchio"); pertanto gli abitanti di Genzano mantennero il diritto di poter passare per l'odierno portone del palazzo. Completando il distacco dall'originario nucleo medievale, ad opera del duca Gaetano Sforza Cesarini, tra il 1713 ed il 1730 venne realizzata la nuova facciata mediante l'aggiunta di un ulteriore corpo di fabbrica verso il lago, rendendo l'edificio simmetrico rispetto all'antico portale. Inoltre, il fabbricato fu sopraelevato di un piano, accentuandone la sproporzione rispetto alle casette contigue. Parco Cesarini-Sforza, adiacente al Palazzo Il principale artefice di questa operazione fu l'architetto romano Ludovico Gregorini, figura molto attiva nell'ambiente romano tra XVII e XVIII secolo, che per i Cesarini lavorò a lungo, progettando, tra l'altro, la Via Sforza (oggi Via B. Buozzi). Altri architetti si avvicendarono con ruoli di secondo piano nei lavori settecenteschi, tra i quali Domenico Gregorini, che diresse i lavori dal 1723 al 1725 sulla base dei disegni del padre Ludovico, dopo la sua morte, e Domenico Navone che progettò gli arredi interni.