In San Giovanni esiste, piuttosto nascosta, la tomba di un altro papa Silvestro, Silvestro II, uomo di grande sapienza al quale nel Medioevo si aggiunse una sinistra fama di mago.
Si dice che la tomba originale, erettagli da papa Sergio IV, si inumidiva quando si avvicinava la morte di un cardinale, mentre trasudava acqua quando un papa veniva a morte.
Questo fino al 1684, quando, per volere di Papa Innocenzo XI, venne aperta per un'ispezione e le spoglie del papa, trovate intatte, si dissolsero al contatto con l'aria. Una parte dell'iscrizione sulla tomba di Gerberto recita Iste locus Silvestris membra sepulti venturo Domino conferet ad sonitum ("Questo luogo, all'arrivo del Signore, renderà al suono dell'ultima tromba i resti sepolti di Silvestro II"): la traduzione erronea di conferet ad sonitum con "emetterà un suono" diede adito alla curiosa leggenda che le sue ossa sbatacchino subito prima della morte di un papa.
Il secondo sepolcro venne innalzato da Francesco Borromini; la tomba attuale venne eretta nel 1910, a seguito della distruzione di quella borrominiana, su progetto dell'architetto Gzila Nalder.