Gåsetårnet er Nordens bedst bevarede middelaldertårn, bygget af Valdemar Atterdag i 1362-65 som led i ombygningen og udvidelsen af borganlægget. Det er i dag, det eneste bevarede bygningsværk fra Valdemarernes tid. Vordingborg blev Valdemar Atterdags yndlingsborg og i hans tid kongebolig, rigets hovedsæde og den rummede også rigets arkivalier.

Gåsetårnet var og er byens vartegn, med en samlet højde på 36 m. og en omkreds på 33 m. Murene er 3,5 m. tykke. Tårnets top prydes af en guldgås, som Valdemar Atterdag lod opsætte i spot mod de tyske Hansestæders krigserklæring i 1368. Fra toppen af tårnet er der en storslået udsigt over byen, Storstrømsbroen, Farø-Broerne og omegnen af Vordingborg.