少陵台位于兖州九州大道中段(原少陵西街)。唐代大诗人杜甫晚年自称“少陵野老”。唐开元二十年春,杜甫贡举下第,是时杜甫的父亲杜闲正在兖州司马任上,杜甫由洛阳来兖州省父,以后并于此寓居。按其《壮游》诗:“峙下考功第,独辞京尹堂。放荡齐赵间,裘马颇清狂。快意八九年,西归到咸阳。”可知杜甫下第后即来兖州。
明初,朱元璋第十子朱檀封为鲁王,藩兖州。兖州城南扩,为纪念杜甫,在杜甫登楼处城墙保留一段,改建成台,遂称少陵台。为兖州八景之一,谓之“南楼夕月”,南楼遗址土基——少陵台,现为兖州市重点文物保护单位。近年,在台周围以砖砌墙,加以保护,可供登临。