象鼻山的山顶有明初所建的一座喇嘛式的实心砖塔普贤塔,远看像大象背上的宝瓶,又像插在大象背上的宝剑的剑柄,故又称宝瓶塔、剑柄塔。
关于象鼻山和剑柄塔,有个动人的传说——古时候,这头神象随玉皇大帝南巡来到桂林,身患重病遭弃,当地人治好了它,它为报恩,于是留在人间为民耕种劳作。玉皇大帝得知,多次召它回宫,它誓死不从,天兵天将下界捉拿,它奋起反抗,激战数日,浑身带伤。玉皇大帝见暴力无法使它屈服,谎称休战,趁它俯江饮水时,派天兵天将用宝剑插入它的背,神象化作巨石永远留在了漓江边,它那背上的剑柄至今还留着。