落星墩形如星斗乍看像是浮在水面，传为坠星所化，宋人蒋之奇有“今日湖中石，当年天上星”的诗句形容。郦道元在《水经注》中载：“落星石，周回百余步，高五丈，上生竹木，传曰有星坠此以名焉”，星子县（现为庐山市）便因此而得名。
五代时，落星墩被封为宝石山，宋初曾在其上建亭院，历代都加以维修，明代又加建亭台楼阁，如浮玉楼、玉京轩、岗漪轩、清晖阁等，由于历尽沧桑残存无已。后上生竹木，墩境依旧幽雅秀丽。传说五代有位皇帝老儿，赐封它为“宝石山”，并捐建“福星龙安院”于石墩上。
落星墩，最早的记载出自南北朝时郦道元所著的《水经注》：“落星石，周回百余步，高五丈，上生竹木，传曰有星坠此，以名焉。上生林木，而飞禽罕集，言其上有玉膏可采，所未详也。耆旧云：昔禹治洪水至此，刻石纪功，或言秦始皇所勒，然岁月已久，莫能合辨之也。”王安石、黄庭坚、朱熹等历代名人游经此地皆有诗词题咏，王安石《落星寺》中所形容的“崒云台殿起崔嵬，万里长江一酒杯”更是千古名句。把落星墩称作万里长江一酒杯，我先前还有些不思其解，虽然形象，地理位置却不十分贴切，称作千里鄱湖一酒杯似乎更为合适些，但我转而又一想，概是因落星墩离鄱阳湖入长江口不远，鄱阳湖水又源源不断注入长江，江湖相连，浑然一体，称为长江酒杯也并无不妥，诗人的眼光到底更为宏大浪漫些。宋人蒋之奇有“今日湖中石，当年天上星”的诗句形容。
一寺一塔 ，一亭一牌楼，远观落星墩错落有致，简约和谐，然走近观之，除石牌坊外，落星寺、石塔、石亭无不破败不堪，令人唏嘘。伫立其上，近观湖水，碧波连天一色；远眺庐山，淡烟轻掩雄姿，田园诗人陶渊明当年“舟遥遥以轻扬，风飘飘而吹衣”的闲适悠然生活场景，仿佛依稀可见。
