关于望夫山有多种传说，其中一种是：相传，曾有一对年轻夫妇带着刚出生的孩子撑船路经此地时，船不幸搁浅。
眼看口粮只剩下最后一斗米，丈夫于是爬上山顶四处了望，以便发现救援的船只。
一直守在那里，始终未能等到，心一急便化做一块石头。
妻子见丈夫久去不回，便背着孩子上山寻找，刚走到山腰，望见丈夫已变成石人，顿时伤心欲绝，一同化做石头。
清代诗人李秉礼曾赋诗：江头望夫处，化石宛成形。
两洗髻鬟湿，烟横黛眉青。
离魂悲壮宇，积恨感湘灵。
何事远游客，征帆去不停。
还有一种说法是：以前，有一对撑船为生的夫妻，正值数九寒冬，他俩逆水行船，倍受辛劳。
傍晚，夫妻俩泊船江边，遇到一个老妇人，拖儿带女的来向他们讨米。
夫妻俩 见她们实在可怜，就把仅有的一斗米送给了老妇人。
夫妻俩断粮后，只盼上下游有船往来接济。
可那时偏偏没有往来船只。
正是 屋漏更遭连夜雨。
于是，丈夫便天天爬上山去了望船只。
有一天，妻子见丈夫久不下山，就上山去找，结果 发现丈夫已被大雪冻僵，饿死在山上。
妻子一急，也死在丈夫身边。
人们为了纪念这一对好心肠的夫妇，就把他们泊船的地方称作“斗米滩”。
后来夫妻俩化为石头，人们便称 丈夫为“仙人石”，妻子为“望夫石”。
