相传有一天，灵隐寺的济公和尚午睡时突然一阵心悸，掐指一算得知将有一座山峰从远处飞来。济公心想：这山峰飞来会压死不少人。于是赶紧跑到灵隐寺前的村庄，劝说村民赶紧离开。但是村民觉得济公平常就疯疯癫癫，又爱捉弄人，根本不把济公的话当一回事儿。
眼看山峰就要飞到了，济公心里着急，正巧村里有个大户人家娶亲，村民几乎全部聚集在此。济公二话不说背起正在拜堂的新娘子就跑。村民见状都纷纷追赶济公，想要夺回新娘。济公撒开脚丫子得劲儿跑，就这样带着村民跑出一百多里后，忽然天昏地暗，狂风呼啸，伴随着轰隆一声巨响，一座山峰落到了灵隐寺前，压没了整个村庄。这下，人们才相信了济公的话，也十分感激他的救命之恩，这座山峰从此被叫做“飞来峰”。飞来峰从何处飞来，在另一个故事里或有答案。相传1600多年前，有一个叫做慧理的印度僧人来到杭州，在游玩期间见到了这座飞来峰。慧理惊奇地说道：“此乃天竺国灵鹫山之小岭，不知何以飞来？”因此，飞来峰也叫做灵鹫峰。
就这样，飞来峰凭借秀丽绝伦的自然风光与飞来传说的神秘色彩，招揽了古往今来无数人的喜爱。明朝诗人袁宏道就盛赞飞来峰：“湖上诸峰，当以飞来为第一”。苏东坡在杭州做官时，也时常登览飞来峰，在灵隐寺天王殿外的一冷泉亭饮宴赋诗，留下了“溪山处处皆可庐，最爱灵隐飞来峰”的诗句。
如今，飞来峰因为其洞穴和峭壁上雕刻着470多尊从五代至宋、元时期的石刻造像，弥补了我国五代至元代的石窟艺术的空缺，被国务院宣布为全国重点文物保护单位。
