关于此飞来石的来历，民间一直有诸多传说，莫过于铁拐李修桥说和女娲补天石说。
宋代有个石匠，毕生心愿想在家乡的江上造桥一座石桥，是人手不够，石头也不够，他的独生女儿准备“捐身修桥”。八仙之一的铁拐李听闻，腾云驾雾来到百里外的大山，将石匠开凿出来的石头全部扇到了江边，又对身下立着的一块巨石挥了三扇子，巨石飘悬在半空中。听石匠大声说：“石头够了”，他便驾起云头，飘游起来。游到黄山，见黄山风景秀丽，便将那巨石落下。从此，飞来石在这里落地生根。
其实，飞来石并非天外飞来，其与下部的基座平台原系一体，都是由黄山岩体补充期侵入的中细粒斑状花岗岩所构成；花岗岩构造节理发育，由于北东和北西向的两组近直立节理和北西走向的近水平节理的切割裂解，形成了长方柱体的“飞来石”雏形，但此时其四周仍被岩块包围着，上下仍为一体。后来，在山体的不断抬升中，由于风化剥蚀，冰川流水和重力崩塌，使四周岩块逐渐被剥离脱落，基座平台面上的接触面变得很小，最终形成了兀立于高座平台之上的“飞来石”奇观。
黄山景区花岗岩出露超过70%，许多奇峰怪石，都是风化作用的“妙手”偶得。岩石风化是指地表或接近地表的坚硬岩石、矿物与大气、水及生物接触过程中产生物理、化学变化而在原地形成松散堆积物的全过程。根据风化作用的因素和性质可将其分为三种类型：物理风化作用、化学风化作用、生物风化作用。
飞来石位于安徽省黄山风景区平天矼的一块平坦岩石上，为自然风化生成。两大岩石之间的接触面很小，上一石似从天外飞来，故名"飞来石"。 地质学家认为，飞来石这一奇观是地质变化过程中形成的，真可谓天设地造。
