五次。
第一次是其在天宫被封了个弼马温,后来得知官位太小,并遭到别人的嘲笑,一怒之下返回花果山,并自封齐天大圣。详见第四回《官封弼马心何足,名注齐天意未宁 》 。
第二次是因为其虽然被太白金星哄回去天上,并玉帝承认其自封的齐天大圣的官位,但后来没有被邀请参加蟠桃会,心生不满,于是偷吃完所有的蟠桃和太上老君的金丹,后怕被玉帝责怪,返回花果山。详见第五回《 乱蟠桃大圣偷丹,反天宫诸神捉怪》。
第三次是唐僧刚收孙悟空为徒弟时,孙悟空打死了六个强盗。唐僧埋怨悟空残害生灵,悟空看不惯,逃回花果山,在观音菩萨的帮助下,又重新返回唐僧身边,菩萨赠唐僧紧箍咒。详见第十四回 《心猿归正,六贼无踪》。
第四次是孙悟空三打白骨精,唐僧埋怨悟空乱杀无辜,一气之下,返回花果山,后唐僧宝象国遇难,猪八戒用激将法将其请出。详见第二十七回《尸魔三戏唐三藏,圣僧恨逐美猴王》。
第五次是悟空半途打死几个强盗,被唐僧责怪,但因悟空被蝎子精的尾巴蜇了头还痛着没被赶回去。后投宿到那伙强盗的同伙的家里,被强盗的同伙追杀,不得已将强盗余党的头子打死,被唐僧赶回花果山。