第一次是因为打死了一群强盗，被唐僧埋怨，孙悟空一气之下离开。
第二次是因为三打白骨精，唐僧误解了孙悟空，认为他滥杀无辜，所以将他赶走。
第三次是因为真假美猴王事件，孙悟空打死了几个强盗，被唐僧逐走。
第四次是因为孙悟空担心花果山的猴子们成为孤魂野鬼，愧疚于他们，所以离开。
孙悟空离开花果山的原因如下：
第一次，孙悟空被唐僧从五行山下救出后，陪同唐僧前往西天取经。在途中，孙悟空打死了一伙强盗，唐僧不满孙悟空的做事方法，将他赶走，于是孙悟空回到了花果山。
第二次，孙悟空为了救唐僧，打死了几个强盗，被唐僧逐走。后来六耳猕猴假扮孙悟空打了唐僧，抢走了行李，唐僧宝象国遇难，八戒和沙僧去救百花羞公主，结果不敌，沙僧被抓，八戒逃跑。黄袍怪进宫将唐僧变成老虎，小白龙也被打伤。最后猪八戒在小白龙的劝导下用激将法将孙悟空请回。
第三次，孙悟空为了救唐僧，打死了几个强盗，被唐僧逐走。后来六耳猕猴假扮孙悟空打了唐僧，抢走了行李。
第四次，孙悟空为了斩断红尘，选择回到花果山继续做美猴王。此外，花果山还有无数的孤魂野鬼，这些也都是拜他所赐，由于孙悟空大闹地府，毁掉了三界所有猴类的生死簿，导致三界猴类死后只能成为孤魂野鬼。原著二十八回就说当初天界攻打花果山时，孙悟空被抓，花果山就被二郎神率梅山七兄弟烧了，又有猎人狩猎，走的走死的死，最后只剩老幼千把只。更因为生死簿上没名字，所以无法轮回转世，只能成为孤魂野鬼。从而孙悟空好心办了坏事，内心有愧，自然不敢再回去。
