第1次是剛開始的時候,他殺了幾個強盜然後回去了
第2次是白骨精陷害,然後不得以回去了
第3次是真假孫悟空的時候回去的
總共3次
一開始是孫悟空剛拜唐僧為師的時候,因為他殺了六個強盜,唐僧不滿,責怪於他,悟空一氣之下離開唐僧,前往東海龍宮。後來被東海龍王勸回去,結果被唐僧戴上了緊箍咒。
後來就是三打白骨精,孫悟空打死了白骨精,唐僧卻受豬八戒的攛掇,認為悟空害的是好人,將悟空逐走。再後來就是“真假美猴王”那一回,孫悟空打死了幾個強盜,被唐僧逐走,
後來六耳獼猴假扮悟空攻擊唐僧,最後被如來佛祖識破。悟空離開總共只有這三次,其中第一次沒有回花果山,後面兩次回了花果山。所以他總共只回過兩次花果山。