但是，大餘縣不僅沒有共產黨的組織，而且沒有任何群眾基礎，當國民黨贛軍李文彬旅逼近大餘縣城東門時，竟然沒有一名群眾向紅軍報信。就這樣，李文彬旅一舉就攻破瞭林彪率領的紅28團警戒的陣地。緊急時刻，正在開連以上幹部會的毛澤東和朱德率軍部少數人迅速向城南轉移。
在這次戰鬥中，紅四軍犧牲瞭兩個營長、一個團黨代表，以慘重的代價撤到廣東北部的南雄縣。為瞭擺脫追兵，紅四軍主力日夜行軍，因為沿途都是無黨、無群眾的地方，這期間連軍部都差點遭覆滅。朱德的妻子伍若蘭受傷後被俘最後英勇犧牲，毛澤東的弟弟毛澤覃腿部中彈傷勢嚴重。陳毅在突圍中被敵人抓住瞭大衣，他把大衣向後一拋，恰好罩住敵人的腦袋，才快步得以脫身。當時，部隊在給養、宿營上都有很多困難，毛澤東稱這一時期是紅四軍成立以來最為困苦的時期。
面對困難和連連受挫的形勢，不少人認為應該把部隊分成兩個有獨立機動作戰能力的單位。但毛澤東不同意立即分兵，認為分兵活動容易遭敵人各個擊破。為此，在羅福嶂前委會議上，毛澤東與朱德發生瞭激烈的爭論。
幾天後，3600人的部隊連吃飯都很困難，行動時目標很大，恰逢隆冬，冰天雪地，紅軍戰士卻還穿著單衣行軍。在這種情況下，不少幹部強烈要求分兵活動，在前委擴大會上，毛澤東把多數人提出的分兵意見壓下去不予討論，由此在部隊中引起瞭許多人的不滿。
當時紅四軍最高權力機構是前敵委員會，簡稱“前委”。針對部隊中因分兵引起的不滿情緒，毛澤東以前委書記的名義提出：由朱德任書記的紅四軍軍委暫時停止辦公，軍委機關改為政治部，由紅四軍黨代表毛澤東來兼政治部主任一職。就這樣，前委書記、黨代表、政治部主任都由毛澤東一人擔任，黨權、軍權、人權全部集中到瞭毛澤東一人身上。
有瞭相對集中的指揮權，毛澤東指揮作戰更加得心應手瞭。1929年2月10日，在大柏地戰鬥中，紅四軍一舉殲敵兩個團，這是紅四軍自下井岡山以來打的第一個大勝仗，從此紅軍擺脫瞭被動的局面，取得瞭作戰的主動權。盡管如此，紅四軍中仍有不少幹部對毛澤東集權的做法表現出強烈的不滿。
同年2月7日，紅四軍接到中央的來信(史稱“二月來信”)，來信要求紅四軍保存實力和發動群眾，將隊伍分散到農村去，毛澤東、朱德離開紅四軍去中央。隨即紅四軍中一部分積極主張分兵遊擊的人就以“二月來信”為借口，再次要求紅四軍分兵遊擊。
同年5月上旬，中央派劉安恭到紅四軍工作。劉安恭也是四川人，與朱德、陳毅是老鄉，劉安恭早年留學德國，參加過“南昌起義”，後又到前蘇聯學習軍事。劉安恭在軍事理論上很有一套，他善於辭令，口才極好，這使很多紅軍幹部對他佩服有加。
同年5月底，為解決紅四軍內部的矛盾，前委召開瞭擴大會議。會議爭論的焦點是：毛澤東領導的前委是否“管得太寬瞭”?“權力太集中”?前委是不是“書記專政”?有人提出要正式恢復軍委，以健全紅四軍黨的組織系統。爭論雙方都是出於公心，所以爭論起來理直氣壯、各不相讓，最終也沒有形成統一的意見。幾天後，劉安恭以中央代表的名義主持臨時軍委並作出決定：前委隻討論紅四軍的行動問題，不要管軍隊的其它事，並提出恢復紅四軍正式軍委。
毛澤東認為，作為下級黨委的臨時軍委擅自決定並限制其上級黨委前委的職權，這種做法是非常不正常的。隨即，“前委”在白沙召開擴大會議，會議以表決的形式通過瞭取消臨時軍委的決定。
會上，針對當時少數人把黨內分歧意見散佈到一般指戰員中去，使得前委書記難以繼續展開工作的情況，毛澤東向前委提出瞭辭職，並請求馬上撤換書記，然後離開前委，去蘇聯學習兼休息。隨後，前委推選陳毅代替毛澤東為前委書記，這一決定讓陳毅頗感意外。
1958年5月，陳毅與毛澤東等人在中共八大第二次會議上
毛澤東最恨以下犯上 陳毅犯大忌
1929年6月22日，紅四軍第七次代表大會召開，由“紅四軍代理前委書記”——28歲的陳毅主持。會上民主氣氛很濃，代表有什麼意見都可以提出來，既允許批評，也允許答辯。代表們於是對毛澤東、朱德二人紛紛提出瞭意見，有些意見甚至有些過火。