曾希聖提的三個問題，絕不是他個人的行為，而是受毛之命來對彭做最後的爭取。但是彭絲毫不給面子，對三個問題一概否認，就使毛認為彭是一意孤行瞭。因此，毛定瞭決心，在7月23日大會上對彭進行瞭嚴厲的批判。廬山會議形勢急轉直下，由糾“左”變成瞭反右傾，並將彭德懷、張聞天、黃克誠、周小舟等人打成“反黨集團”。但是，彭在廬山會議上並未屈服。
毛澤東此後連續召集政治局常委會，對彭進行批判。話題早已超出那封信的內容，而是清算歷史老賬，表明彭在歷史上是一貫反對毛的。彭有口難辯，窩瞭一肚子火，在筆記中寫道：“7月23日，毛主席給我一悶棒。這棒叫做‘打右傾機會主義路線’，而且將歷史上所有舊賬一齊搬出來，再打四十大板，加上右傾機會主義的四十大板，一共八十大板，打得遍體痕傷，兩股無肉，然後立案畫押不準翻案，不準辯駁，但免推出午門斬首，保留黨籍。抓住你這個自高自大的王八旦，整整你吧!以觀後效。”
軍委擴大會議專門批判彭德懷
廬山會議由討論經濟工作的工作會議轉為八屆八中全會，專門解決彭德懷等人的“反黨集團”問題。雖然作出瞭決議，但彭本人並未認罪。於是中央決定在北京召開軍委擴大會議，到會的軍隊師以上幹部1061人，列席幹部508人。主要對彭德懷和黃克誠進行批判。
這次軍委擴大會議，始終是秘密進行的。至今很難看到有關的材料。從一些當事人的回憶錄中描述的場面，會議過程中，隻有北京軍區參謀長鐘偉少將主持正義，在會場上公開為彭總澄清事實，當場被拉出會場，打成“反革命”。其餘眾多高級將領，眾口一詞地猛批彭德懷。彭既然是堅持真理的人，為什麼會落到這種地步?從大傢的發言來看，大多數都是抓住瞭彭的工作作風粗暴這個缺點。
在軍隊幹部中，彭的嚴厲和喜歡罵人是眾所周知的。秘書們在陪同他到基層視察過程中，多次目睹彭怒斥下邊的幹部。1957年8月在山西某地視察彈藥庫區建設時，看到庫區過於暴露，庫間距離過密，樹木很少時，大發脾氣，要追究庫區建設的領導者、設計者和審批者的責任。
他越看火氣越大，秘書和陪同的領導都很緊張，誰也說不清這件事的原委。1958年9月到東北白城子靶場視察，看到蘇聯專傢設計的鋼筋水泥橫梁和立柱，又怒氣沖沖，大發脾氣，指責這是典型的浪費工程，說我們的幹部不動腦筋，聽任蘇聯專傢擺佈。其實這樣設計是為瞭防止彈片彈射的，也不是一點道理沒有，在場幹部一個個嚇的不敢吭聲。
就是高級將領，也免不瞭挨訓。一次接見志願軍代表團，按規定應穿元帥服。彭覺得穿便衣顯得隨和，軍委辦公廳主任肖向榮中將勸他穿軍裝，被大罵一頓，彭甚至表示不去接見瞭。肖立正靜聽，不予表態。彭罵過之後又覺得自己不對，最後還是著軍裝去接見。這樣的例子並非偶然，而是經常。所以彭與同事和下級的關系都很緊張。
林彪在批判彭的講話中說：“這個人非常英雄主義，非常驕傲，非常傲慢，瞧不起人，非常目空一切，對人沒有平等態度。不但對他的下級像兒子一樣隨便罵，就是對上級，也很不尊重，可以說是傲上慢下。他野心很大，想大幹一番，立大功，成大名，握大權，居大位，聲名顯赫，死後流芳百世。
他非常囂張，頭昂得很高，想當英雄，總想做一個大英雄。毛主席才是真正的大英雄，他覺得他也是個大英雄。自古兩雄不能並立，因此就要反毛主席，這是事情的規律。”這些話抓住瞭彭的致命弱點，也說出瞭毛內心想說的話。
所以，在軍委擴大會議上，將帥們群起而攻之，彭顯得非常孤立。
不忍部下受牽連，彭德懷不服氣地作檢討
眼看著鄧華等老部下受他牽連，陸續被打成“軍事俱樂部”成員，彭於心不忍，1959年9月4日，他終於給毛寫瞭一封信，作瞭檢討。信中說：“八屆八中全會和軍委擴大會議，對我的錯誤進行瞭徹底的揭發批判，也給瞭我改正錯誤的最後機會。”“請中央考慮，在軍委擴大會議以後，允許我學習或離開北京到人民公社去，一邊學習一邊參加部分勞動。”
信送到毛的住處，毛立即給彭打來電話，說已收到他的來信，歡迎彭的態度，年紀大瞭，不宜參加體力勞動，有時間到工廠、農村調查研究，是很好的。毛興奮地一口氣講下去，彭始終沒有插話的機會。放下電話後，彭沉默半晌，慢慢地說：“不該給他寫這封信。”