都比较熟悉。他说，庐山会议还是你自己去的好。他愿留在军委管家。我就只好自己去，不便过于勉强。”
而庐山会议一直开了半个月，黄克诚仍然留在北京，彭真和林彪也都没有去庐山参加会议。“似乎都没想到会出什么大问题”，黄克诚说。
但是先他上山的彭德怀已经因为自己的直言不讳惹出大麻烦。
“1957年7月庐山会议初期，我参加了西北小组……从7月1日起，除了参加会议外，就是坐在室内看中央部门有关财经的文件、群众来信、会议简报。到7月12日晚，在我的思想上已经行成目前国家计划工作严重比例失调，毛主席的两条腿走路的方针没有贯彻到各方面实际工作中去的看法……本决定13日晨向主席反映。去时，警卫员说，主席刚睡。我就去西北小组参加会议了。13日晚饭后，就开始写那封信（实际上，7月12日晚腹稿已成），7月14日晨将写成的信，送给主席亲收。16日中央办公厅印发出来了，我于18日参加小组会时，我说明这封信只是写给主席个人参考的，请求中央办公厅收回我这封信。可是20日前后，张闻天、周小舟还有其他人发了言，都说基本上同意我那封信，黄克诚18号晚或19号晚才到庐山的……毛主席于7月23日上午批判我那封信是反党性质的纲领，说在写这封信之前，就有人发言支持，形成有唱有和，这不是反党集团又是什么呢？自主席批判了我那封信以后，会议的空气就变了，我得情绪也是紧张的”。
黄克诚则说，自己17号到了庐山之后，“上山刚住进房，彭德怀就拿着他写给毛主席的信给我看。我仔仔细细看了一遍，说：这封信的意见我赞成，但信的写法不好，语言有些提法有刺激性，你那样干什么？他说：实际情况那么严重，会上没有人敢说尖锐的话，我就是要提得引起重视。”随后周小舟、周惠和李锐也来看望黄克诚，表达了对“左”的担忧。
但是，毛泽东7月23日的发言一下逆转了整个会议，甚至还有历史。整个中国继续向狂热、虚假、荒诞和激进迈进。毛泽东说自己在看了彭德怀的信之后，吃了三次安眠药都没有睡着。在毛泽东之前发言的张闻天对彭德怀表示了支持，而毛泽东随后则对人民公社运动和大炼钢铁运动都表示了支持和辩解。一下子，整个会议气氛全变，庐山上火药味也渐渐浓烈，不再是一开始逍遥自在的“神仙会”。
当天晚上，彭德怀和黄克诚都吃不下晚饭。当晚来找黄克诚的周小舟突然冒天下之大不违说了一句话：“主席这样突变，有没有经过政治局常委讨论？主席有没有斯大林晚年的危险？”周小舟的这句话后来更加剧了他们的罪名。
毛泽东联系历史，说彭德怀是“三分合作、七分不合作”。最后这次会议、黄、张、周定性为“具有反党、反人民、反社会主义性质的右倾路线的错误”的“反党集团”，撤消他们的职务。
甚至个人习惯也成为批判的要点。毛泽东对彭德怀说：你过去挨了批评，心里怀恨。我们同在北京，连电话都难得打，打几次，打不通，就“老子跟你不往来”。在香山你找我，因我睡觉习惯特殊，警卫员说未起床，你就拂袖而去，不谈了。高、饶事件你陷得很深，你以后会怎样，也难说……你组织性、纪律性很差……打百团大战，为何也不先报告请示一下？人们说你是伪君子，你历来就有野心。我66岁，你61岁，我会死在你前头，许多同志都对你有顾虑，怕难于团结你。
再加上林彪等人踏上一脚，彭德怀真是难以再翻身。而周恩来和刘少奇则向刚刚上山的张爱萍等事先吹风，担心他们站错了队，更多军队的将领和共产党高层卷入这场清洗。
不久在北京，召开军委扩大会议，揭发批判彭德怀“里通外国”的问题，并追逼以彭为首的“反党军事俱乐部”成员。最后定论为，彭、黄是“十足的伪君子、野心家、阴谋家”，“篡军、篡党、篡国的阴谋由来已久”。
发生在庐山漫长的会议上的争斗，不难排除有毛泽东对彭德怀本人的忌惮，不然，一场讨论国内经济事务是否过于激进的会议，怎么会最终变成对彭德怀个人野心的攻击和“军事俱乐部”的指责。只是可惜，整个中国在庐山和彭德怀落寞的背影后，都开始左转向灾难。