可是，经过整整半年的反复审查，除了何基沣承认借给相邻驻地的新四军一笔钱的问题之外，找不到其他任何可以给何基沣定罪的罪名。加之冯玉祥、于右任等知名人士对于蒋介石如此对待一个闻名全国的抗日名将的做法深为不满，蒋介石只好把何基沣无罪释放。为了收买人心，临行前蒋介石还亲自为何基沣饯行，要他今后与自己的侍从室保持直接联系。此外，还特地赠送给他一柄中正剑。
所谓“中正剑”，是蒋介石为了笼络高级将领和特别重要人士而专门制作的一种佩剑，长一尺三寸，重一斤六两，柄镀金，鞘镀银，剑身正中刻有“中正”二字。在当时，是极为难得的一种身份与地位的标志。当何基沣佩上这柄中正剑之后，就成了“佩剑将军”，国民党军政人员见了一般都要畏惧三分。
1940年9月，何基沣佩着中正剑，回到了三十三集团军，仍然担任第一七九师师长。一方面暗中支持李先念领导的新四军五师，一方面伺机与日寇作战。1941年2月，他率领一七九师在当阳庙击毙了当年进攻南瓜店致使张自忠将军不幸殉国的日军横山少将，为西北军报了一个深仇。由于冯治安后来担任了六战区副司令长官兼三十三集团军总司令，何基沣遂升任著名的七十七军军长。
抗日战争结束后，三十三集团军到徐州地区受降。何基沣和军中从未有过联系、互相不知道身份的另一位中共秘密党员张克侠在对当时形势进行了分析之后，决定联合徐州地区的原西北军部队（包括西北军的老部队和一些原西北军将领统率的新编部队，总数近40万人），组成西北军大同盟，保存实力，相互支援，暗中与蒋介石抗衡。只是由于冯治安不敢出面当这个龙头，这个计划才未能实现。而蒋介石则对这一计划有所察觉，遂把徐州地区的原西北军部队加以分散和调动，又将冯治安的三十三集团军改编为第三绥靖区，调出徐州市，让第三绥靖区的部队摆在内战的最前线，司令部设在贾汪煤矿。
蒋介石发动内战之后，第三绥靖区的部队成了进攻我山东解放区的先锋。何基沣不得不有意打败仗。对于这一点，冯治安当然看得明白，但又查无实据，只得将何基沣明升暗降，让他交出了军长职权，而当一个有名无权的绥靖区副司令。何基沣遂离开部队养病，并于1946年夏天到北平为老父办理丧事时见到了当时在北平军调处执行部工作的叶剑英和北平中共地下党市委书记徐冰。叶剑英向他传达了中央决定，要他仍然回到第三绥靖区去掌握部队，他的组织关系由原来的中原局转到华东局。同时商定，由任过他副官的李连城（这时在新四军五师任警卫营长）担任联络员。叶剑英告诉何基沣：“你回去之后，不要暴露。但到关键时刻，要毅然决然地领导起义。到时，陈毅同志会派人和你联系。关于组织起义的事，你可以和张克侠商量，他是非常可靠的。”
何基沣按照党中央的指示回到部队后，就对已经被我山东解放军打怕了的冯治安做工作，要冯尽可能以保存实力为主，不要与解放军硬拼。他自己则通过李连城与党保持着联系，准备接受新的任务。
当淮海战役即将打响之时，根据我华东野战军党委的决定，由野战军政治部主任舒同具体负责，要策动国民党第三绥靖区的部队在战役打响之时起义，以便我军迅速地渡过黄河，切断徐州与黄百韬兵团的联系，进而围歼黄百韬兵团。为此，舒同先后派出我华东局社会部交通巡视员朱林和华野十三纵政治部联络部长杨斯德为陈毅司令员的代表，前往贾汪，组织第三绥靖区部队起义。
这时，第三绥靖区起义的主要领导者是副司令长官何基沣。还有一位重要人物，也是身居副司令长官要职，他就是另一位传奇式将军、中共党员张克侠。