后，也开始改吃素食，除了自己养几只母鸡下蛋供应外，荤食一概不碰。
段祺瑞虽说已经吃斋念佛，但并没有看破红尘，四大皆空。每次有学生、旧部、朋友来拜见他，说起国内战火纷飞、人民流离失所的时候，老段总是板着脸，一言不发。唯独这些人说“要收拾局面，非老师东山再起”时，老段一贯冷若冰霜的脸上才会多少露出点欣慰的笑容。
在第二次直奉战争的后期，吴佩孚困守天津，据说段祺瑞给他送了封信，劝他来日方长，另做打算，不要做鱼死网破的无谓之举。用段公馆里的话来说，就是“老头儿眼看吴小鬼掉在井里头了，小辫提一提，给他指条明路”。最终，吴佩孚还是浮海南遁，临行前将遗弃的粮食、弹药等贴上封条，上面写着“移交段督办”。
在接到各方的邀请后，老段也未谦虚，他发表通电说：“我也是国民的一分子，如果中国舆论非要我出山不可，我也不会推辞奉公的机会，与南北各方共图时局的安定，这也是我作为国民的义务”……既然你冯、张假意曲承，我老段就姑且来个假戏真唱一下嘛！
经过这四年的潜伏和思考，段祺瑞对时局有了新的看法，他说：“这次战争是第一次革命（即辛亥革命）的延长，自然应该打破一切现有制度，制定出一全新的政治新格局。现在总统、国务员、议员均四散，以前制度下的法律手续均已破坏，我们在收拾时局时，一切不必顾虑，唯以民意为基础，向重新建设共和国方向努力，舍此别无良策。”
老段的话，颇费思量。在他看来，自辛亥革命后的民主共和尝试已经完全失败，一次又一次的内阁风波、国会风波、府院之争，这说明民国初年的关于“总统、内阁、国会”的构架本身就存在严重的问题。无论是护国还是护法，抑或是称帝或者复辟，其实都是对帝制崩溃后制度紊乱的种种挽救，但都无一例外的失败。
帝制崩溃之后无帝制，但真正适合中国国情的新制度却迟迟不能在实践中产生，辛亥革命党简单幼稚的移植西方制度，其最终的结果却是导致军阀混战、天下大乱。历史给中国人开了一个恶劣的玩笑，这其实也是年青的革命党们对中国传统制度、历史现状和具体国情缺乏最基本的了解所导致。事实证明，在一个有着两千多年皇权专制传统的国度里，一个全新的制度构架并未经过严密的理论推导和反复的验证、未经对国民的充分教育普及并建立民众的基本共识便贸然出台实施，出现各种乱象必不可避免，失败也是百分之九十九的。
由此，段祺瑞提出“打破一切现有制度，制定出一全新的政治新格局”，从思路上说是对的，但在局势一乱再乱的情况下，如何寻找出一条新的出路，这就是难上加难的大问题了。段祺瑞虽说“一切不必顾虑，唯以民意为基础，重新建设共和国”，但当时的民众依旧是混沌无知，政客们一贯的争权夺利，军阀依然用枪杆子说话……这出路在哪里？
旧者已破，新者未立，收拾旧河山，再建新中国，谈何容易？
经过与张作霖、冯玉祥等人多次磋商，最后各方决定成立中华民国临时政府，由临时执政充当国家元首和政府首脑。这种方案，其实是对过去十三年不成功的总统制与内阁制的一个总结，因为从名义上看，临时执政虽然挂着“临时”二字，却不动声色将之前的总统及总理职权合二为一，不再会有之前的“府院之争”的烦恼了。
“执政制”说白了就是一种变相的总统制，只不过比内阁制更加适应中国的国情而已。由于作为民意机构的国会已经被解散，而段祺瑞也无意恢复之前的国会，因为不管是第一届国会还是安福国会，都已经堕落为“贿选、猪仔”等可耻的代名词。老段这次不恢复国会，却无人表示反对，说明国会这个玩意在国人心中已毫无价值、毫无信任感可言了。
事实上，西方民主共和制度在民国初年的彻底失败，应引发国人更深层次的思考：任何制度构架，如果没有经过良好的理论设计和验证，没有取得国民的基本共识，没有建立在中国传统制度和具体国情细致分析之上的话，非但失败是必然的，弄得不好就是国家分裂、内战迭起，老百姓家破人亡。从后来的历史来看，单纯善良的指望引进西方民主制度便可使中国繁荣强盛，这不过是“一股就灵”、“一民主就灵”的幼稚简单之机械思维罢了。
1924年11月24日，已经是两鬓斑白的段祺瑞在铁狮子胡同（前清陆军部旧址）举行了就职仪式，正式就任为临时执政。上任之后，老段却接过了老对手黎元洪的“废督裁兵”政策。在经历了多年的风风雨雨、起起伏伏之后，两人终于在这个问题上达成了共识。但可惜的是，为什么这些强人们总是自己强大的时候便要推行“武力统一”，而非要等到自己处于弱势的时候才会想起“废督裁兵”呢？这绝对不是偶然的。
不过这一次，实力最强大的张作霖却首先站出来表示支持，他自请撤销“镇威将军”的名号并解除东北巡阅使的名义，算是给了段祺瑞一个好大的面子。既然张作霖作了表态，其他各省督军也就依葫芦画瓢，纷纷将自己的督军名