嵩山四友quot;称臣跪拜；赏乘期舆，至内宫换乘肩舆；皇帝临朝时，四友在勤政等殿，得设矮几以坐；每人给年薪金两万元；赏各种朝服，等等。徐世昌一切都淡然，推谢不变，回到铁匠营家中，便自题quot;谈风月馆quot;一匾，悬于书斋，下决心闲赋，不问政治。
徐世昌的东四五条铁匠营私宅，是唐绍仪以重价购置，并进行了华丽装饰之后赠送给徐世昌的，是为了报答这位东三省总督任上quot;关照quot;他这位巡抚的酬谢，也是为向这位盟兄献殷勤的表示，这是一座属于上等式的北京四合院。徐世昌挂出了quot;谈风月馆quot;的匾额即是向世人告诫：我这里只谈风花雪月了，志同者欢迎，恕不接待政客!
徐世昌历来以quot;文人quot;自居，功名之外，素以诗文风雅为点缀。他的字写得还可以，最早作馆阁书体，中年写苏黄，平生最厌碑文体，从不临摹；想习画，却一直不入门。他很喜欢置磁藏砚，尤喜收藏端砚，之外，还常常和友人一起吟诗著文，有一大群诗文朋友。说起徐氏的学问，仔细品来，却也平平。时人评他，只学了点俗学，对于正儿八经的儒文却研究不深，少年时只学了点八比试帖小楷，很少习学律赋，只能写些四六排偶，为贺吊笺启，后来人了翰林院，才开始读研点古近礼诗。他有一位所谓的诗友叫徐花农，杭州人。曾对人谈起徐的诗文，只用了五个字：quot;拙俗不足道quot;。他在翰林院将近十年，绝无文诗誉乡人。当时的人把翰林院的编修分列为八红八黑(红者有才学之士，黑者是拙俗之辈)，徐世昌则是八黑之一。到奉天做了总督，章疏文牍也都是僚属所稿，偶尔与文友和诗对联，大多是庸浅仅能谐韵。
徐世昌在自己的quot;谈风月馆quot;没有等到文友来同他谈风说月，第一个来访的，却是武将之首的段祺瑞。段祺瑞微服简从，叩开铁匠营徐宅大门时，竟被内侍阻拦；徐世昌不得已出迎时，却不认识了。quot;芝泉，你怎么这个模样了?quot;
段祺瑞说：quot;菊帅印象中的芝泉是个武夫。现在，无兵领了，成了平民百姓，连故人也不相识了。quot;
二人相对笑了。
徐世昌和段祺瑞，是被时人称为袁世凯的quot;文武膀臂quot;的。但是，帝制议起，这两个人都和袁离心离德了：段祺瑞放着陆军部总长不干，到西山quot;休息quot;了，徐世昌以quot;肺病quot;辞退了国务卿，现在，这两个人都算quot;在野quot;了。大约是出于quot;灵犀相通quot;，在野的陆军总长才匆匆赶来拜访在野的政事堂国务卿。二人对座，香茶应酬，似乎都有许多话要说，但却又都不开口--比徐世昌小了整整十岁的段祺瑞，自从1896年被袁世凯从北洋军械局调到天津小站新建陆军任炮队统带兼随营学堂监督起，就跟袁世凯结下了生死之缘，并且随着袁的quot;水涨quot;在quot;船高quot;，被称为袁世凯手下龙虎狗quot;三杰quot;中quot;虎quot;杰的。袁保举了他，他为袁立下过汗马功劳，远的不说，武昌之义以后，他就为袁的复出、夺位立了奇功。武昌首义，他被朝廷从江苏江浦江北提督加侍郎任上调回北京，任第二军军统、署湖广总督兼任第一军军统又兼领湖北前线各军，让他去平息quot;武昌之乱quot;。可他，为了袁世凯的复出，就是按兵不动，这就为袁取得内阁总理大臣立了功劳；1912年1月，又是段祺瑞领衔率北洋四十二名将领联名电请清室退位，实行共和，又为袁夺总统大位立了功劳；袁世凯在镇压quot;二次革命quot;中，又是段祺瑞为他打了先锋，袁世凯没有忘了他，quot;二次革命quot;之后，便让他署理湖北都督兼领河南都督；1914年6月又授于将军府建威上将军兼管将军府事务。此刻，袁世凯梦般地醒悟了，觉得段军权太大了，他将无法控制，于是，将军府之外，袁世凯又成立一个以自己为首的quot;海陆军大元帅统率办事处quot;，把陆军大权收到自己手中。段祺瑞失宠了，他只是袁氏quot;海陆军大元帅统率办事处quot;的一个办事员，他心里凉了。袁世凯大肆活动帝制，使军权旁落的段祺瑞十分反感，因而，便借故quot;有病quot;不理军事，其境况，和徐世昌有极其相似处。
quot;芝泉，quot;徐世昌以主人身份先开了腔。quot;这一段身体还好?quot;quot;二身轻了，百病皆无。quot;段祺瑞微笑。
quot;西山是个好地方，我也想到那里去住住。quot;徐世昌捧起茶，没有喝，忽然想叙说西山之美了。quot;听说是三面青峰环抱，南面敞向平原，林木茂密，野草清香，奇石嶙涧，泉水清清，还有八座古庙分布在翠微、平坡、卢师三山之间，真是个诱人的地方!quot;
段祺瑞笑了，quot;天下名山僧占多!和尚们都会享清福，我也想当和尚。quot;