笙邀章士钊、吴开先一同到阳台上歇凉，看香港夜景，任轻风拂面。这时，章士钊忍不住又夸毛泽东何等的礼贤下士，奖推人才，他口口声声地保证，只要杜月笙肯回大陆去，不论在何种情形之下，共产党绝对不会亏待杜月笙。
时常登门，章士钊的这场统战攻势，要到几时方休呢？杜月笙不耐烦时，自有他的退兵之计。为了早日结束这一场必无结果的冷战。渐渐地，在跟章土钊谈论之间，杜月笙开始反转来劝章土钊“弃暗投明”，劝章土钊到台湾去，或者远走高飞。
这时，杜月笙的秘书是胡叙五，他原是抗战初期经黄炎培介绍过来的，抗战八年、胜利四载，他为杜月笙效力甚多，杜月笙第一次旅港身边的得力帮手是翁左青与胡叙五，第二次仍然还是这两位，不过首度旅港杜门座客常满，人文荟萃，如老虎总长章士钊，江东才子杨云史，吴佩孚的高级幕僚树千里，都曾降尊纡贵，为杜月笙司过翰墨词章。二度香港居，文墨方面的工作就只剩了胡叙五独挑大梁，因为翁左青明于事理，善长分析，颇能出出主意，管理庶务，若论笔下功夫，新旧文学俱有根底，那他毕竟是及不上胡叙五的。
胡叙五随同杜月笙到了香港，工作了一段时期，不知怎的忽然动了家乡之思，起了还沪之念，口口声声地说要回上海。他这一决定使杜月笙大为不安，惟恐胡叙五回大陆引起无谓的麻烦与谣言，尤其旅港初期，胡叙五兼为杜月笙掌管机密，他晓得的事情太多，又怕共产党对他加以利用。
因此，杜月笙便亲自奉劝叙五兄没这必要，不要冒险自陷共区！他一再恳切挽留胡叙五，但是，胡叙五辞意颇坚，杜月笙无可奈何，又叫跟胡叙五谈得来的长子维藩和万墨林两人从旁劝阻。
万墨林劝驾不曾发生作用，便由杜维藩接手，他约胡叙五到外面吃咖啡。
杜维藩直打直地和胡叙五谈判，他问胡叙五：
“叙五兄，你说老板从前待你好吗？”
“很好。”
“那么，你是否嫌比老板现在待你不如从前了？”
“我没有这个意思。”
“叙五兄，”既然是多年交往的自家人，杜维藩便坦坦白白地说，“老板从前待你好，是因为从前的路子粗，进账多，日子好过。现在跟从前大不相同了，现在老板在香港，一点进账都没有，就靠带出来的那点钱，天长日久，坐吃山空。老板自家的日子不好过，跟他的人当然要比从前差一点，好在有粥吃粥，有饭吃饭，大家同甘苦共患难，所以我说你最好不要在这个时候离开，免得人家批评你不够义气。”
胡叙五并不否认杜维藩所讲的话有道理，但是他去意已决，无法挽回。劝阻无效，胡叙五还是辞去了一干十二三年的杜月笙秘书一职，他悄悄地回了上海。
机要秘书出缺，使杜月笙大伤脑筋，幸亏早年即曾在杜公馆任过秘书的邱访陌，这时也在香港，杜月笙便去请了邱访陌来，接替胡叙五之职。但是，这一时期许多昔日的朋友和部下一个个跑回了上海，这使得病榻上的杜月笙心情总是阴霾霾的。