这对要卖楼花的霍英东是相当不利的，因为接下来一句话就是，千万别买他的楼，因为他可能拿着钱出逃。紧接着，根据冷夏的描述，港英政府更是有意在地产业限制霍英东的发展，直到霍英东被迫淡出香港地产，甚至连涉足码头行业也不得。不过霍英东此时规模庞大的投资让他香港商业大亨的地位并未发生动摇——在他的投资中也包括澳门的博彩业。
地产业发展受限，想要进入码头又被阻，霍英东把注意力转移到市政工程和体育运动上。同时，他同中国大陆政府走得更近。霍英东跟另一位香港大亨利铭泽，经常邀请一些香港商人到家中聚会，让内地官员同这些香港大亨见面。这些经常受到邀请的商人包括李嘉诚、冯景禧、郭得胜、李兆基香港大亨。霍英东甚至还带着包括郭得胜、郑裕彤这些香港大亨到内地去，而他自己更是和家人频繁往来与内地和香港，要知道，那还是在1978年大陆决定改革开放之前。后来霍英东自己回忆时说：“那时，年年都回广州参加交易会，买了很多工艺品，搞到现在满屋都是，没地方摆，那时是想通过买东西，对祖国表示支持。另外，我几乎是第一个香港人用国产电梯的……那时真被人骂死，我认为国内能出口的商品都是好的，结果买了之后，几天坏一次，又没有维修，没有零配件……”众所周知的是，霍英东还在中国加入亚足协、创立省港杯等事情上东奔西走，为中国体育走向世界做出莫大贡献。
在白天鹅宾馆之前，霍英东就已经顶着莫大压力，在中山县投资修建了中山温泉宾馆，并且在温泉宾馆的后山坡上建了中国大陆的第一片高尔夫球场。
有了这些背景之后，霍英东踊跃要求在广州修建中国大陆第一座五星级酒店白天鹅宾馆，就不让人意外了。
1979年7月，霍英东开始在沙面填江造地，11月，白天鹅宾馆开始全面施工。霍英东将酒店的建筑设计交给两位内地的建筑师佘峻南和莫伯治。因为内地久未对外开放，霍英东担心建筑师对新事物已经陌生，他请这两位建筑师到香港去参观一些著名建筑，并且同一些香港的著名建筑师交流。结果，这两名中国建筑师做出的设计为白天鹅宾馆赢得交口称赞。后来贝聿铭到白天鹅宾馆参观时，赞扬说“可见中国有天才的设计大师”。
但是其中的阻力却也是霍英东所没有想到的。霍英东曾经说：“搞白天鹅，搞到自己体无完肤！”甚至霍英东要求宾馆服务员穿丝袜也被人说是有意识形态问题。在背景开政协会议中间茶话会时，霍英东听到上面有两个人说相声，说“有一个打领带的人想要精卫填海”，霍英东四下看看，在座的只有他一个人打着领带，而且，那时他正在填白鹅潭以建白天鹅宾馆。霍英东建白天鹅时，提出要自己设计、自己采购、自己管理。设计问题解决了，但采购却成大问题，“一个大宾馆，需要近10万种装修材料和用品，而当时内地几乎要什么没什么，连澡盆软塞都不生产，只好用热水瓶塞代替。更要命的是，进口任何一点东西，都要去十来个部门盖一大串红章。”
霍英东想出了一个把压力转移到别人身上的方法。1982年10月14日霍英东决定在部分试营业的白天鹅请广东省省委书记任仲夷吃饭，结果早上他到宾馆一看，发现宾馆没有空调，也没有热水，更别提提供餐饮。他到厨房，厨房没有煤气，炉灶也没装好。霍英东焦虑异常，却毫无办法。无奈之下他找来一个主管，说，今晚上我已经邀请任仲夷来吃饭，无论如何“就算是四菜一汤，也要弄出来！”结果没想到晚上任仲夷带来了一百多号人。霍英东陪坐一旁，内心更加忐忑。“但出乎意料之外，客人入座之后，端上来的不是简单的四菜一汤，而是十多样精心炮制的菜式，颇具晚宴规模。我开心极了，心里暗暗称喜：看来宾馆员工颇有潜力可挖啊！”
霍英东又提出酒店要在1983年2月7日全面开业，他把请柬广为散发，然后拿着请柬去需要审批的各个部门催办手续，把压力转移到这些机关之上，竟然也顺利成功。
1983年1月份，霍英东到白天鹅巡视，发现工程进度缓慢。这位大亨索性自己住在宾馆内，一住13天，天天到现场做监工。后来霍英东回忆白天鹅宾馆，“从宾馆的选址、设计、施工、建材选用，及人事制度、财会制度、保安制度、物品供应、通讯运输、采购保管等等，几乎宾馆所要涉及到的，我都参与决策和进行改革”。
结果，白天鹅宾馆开业那天，因为霍英东执意要开放宾馆，竟然有一万多人涌入宾馆参观。更有人称白天鹅是“改革开放的里程碑之作”，包括邓小平、李光耀、美国的两位总统尼克松和布什、英国女皇等政要名流都对白天鹅赞叹有加。而在酒店行业，霍英东秉持三自方针建设起来的白天鹅，也被人称为白天鹅模式而在中国的高级酒店中大加推广。后来在接受记者访问时，霍英东说，白天鹅不是一家酒店，而是邓小平开放路线正确的见证。
2003年2月6日，合作期满，霍氏将白天鹅交与广东省政府管理。2006年10月，84岁的霍英东病逝。此时人们重新想起他当初要在首