我叫他回去处理掉我的房子，他‘骗’了我，到现在还没有处理，是吗？”刘秉衡作了多方面的解释。周恩来听完以后，再次交代：“我的房子一定要处理掉，决不能同毛主席的旧居相比。”第二天，邓颖超同志又为这件事专门找刘秉衡谈了话，恳切地说：“总理多次说了，一定要把他住过的房子处理掉，不能和毛主席旧居比。如果不拆，也可以用起来：办幼儿园，办图书馆，或者让人去住，总之要用起来，处理掉……这是总理一贯的意见，我完全赞同。”最后，她还郑重其事地说：“他是中央领导人之一，你是党员，你们应该听他的正确意见嘛！”
刘秉衡回淮安以后，向县委如实汇报了周恩来总理的严肃嘱咐，县委感到不能再违背总理指示的精神了。经过慎重研究，决定：把周恩来诞生和生活过的东边宅院，作为县委学习室和儿童图书馆；西边宅院让群众住进去。执行后写信向周恩来总理作了汇报。不久，县委收到国务院办公室的回信，说总理对县委的做法表示满意。
一九六一年八月，周恩来在接见侄媳孙桂云的时候，又详细询问了县委对旧居处理的情况。桂云在无意中提到，尽管旧居做了那样的处理，还是经常有人去参观。周恩来总理对这个情况很重视，说：“还是拆掉好，拆掉了可以盖工厂、盖学校嘛！”他还郑重嘱咐孙桂云说：“你们不要说出我住过的房屋，还要告诉邻居，叫他们也不要讲。”
时间在前进。中华人民共和国在前进。毛主席和我们党的威望日益提高，周恩来的声望也与日俱增。全国人民爱戴他，世界革命人民尊敬他。因此，前来瞻仰周恩来总理旧居的人，也愈来愈多了。顺道的，专程的，或来自邻近的农村，或来自遥远的城市……然而，他们在局巷三号大门口看到的，却是一块木牌，上面写道：
不少虔诚的瞻仰者，怀着无限崇敬与留恋，带着难以弥补的遗憾，在不断回顾中依依不舍地离去……
这情景终于被总理完全了解了。他很不安。多年来为这件事采取了很多措施，不但没有实现自己“不留痕迹”的愿望，反而参观者有增无减。他一直把自己当作毛主席领导下的一个工作人员，怎能让自己在群众的心目中和毛主席相比呢？！他决定采取行政手段，彻底解决这个问题。
北京打来长途电话的第二天，县委就委派一位常委去旧居了解情况。周恩来的侄儿周尔辉反映：没有人动员居民搬家；也没有整修过房屋；自发来参观的人，大都被谢绝了。当晚，县委向国务院办公室如实汇报了这个情况。
十七日，国务院办公室又来电话，正式传达了周恩来关于处理旧居的三条指示：
一、不要让人去参观；
二、不准动员住在里面的居民搬家；
三、房子坏了不准维修。
第二天，县委常委会正式作了研究，根据周恩来指示作了三项决定：一、不动员住在里面的居民搬家；二、不维修房屋；三、县委在干部会上动员大家不组织、不带领人去参观。并在当晚向国务院办公室作了汇报。
十一月三十日晚，国务院办公室又来电话，说：“周恩来对县委决定的三点表示满意；以后要派人检查你们的执行情况。”隔了五天，国务院办公室负责同志又打电话给县委书记，询问对“三条”的执行情况，回答是“认真执行了”。
在采取了行政措施以后，对于这件事的处理，应该说是告一段落了吧，然而并非如此。
一九七四年八月一日，周恩来见到侄媳孙桂云时，又当面询问了“三条”的执行情况。桂云汇报说：“都执行了，但外地人千方百计找上门来，实在没有办法。”
周恩来思索了一下，问：“把房子拆了，你们搬个地方住，行吗？”
在场的邓颖超同志表示支持，并说：“拆迁吧，我们给钱。”
桂云说：“拆迁房屋要经政府批准，我们自己不好决定。”
周恩来点点头。最后，他嘱咐说：“你们要劝说前来参观的人，叫他们到韶山去瞻仰毛主席的旧居。”
桂云会心地点点头。她充分理解伯伯的意思。在伯伯的嘱咐下，家里只挂毛主席的画像，从来不挂周恩来的照片，连全家的生活合影像，也被置之高阁了。