躲过这场政治灾难。不料，厂里突然派车把他接回去。他被“补”为“右派分子”，在厂里受到批判。批来批去，全是因为他画了那张漫画。“批判”的“逻辑”是这样的：
画《陈世美不认前妻》，就是“丑化革命老干部”；
“丑化革命老干部”，就是“丑化党”；
“丑化党”，就是“反党”；
“反党”，就是“右派分子”！
沈默因画致祸，戴上了“右派分子”的帽子，受到开除党籍和降职降薪的处分。他降为“二级办事员”，每月工资五十三元。
沈默再度下农村。这一回，他不再是“下放干部”，而是被“监督劳动”的“五类分子”。
那时的他，不过二十六岁，就像背上了沉重的十字架一样，心境怆然。
沈默在松南乡南沈村种地。他的住处，人称“洋房”——原本是羊房。遇上下雨天，不下地，沈默在“洋房”里闲着无事。望着门前湿漉漉的泥巴，他灵机一动，何不用泥巴做雕塑！
就这样，他把政治上的失落，置于九霄云外。农村里遍地是泥巴，而独居“洋房”又无人打扰，有的是时间。沈默迷醉于雕塑。政治风波，硬是把沈默推上了雕塑艺术家之路！
雕塑使他忘却了痛苦，他全身心地投入到艺术世界之中。
在农村“监督劳动”了一年多，他终于调回厂里。
在厂里，他仍然被“监督劳动”。他被调去运铜。铜件是那么的沉重，他累倒了：不光是旧病复发，又吐血了，而且又添了新病——高血压。
他不得不请长期病假。医务室给他开病假单，一开就是三个月。
想不到，这病，又给他学习雕塑提供了良机！
张充仁是上海鼎鼎大名的雕塑家。上海流传一句话：“美术学校好考，充仁画室难进。”
所谓“充仁画室”，实际上也就是张充仁办的私立美术学校。那里所收的学费很高，所以那里的学生，差不多都是富家子弟。
沈默对张充仁钦慕已久，很想进入充仁画室深造。可是，凭他那每月五十三元工资，怎能跨进充仁画室的门槛？
病休中的沈默，去找画家颜文梁设法。过去，沈默在厂工会工作时，曾到上海市工人文化宫学过画画和雕塑，结识了颜文梁老师。
颜文梁跟张充仁颇有交情。他听了沈默的求助之意，当即拨通了张充仁的电话。颜文梁在电话中向张充仁介绍了沈默，请求张充仁收沈默为学生。张充仁没有答应。于是，那电话成了“马拉松电话”。颜文梁在电话中跟张充仁“磨”，而张充仁始终不肯松口。
电话打了半个多小时，还是没有进展。颜文梁不得不退了一步：“让沈默带上作品到你那儿去，你给他指点一下，好不好？”
这下子，张充仁倒是答应了。
于是，沈默赶紧回家——那时，他住在上海哥哥家中，挑选了自己的素描、水彩、浮雕等作品，怀着又紧张又兴奋的心情，赶往上海合肥路张宅。
一幢三上三下的楼房，便是“充仁画室”的所在。沈默进去后，张充仁的女儿让他在客厅稍候。过了一会儿，楼梯上响起脚步声，沈默连忙站了起来。果真，他仰慕的张充仁先生来了。
张充仁坐定后，慢慢地看沈默的作品。他先看沈默的静物素描——素描是雕塑的基本功。张先生看罢，说了一句完全出乎沈默意外的话：“如果叫我画，也比你好不了多少。”这表明，张先生是颇有眼力的。
接着，张充仁看沈默的水彩。这一回，他摇了摇头，说水彩不怎么样。
最后，他看雕塑作品，摇了的头又点了起来。
张先生对沈默的作品作了总的评价：“如果你继续用功，不出三年，你可以成为一个出色的雕塑家！”
沈默赶紧问道：“张先生，我能在你这里学习吗？”
张充仁答：“可以。”
命运之神是那样的奇特。真是阴差阳错，“右派”冤案，使沈默转向了雕塑艺术，而“监督劳动”引发的疾病，加上张充仁的慧眼和爱才，却使沈默有机会在充仁画室得以深造——他这个雕塑家，是被命运如此“塑造”的！
“文革”风波刚起，张充仁就成了醒目的冲击目标。红卫兵拿起“铁扫帚”，对充仁画室进行大抄家。张充仁先生一尊尊精心雕塑的作品，被扫进“历史垃圾堆”。沈默是充仁画室里惟一的“工人阶级”，他在暗中为恩师转移黄金饰品。他生怕有失，把黄金包裹于腰带，终日不离身，以不负恩师的重托……
不过，他从此无法再在恩师身边学习雕塑技艺了。
命运之神又一次跟他开了一个不小的玩笑：沸沸扬扬的“革命”浪潮，使他无法安心于雕塑，他居然又从艺术转向政治。沉默多年的沈默，竟然在“文革”舞台上活跃一时。
那时，复员军人们组织起全国性的造反组织——“红卫军”。沈默乃复员军人，他不仅加入了“红卫军”，而且成了“红卫军”上海总部的头头。