沈默才活跃了几天，“红卫军”就遭到了取缔。位于上海华山路上的“红卫军”总部突然遭到包围，沈默在跳墙时，被抓了起来。
于是，“摘帽右派”的老账被翻出来了——虽说沈默在一九六一年已经摘去“右派分子”帽子，但是摘了帽子，依然是“摘帽右派”。
此时，“老账新账一起算”，“摘帽右派”的旧账加上“红卫军”头头的新账，他成了“坏头头”，亦即成了“反革命”。于是，他被关进了上海市公安局拘留所，成了阶下囚。
在梦中，他常常回到充仁画室，又在那里用泥巴雕塑。醒来后，不得不仰天长叹。在“洋房”里，他虽是“监督劳动”的对象，却还有无穷无尽的泥巴可供他雕塑之用。可是，在狱中，只有水泥地皮，觅不到半点烂泥。
技痒难熬的他，在用肥皂洗手时，忽然来了“灵感”：这肥皂不是可以用来雕塑吗？材料问题有了着落，可是没有工具还是不行。他用筷子在水泥马桶上磨，终于磨成了一把雕刀。
于是，他背着看守，悄悄地重温雕塑梦。他以同室的狱友为模特儿，用肥皂雕出了翊翊如生的头像，使狱友惊喜不已！
于是，出现了奇特的现象：囚犯们在一个月一次的“接见”家属时，纷纷要家属下一回探监时务必带几块日用肥皂！
其实，那是沈默在比较了种种肥皂之后，发觉只有日用肥皂不软不硬，最宜雕塑。何况日用肥皂色泽橙黄，做出的雕塑近乎黄杨木雕，放在窗台上，迎着阳光，是半透明的，有着玉石的质感。
沈默在狱中“发明”的“肥皂雕塑”，可谓绝无仅有。狱友们都精心保存着沈默的这些“肥皂雕塑”。
他以“坏头头”之罪，在狱中关了四年，这才于一九七一年获释。
出狱后，他依然回到上海冶炼厂。不过，他很快被杨浦公园借调。那里要建造少先队员群雕，请沈默出马。
尽管“文革”浪潮依旧，沈默却总算过了一段“逍遥”的日子。他不断地被借调，在这里为“阶级斗争教育展览会”雕泥人，在那里为某某雕像出力。只有发工资的那一天，他才在本单位“亮相”。这比蹲监狱要自在多了，何况又从事于他酷爱的雕塑事业……
改革开放的春风一起，沈默的岳父母获准移居澳门。沈默的太太带着两个儿子，也移居澳门。这下子，只剩下沈默独自一人在上海。
沈默埋头于雕塑，进入他的艺术生涯的黄金岁月。他变得很忙，他的新作不断地问世，获得了“东方小罗丹”的美誉。他被借调到上海油雕室从事专业创作。
不久，沈默获准迁往香港——本来，他是应该迁往澳门的，他以为香港的局面更大，更适合于他。经上海市公安局同意，批准他前往香港。他原定在一九八二年十二月十六日离沪，为了给巴金赶制塑像，他推迟了行程，直至完成后才前往香港。
沈默在香港站稳了脚跟。他从此也就变成了“香港雕塑家”。
他的广有影响的作品是《“文革”纪念碑》。那是他响应作家巴金关于建立“文革”博物馆的建议，以为应该有一座“文革”纪念碑。他雕塑了一位裸体女子，在颈部、胸部、部、踝部，被用四根绳子绑在天安门前的华表柱上。女子脚前的一个骷髅，象征在“文革”中死难的同胞。这一作品参加第四届亚洲国际美展，受到了人们的注意。
香港报纸称赞：“写实得形神具备，仿佛贯注了生命，沈默捏出来的塑像在呼吸。”又道：“沈默的艺术创作是以现实主义为主流，适当吸收西方现代主义的表现手法，使肖像形神兼备。不但逼真，而且表现了人物的精神风貌。”
一九八九年，沈默应邀前往台湾。他在台湾也受到了新闻传媒的广泛报导。台湾杂志评论沈默作品：“在写实方面有很高造诣，立体头像维肖维妙，粗犷中带细腻。”
沈默手中有钱，他回上海投资办厂。于是，他又成了“香港老板”。
他不胜感慨地对我说：“作为一个中国知识分子，我历尽了艰辛。我的艺术造诣，是千辛万苦换来的！”