护而舒适度日的葵，以及受到等同于继承人待遇的佐吉，自然不会有好感，摩擦龃龉也在意料之中。
然而，恶劣的气氛并未持续太久。葵在投靠凑屋满四年、佐吉十岁的那年秋天，突然消失踪影，离家出走了。
据“黑豆”打听来的消息，葵留了一纸书信给总右卫门，内容是为至今的照抚表达谢意，托叔叔代为照顾留下来的佐吉。也就是说，葵独自离开了凑屋。于是，佐吉形同遭母亲遗弃。
对于葵的出走，凑屋内的看法至今仍分为两派：一是认为她被阿藤撵走，一是认为她有了别的男人，跟着那男人走了。只是，持前者同情葵看法者较为不利，原因自然在于若她真受不了夫人的阴损欺侮，不可能留下佐吉不顾。
平四郎卷着长长的纸卷，唔的沉吟了声。心想，原来佐吉从小就开始吃苦了。他这一声牵动了腰部，这次真的因腰痛而唔唔呻吟起来。
灶下有开伙的动静，大概是在烫青菜吧。小平次的话声不时传来。
至于凑屋总右卫门的两个儿子，平四郎倒也略有所闻。这两个年轻人的名字是从父亲的名字取了一个音，加上长男次男的区别，分别叫做宗一郎、宗次郎。宗一郎将来要继承父亲，届时应该也会继承总右卫门的名号。但据市井传闻，这两人才干平平，远远不及父亲，要说长处就只有生性老实，不会花天酒地狂嫖滥赌。不过平四郎倒认为第二代是这种安全牌反而好，众人大可不必为凑屋担心。
论年龄，佐吉也比他们来得年长，算是兄长。虽非直系，与总右卫门仍有血缘之亲。既然总右卫门会如此疼爱佐吉，由他来继承凑屋——当然，免不了会发生种种骚动——也未必说不过去。凑屋本就是总右卫门个人的功业，后继人选由他来决定似乎也无不可。
然而实际上佐吉仅被称为“凑屋的远亲”，派到铁瓶杂院来当管理人，众人皆认为凑屋的继承人仍非宗一郎莫属。
“母亲出走的影响毕竟不小。”
平四郎继续看信。“黑豆”个性分明的字绵延不绝。
葵离开凑屋不久，佐吉便被送到出入凑屋的花木匠那当学徒。这多半是阿藤作的主。一个十岁的孩子，失去了母亲这座靠山，要煎要煮但凭随心所欲。在家里，女人对这类事情的权限较强，也许总右卫门曾加以反对，但最后也只能让步吧。若被质问忘恩负义的侄女生的儿子和自己的亲生儿子哪个重要，便无可反驳了。
从此，佐吉的人生便与凑屋无关。他被送到花木匠处当学徒，两年后他十二岁时，凑屋的第三个孩子出生了。这次是个女儿，取名为美铃。首次弄瓦，总右卫门喜出望外，于“胜元”大宴宾客，但即便此时，佐吉仍未受邀。
今年将满十五岁的美铃也是个艳名远播的美人，据说容貌更胜母亲阿藤当年。平四郎还无缘得见，但小平次曾经看过，兴奋地说她就像个女儿节人偶。她当然是阿藤引以为傲的女儿，有关她的谣言满天飞，说什么要到大奥去学习礼仪，某身分高贵的大名想迎她当侧室等。“黑豆”的信中并未有这方面的说明，但附注了这位受到母亲的薰陶、高傲无比的美铃小姐，与父亲和兄长们感情不睦，对他们没有丝毫敬意。
然而，这是因为父亲兄长这方有失威严之处。“黑豆”笑称凑屋总右卫门好女色，但家人恐怕无法一笑置之。眼见父亲女人一个换过一个，而兄长们对这个父亲不仅不敢有意见，连回嘴都不敢，也难怪美铃心生忿懑。
佐吉来到铁瓶杂院前，地主凑屋总右卫门的众多传闻，早已传进平四郎耳里。他专找身分比自己低的女人，这在发迹致富的人当中很少见。凑屋的确是殷实商家，但若以在吉原撒钱、拥花魁到天明的玩法，再殷实也会立刻玩垮。但总右卫门所挑的，总是小曲师父、荞麦面摊的寡妇、人老珠黄而恩客渐稀的辰巳艺妓等，令那些爱嚼舌根的人也嚼不出个所以然。
他不会将这些女人当成短暂的慰藉之后就予以抛弃。甚至有时同时来往与三名女子之间，分别出钱照顾她们的生活。分手时，总留给对方一笔资产：店面、房子、钱财不拘，令她们在分手后生活不虞匮乏，双方好聚好散。恐怕没有哪个女人跟了总右卫门，却对他抱恨而终。
不仅如此，一旦女人怀了胎，总右卫门二话不说即令生下。只不过，或许是在侄孙佐吉那时学了个乖，他从不将生下的孩子迎入凑屋。且为免这孩子将来上凑屋争家产，也命女人白纸黑字写明；女人们也由于总右卫门的照抚，自愿写下这纸切结，因而从无血缘继承之争。然而，这些孩子们自小听母亲教导“你父亲是凑屋总右卫门”——这也是无可隐瞒之事——因此对凑屋宗一郎、宗次郎兄弟与美铃而言，满江户到处是我不识人、人却识我的异母兄弟姐妹，心里自然不会舒服。
“黑豆”还写了今年初春美铃前往王子赏七瀑时发生之事。当时，美铃在不动堂门前町的茶屋休息，茶屋的小下女冲着她喊“姐姐”，美铃一气之下甩了那小下女一巴掌。据查，这名叫阿蜜的小下女十三岁，的确是总右卫门的孩子。其母二十岁那年在浅草的茶馆工作时被