还有一件事更让人啧啧称奇，森孝的牙齿不好，常日夜为牙痛所苦，当他发现牙齿快掉时，就将拔下来的牙齿装在锦织束口袋里，赐给喜欢的民家，并要他们把这颗牙齿当成传家之宝。森孝住在犬房期间，一共拔掉了三颗臼齿，因此有三户民家获赠关森孝的牙齿作为传家宝。如此下来，在森孝犬房别馆的周围，被赐名犬坊的民家数目越来越多。
担任女管家的阿振原本是森孝父亲的侧室，自从不在侍寝后，就以管家身份打理整个家庭。森孝对这位年纪足以当他母亲的女人非常反感，曾经再三告诫她，如果不想跟地方上的男人结为夫妻，就请她回老家定居。但是阿振完全不听，只低着头诉说自己的状况，说双亲已经往生，自己连个亲人都没有，不指望能留在本馆豪邸，恳求森孝让她去打理犬房，说要将一生都献给关家。但阿振其实是个很懂人情世故的女人，还烧得一手好菜，因为有她，森孝才可以经常享受到美食。如果让阿振去管理犬房，就不会每天见面，所以森孝便有点不太甘愿地答应了她的请求，但是日后森孝非常后悔自己当时做了这样的决定。
让阿振去管理犬房后，关家的经济情况终于陷入僵局，只好召集亲戚开了个家族会议。协商的结果是，为了维持这个家，只好放弃新见市的豪邸。如此一来，森孝只剩下西贝繁村的犬房别馆，而且必须永远定居于此。亲戚们将贝繁村的田地都送给森孝，当做粮食和收入的来源。能拥有这么多田地，应该要很感激了，但能有多少收获，大家也都心知肚明。往后森孝就只能靠这些农作物和微薄的收入节俭度日，而且从此再也不能纳妾了。于是，森孝身边的女人只剩下元配阿胤和爱妾阿嘉了，但是森孝比较宠爱阿嘉，为了不让外人批评自己的不公，就必须好好安排自己与她们相处的时间。
当森孝搬到西贝繁村定居时，念过六十的阿振俨然已经是犬房的主人，在这里大家都叫阿振“后室总管”，而阿振的言行举止也让人觉得她就是这里的主人。虽然森孝仍是一家之主，但家道中落且失去权势的他，跟装饰品没什么两样，根本没有实权，所以他三天两头跟阿振作对起冲突，只是为了彰显自己一家之主的身份。虽然妻子阿胤、女儿美代子、爱妾阿嘉以及滨吉和芳雄两个长工、两个女仆和几只狗都陪他一起搬到别馆，但森孝的人缘实在很不好，每个男仆和女佣都不在乎真正的家长森孝，完全看后室总管的脸色行事；就连狗也知道要巴结阿振，看到阿振就拼命摇尾巴示好。犬房里，每天就听到阿振提高嗓门，指挥下人做事，一旦让她得势，事情就没完没了，连田地赚得的收入，也全部由她管理。
虽然说这些田地是亲戚们给森孝的，但让阿振管理其实是非常正确的选择，如果让生性放荡、浪费又爱慕虚荣的森孝掌管家计，关家可能过不了一个月就会一贫如洗吧！但森孝心中仍是愤愤不平，每天都问自己，到底谁才是这个家的主人？下人们有时候甚至会假装没听到森孝的叫唤，如果是以前的时代，早就把他们拖出去斩首处死了。虽然下人经过森孝面前，还是会恭敬地叫声老爷，像滨吉就会停下脚步，装作等待森孝下达命令的样子，但其实是表面恭敬，心里根本就瞧不起这位老爷，简直把他当笨蛋看待。
不过森孝其实是不做事的，就算把下人叫来，顶多也只是下达砍柴的命令而已。像这种事，滨吉和芳雄自己就能处理得很好，完全不需要森孝耳提面命。一切事务，后室总管都会安排妥当，森孝除了安静地扮演好他装饰品的角色外，可说是别无他法。
说到表面恭敬、内心鄙视的程度，阿振的行为就是典型的代表。当阿振出现在森孝面前时，首先她会很有礼貌地双手合掌行礼，面带微笑地问候，然后将家中每天的情况、农地经营的状况等事务说给森孝听。尽管脸上带着笑容，但仔细观察的话，其实她是在心中冷笑，笑森孝的无能。虽然森孝心里很气，但没有确切的证据能证明阿振内心的想法，而且阿振一向处事小心，也把森孝照顾得无微不至，实在没什么好抱怨的。每次只要森孝一喊“那个谁啊，帮我……”阿振绝对不会拖拖拉拉，而是立刻出现在森孝面前等他吩咐。阿振很清楚森孝的嗜好与生活习惯，总是事先把一切都安排好，这也意味着森孝的生活就是如此单调无趣。不过比起自己的妻子，阿振为自己做的事，早就超过所谓人妻应该尽的本分，有阿振在的话，根本就不需要老婆为自己打点一切。
自从元配妻子搬来犬房一起居住后，她又成了另一个让森孝气氛的原因。阿胤出身大户人家，是美作诸侯的后代，从小就接受良好的教育，读书写字都难不倒她，还会弹琴，也懂儒学，造诣深厚，都可以当老师教人了。她是这个家里最美的女人，头脑聪明，当然也自视甚高，对男人相当冷漠，总觉得自己高不可攀。虽然阿胤从未有过怨言，但她的性占有欲比一般人要强烈一倍。
如果是年轻时的森孝，要满足阿胤的欲望，根本就是轻而易举的事，因为从二十几岁起，他就成天在女人堆里打滚，很懂得如何满足女人。但是，年过四十、搬来犬房定居之后，森孝觉得自己在这方面的能力变差了，加上侧室人数大减，生活缺少刺激，而且失去权力与自信，这些因素都在不知不觉当中，一点一滴地夺走了森孝的性能力。
更令他感到讶异的是，一向彬彬有礼、温柔婉约的元配妻子一发现自己无法满足她的欲求后，态度突然一百八十度大转变，开始露出冷笑、轻蔑的态度。阿胤认为，满足自己的欲求是男人应尽的义务，如果达不到这样的要求，就不能称得上是男人，也就没有尊敬他的必要了。这也让森孝终于明白一个道理，以前这个家里的女人之所以能够和平相处，乃是因为他当时具备了身为男主人的能力；现在家中经济走下坡，性能力也变差，所以他与这些女人相处的关系就出现了危机。
不过，阿胤倒是跟阿振很合得来，有时候看她们两个，还会以为是一对母女呢！两人在一起时谈笑风生，而且都很疼美代子，还会一起指挥女佣煮饭、打扫。有时两人还会联手一起对付森孝，偶尔阿胤对森孝发脾气时，阿振就会毅然决然地对森孝低头袒护阿胤，叫森孝要顺从阿胤的心意；不过有时候阿振也会站在森孝这边。
阿胤好像会抽空教阿振弹琴，因为阿胤常常一个人在最里面的房间弹琴，所以森孝会以为是阿胤在试琴音，但走到里面探头一看，不是阿胤在弹琴，竟然是阿振，这样的情形他见过好几次。
阿振的出身并不好，家境贫穷，当然无法让她学琴，不过学琴是她自小的梦想，加上她是个固执、各方面能力都很强的女人，所以琴艺进步得很快。看阿振那个样子，再回头看看自己，整天无所事事，就这样日复一日地虚度光阴，让森孝更觉得自卑。
偶尔，森孝会注意长工芳雄的一举一动，他觉得元配阿胤和阿振似乎对芳雄特别关照。芳雄的年纪只有二十出头，是新见干货店老板的第六个儿子。因为他家正为吃饭的人口多而犯愁，所以芳雄十五岁时就叫他来森孝家里上工。随着年纪增长，芳雄的个子虽然不高，却有一张美得像女人的俊秀脸蛋；不过并不像歌舞伎艺人那样的娘娘腔，因为从小就从事劳力工作的关系，芳雄属于肌肉强健的体型，偶尔也能表现出儒雅的言行举止。因为体格好，森孝曾有一次叫他到花坛来，给他一把竹刀，两人比试剑道，一比试之后，发现他的技巧很好，让森孝颇为吃惊。
森孝从小就常被父亲、兄长找来陪他们比试剑道，不过每次都打输，因此他很讨厌耍剑。兄长们的技艺属于教师级，但森孝完全没有这方面的才能。到了明治时期，森孝将大小两把剑磨得光亮，摆在床边共枕，却找不到可以练习的对象，毕竟现在已经不流行剑道了，所以也不再挥舞竹刀。当他发现芳雄的技艺可能很快就超过自己，就不再找芳雄练剑了。
全家人中最让森孝疼爱有加的小妾阿嘉，也跟阿振相处融洽。老练的阿振将还是个孩子的阿嘉驯服得百依百顺，在森孝眼里，两人就像一对亲密的长官与部属。阿嘉有时候会称阿振为“后室总管”，这让森孝大感吃惊跟愤怒。连续好几天，森孝都痛斥阿嘉，要她直呼其名，叫“阿振”就行了，当时阿嘉只是敷衍地回答“是，遵命”，但私底下好像仍然称阿振为“后室总管”，偶尔还会叫阿振“奶奶”。于是森孝很早就发现阿振已经是家中的重要人物，不再是可以恣意冷嘲热讽的对象了。
阿嘉只有十九岁，对年轻的她来说，住在犬房是很寂寞的，她会跟阿振这么好，也是没办法的事，她需要一位母亲般的人来呵护自己，也想有位女性长辈指导自己为人处事的道理。不过因为阿嘉是森孝最疼爱的人，两人经常坐在走廊下，森孝会把阿嘉抱在膝上，然后对她说：“你是我这辈子最疼爱的女人，你不能离开我，要一辈子陪着我。”每天待在走廊下卿卿我我的，所以阿振从不会对阿嘉说重话，也对她照顾有加，让森孝很满意；因此看到她们一老一少感情那么好，森孝也不好意思多说什么了。
元配阿胤已经快四十岁了，在森孝的心目中，早就不把她当女人看待，有时根本一整天都不会碰面交谈。