なお、頻繁ではないが、兼家はそれからも道綱母のもとを訪れた。ただ、あえてつれなくする彼女の態度に、だんだんと足は遠のいていったようだ。ちょうど通綱母の屋敷が、兼家が内裏を往復する道筋にあたっており、彼が通るたびにその咳払いが耳につき、道綱母は落ち着いて眠れないようになってしまった。しかも「昔はあれほど兼家が執心した方なのに、最近はすっかりご無沙汰のようね」と人びとに噂されるようになり、プライドが高いだけに、道綱母はそれがつらくてたまらなくなってしまった。
そこで性懲りもなく、道綱母は時姫に対し、「あなたのところに兼家はまったく来ないそうね。私以上におつらいでしょう。お気の毒に」と見舞いの手紙を出したのである。時姫は心の広い女性だったのだろう。そんな馬鹿げた手紙を無視せず、きちんと返事を出してやっている。それに、この頃になると時姫にはさらに娘が生まれ、その立場は道綱母より優位になりつつあった。
そうこうするうち、「町の小路」の女が兼家の子供を妊娠したことを知る。しかも、兼家は彼女が安産であるよう、良い方角の屋敷を探してやり、彼女と同じ牛車に乗り込み、行列を連ねて道綱母の自宅の前を通り過ぎたのである。道綱母にとっては、酷い屈辱であった。
「町の小路」の女は男児を出産したが、それからまもなく、兼家の彼女に対する愛はさめてしまい、足が遠のいていった。これを知ったときの道綱母の感想が恐ろしい。
「彼女が長生きして、私が悩み苦しんだように、ずっと苦しみ続ければいいのに」
と日記に記しているのだ。さらに、生んだ男児が翌年夭折すると、それを愚弄し、「みんながちやほやするからと言って、彼女は調子に乗り過ぎた。今はどんな気持ちでしょうか。私よりきっと苦しんでいるに違いない。ああ、胸がせいせいしたわ」と書きつけているのだ。ここまで陰湿な言葉を、他人が見るであろう文学作品にあえて刻むとは、この道綱母という人は、ある意味、相当度胸がすわっている。
ただ、「町の小路」と切れた兼家が道綱母のもとに戻ったわけではない。今度は別の女に入れ込むようになった。もちろん、これを手をこまねいて見ている道綱母ではない。兼家に長歌を送って、離れてしまった夫への恋しさと切なさを訴え、自分のところに戻ってきてくれるはずという期待感をぶつけた。
これに対して兼家も長歌を返している。そこには、道綱母への愛情が盛り込まれているが、同時に「あなたはいつも富士山の煙のように嫉妬の炎を燃やし続け」「つれないそぶりでよそよそしいばかり」「あなたの侍女たちが私の愛情が足りないと怨むので、私の方はみっともなく、いたたまれない思いをしているのだ」（前掲書）と本心も記されてあった。誰だって、そんな女の家には通いたくなくなる。
とはいえ、夫婦関係が切れたわけではなかった。思い出したように、ときおり兼家は道綱母のもとを訪れた。道綱母が31歳の3月には、兼家は彼女の屋敷で発病した後、自分の屋敷へ戻り、半月近くも静養している。その間、道綱母は1日に2、3回も手紙を送り、兼家から「夜にこちらへいらっしゃい」と誘いが来るほど親密な関係に戻った。
正妻・時姫に敗北
しかしこの年、時姫は末っ子の道長を出産している。すでに彼女は、兼家との間に3人の息子（道隆、道兼、道長）と2人の娘（超子、詮子）をもうけていた。もはや、道綱母との間に大きな差ができてしまっていたのだ。それでも道綱母は、時姫に対抗しようと葵祭の連歌対決で火花を散らしたり、自分の下衆が時姫の下衆と乱闘騒ぎを起こしたりしている。さすがに時姫が嫌がったのか、兼家は道綱母を少し離れたところに引っ越しさせている。
だが、その後も道綱母は、病気が悪化したからと言って「私もいよいよ最期の時を迎えることになりました」と遺書を送りつけるなど、どうにか兼家の気を引こうとした。けれど、時姫との差は縮まらず、道綱母が34歳のとき、ついに敗北が決定的になった。兼家は、冷泉天皇に入内した長女・超子の里帰りのため、新たに東三条殿（東三条邸）を建設したが、この屋敷に時姫とその子供たちを迎えたのである。ここにおいて、時姫の正妻としての立場が確立したといえよう。
