ところが明治8年（1875年）12月、上司と対立し、辞職。その後はツテを頼って函館に渡り、海産物の輸送を行う豪商・仲栄助の世話になり、店の番頭の職につく。ようやく安定した暮らしができると喜んだのも束の間、運悪く栄助の店が破産したため、再び困窮生活を余儀なくされる。

　忠崇は明治13年（1880年）、神奈川県座間市の寺院に寓居（ぐうきょ）（仮住い）する。この寺には数年間滞在するのだが、普段は何をするでもなく、近所と交わることもせず、好きな絵を描くなどして静かに暮らしていた。忠崇の身元を知っていたのは住職一人で、妻女も知らなかった。近所では雑用をこなす寺男だと思われていたらしい。

岡山県で娘と同居する

　収入が無くてもどうにか食べていけたのは、平民として各地に散らばっていた旧臣たちが時折ご機嫌伺いにやって来て、そのつど幾許（いくばく）かのお金を置いていったからである。また、忠崇は謹慎後、3～4人の女性と結婚、あるいは内縁関係を繰り返したと見られているが、そうした女性を周旋したのも旧臣たちだった。

　明治19年（1886年）、妻チエとの間に次女ミツが誕生する（長女は早世）。

　このミツがのちに忠崇と同居し、忠崇の面倒を終生見ることになる。

　明治26年（1893年）から翌27年にかけて、旧臣らの家名復興の嘆願運動が実り、忠崇は甥の林忠弘と共に晴れて華族に列せられる。その後忠崇は印刷局に勤めたり日光東照宮で神職として勤めたりしたが、いずれも長続きしなかった。

　明治37年（1904年）、妻チエに先立たれると、大正4年（1915年）には次女ミツの嫁（とつ）ぎ先であった岡山県津山市の銀行経営者の家に引き移る。娘との同居で久々の安らぎを得た忠崇だったが、運命はやはり彼に対して冷酷だった。

　昭和10年（1935年）、ミツが離婚したことから、父娘は岡山を離れざるを得なくなり、一時、大阪で暮らした後、昭和12年（1937年）、東京に舞い戻る。このとき、忠崇は90歳の卒寿だった。