こうして慶応4年（1868年）閏（うるう）4月3日早朝、忠崇は、藩主と一緒に戦うことを選んだ請西藩士67人に遊撃隊36人を加えた103人と共に、真武根陣屋（まふねじんや）（請西藩の上屋敷）を出陣した。周辺には佐幕か反幕か、態度を決めかねている日和見の藩が多いなか、あくまでも徳川に忠誠を誓う忠崇の潔い行動に感激し、大勢の領民が沿道に土下座してその武運を祈ったと伝えられている。

　新政府はそんな忠崇の脱藩を反逆行為と見なし、林家を改易（所領などを没収すること）とした。こうして林家は最後の改易処分を受けた大名となった。

期待した仙台藩までが白旗を

　忠崇ら遊撃隊は徹底抗戦をやめず、今度は軍艦に乗り、戦況が拡大しつつあった奥州へと向かう。6月3日の夕刻に陸奥国小名浜（福島県いわき市）に上陸。その後は北上しながら転戦を重ね、7月下旬に会津若松城（鶴ヶ城とも）に入る。

　その後、忠崇らは米沢を経て、9月1日、仙台城下に入る。この仙台藩なら、奥州随一の雄藩であり、佐幕で結束した「奥羽越列藩同盟（おううえつれっぱんどうめい）」の中心的存在でもあることから、不利な戦況を立て直せるはずと踏んだのだが、その見通しは甘かった。

　仙台に入って3日後の9月4日、米沢藩が新政府軍に降伏。さらにその数日後には期待した仙台藩までが降伏を表明したのである。このとき忠崇は、この仙台で知り合ったばかりの旧幕臣・榎本武揚（えのもとたけあき）の誘いに乗り、蝦夷（北海道）に渡ることも考えたが、結局は仙台藩ら周囲の説得もあって降伏と武装解除を決断する。

　忠崇がそれを決意したのは、徳川家の存続が許されたという報せが直前に忠崇の耳に届いていたからだった。徳川家の存続がかなった以上、それでも戦いをやめないのは、かえって徳川家のために不忠であると周囲から説得され、忠崇は心ならずも降伏を決めたのであった。

運にも見放され仕事は長続きせず

　忠崇は江戸での謹慎期間を経て、明治6年（1873年）の26歳のとき、旧領であった請西村に戻って農民となる。忠崇のような元大名であれば、維新後、「華族」に列して様々な特権が受けられるはずであったが、忠崇は改易処分を受けていたため、それもかなわず、早急に生活の糧を得る必要に迫られたからである。

　しかし、やはり未経験者にとって農業はそんなに甘いものではなく、すぐに音をあげた忠崇は、亡父と親しかった元幕臣で、当時、東京府知事を務めていた大久保忠寛（一翁）を頼り、下級役人として登用される。