このシステムでは自動翻訳された内容にプロの翻訳家が手を加えていく「人と機械のハイブリッドモデル」を採用することで、マンガの多言語展開を従来よりも安価に、スピーディーに実現することを目指している。
“マンガ専用の機械翻訳システム”を独自開発
機械翻訳における最初の関門は「正確な文字認識」だ。
マンガでは作品ごとに多種多様なフォントが使用され、時には線の上に文字が書かれていたり、白抜きで文字が表現されていたりもする。だからこそ背景や文字を正しく認識し、何が書かれているのかをきちんと読み取る技術が欠かせない。
そこでMantraではマンガ専用のOCR（文字認識）エンジンを自社で作った。あらかじめ数百種類の「フォント」と、背景になる「絵」のデータを用意。それらの組み合わせによって何パターンもの人工的な学習データを“自動生成”できる仕組みを構築し、マンガの文字認識に特化したOCRエンジンを完成させた。
「Wordで作った文書や紙の名刺を高精度で認識できるOCRエンジンが、マンガにおいても同じように上手くいくわけではありません。すごく難しい技術を使っているわけではないですが、認識したいドメインに合わせて専用の文字認識エンジン自体を設計することが重要だと考えました」（Mantra代表取締役の石渡祥之佑氏）
認識されたテキストを翻訳される工程でもいくつもの工夫が見られる。たとえば「マンガっぽい会話文やテキスト」を自然な表現に訳せるように学習データの作り方を模索した。
マンガ特有の表現を残したまま訳すには、汎用的な翻訳エンジンではなくマンガ専用の翻訳エンジンが必要になる。専用の翻訳エンジンを作るには専用の学習データを用意しなければならないが、このデータを用意するのにコストがかかり、マンガの自動翻訳を実現する上で1つのボトルネックになっていた。
Mantraの場合は既刊マンガの日本語版と外国語版の画像データを読み込ませるだけで、吹き出しを認識して自動で対訳テキスト（ペアになる日本語と外国語）を抽出する技術を開発。膨大なコストをかけずとも、学習データを効率良く集められる仕組みを作った。
翻訳する段階では翻訳エンジンだけでは不十分で、マンガの構造や文脈を理解することも求められる。
一例をあげると、マンガでは「1つのセリフが複数の吹き出しに分割されている」シーンがよく出てくる。このようなセリフをきれいに訳すには「『コマ』というマンガの構造を理解し、吹き出しの順番などを把握した上で、自然な語順になるように調整する必要がある」（石渡氏）という。
