ZOOM会議やYoutube、Vtuber配信でも使える英語同時翻訳
映像メディアを活用した会議や配信などを行う際に英語字幕が必要となるケースがあります。
また単純に、動画に日本語字幕を付けたいけど手打ちは面倒くさい場合もあると思います。
ここではPC上で動作するフリーソフトを使用して
①音声認識（マイク入力）による日本語字幕の自動生成
②日本語字幕をリアルタイムで翻訳して英語字幕を自動生成
③OBSに取り込んで配信/録画画面に字幕表示
する方法を紹介します。
※③のOBSはYoutubeなどでライブ配信を行う際に使用する配信ソフトウェアです。
字幕の使用目的に応じて③の工程は置き換えて使用してください。
なお、文字ベースの翻訳だけならGoogle翻訳などで直接行うことも可能ですが、ここで紹介する方法では発話ペースに合わせて1行ずつ適切に字幕を表示することが出来ます。
そのため映像メディアを使用したリアルタイムでのコミュニケーションや、動画撮影時の字幕自動埋め込みなどに最適な方法になっています。
どちらも同じアプリ上で同時に出力、表示が可能。
アプリは無料＆完全日本語対応（和製アプリ）で操作も設定も驚くほど簡単なので是非試してみてください。
なおこの記事はWindows10環境での使用をもとに記述しています。
最新のゆかりねっとコネクターNeoを使用する自動翻訳＆字幕表示についてはこちら。
▶【最新】ゆかりねっとコネクターNeoを使用した音声自動同時翻訳
日本語字幕自動生成は『ゆかりねっと』
マイクによる音声入力からの日本語字幕自動生成は「音声認識型トークアプリゆかりねっと」を使用します。
▶ゆかりねっと ダウンロードはこちら（フリーソフト）
もともとはマイク入力した発話をリアルタイムで文字に起こし、VOICEROIDや棒読みちゃんなどの音声合成ソフトへ文字情報として認識させるためのアプリのようです。
当然単純な字幕生成アプリとしても使用可能で、インターフェースのキャッチーな見た目も相まって操作が抜群にわかりやすい。
ダウンロード＆インストールが完了したら実際に使用してみましょう。
使用環境にもよりますが、設定作業は基本的にほぼ無し。
インターフェース左側に様々な音声合成アプリとの連携項目がありますが、地声＋字幕生成で使用する場合は字幕タブから『簡易字幕設定』を選ぶだけでOKです。
項目を選択したら『開始』を選んで字幕生成開始。
終了時は『停止』を選んでアプリを終了するだけです。
字幕表示ウィンドウのサイズやフォントの調整はインターフェース下部で行うことが出来ます。
表示された字幕をOBSに取り込む方法は本ページ後半に記載しています。
英語字幕が不必要な方は読み飛ばして『字幕をOBSに取り込む』まで進んでください。
英語字幕自動生成は『ゆかりねっとコネクター』
次に、音声認識で生成した日本語字幕を同時翻訳して英語字幕を生成します。
ここでは「翻訳字幕アプリゆかりねっとコネクター」を使用します。
ゆかりねっとコネクターは先述のゆかりねっとに接続することで、ゆかりねっとの音声認識→字幕生成機能の後に翻訳字幕生成機能を付与することが可能になります。
なお、翻訳言語は英語に限らず多言語に対応しており、同時に複数言語の字幕を生成、表示することも可能です。
音声認識系のアプリは多々ありますが、最終的に翻訳字幕のアウトプットを行うゆかりねっとコネクターの連携のしやすさが決め手となってゆかりねっとを選択した、と言っても過言ではありません。
▶ゆかりねっとコネクター ダウンロードはこちら（フリーソフト）
ダウンロードの際は必ずゆかりねっとのダウンロードフォルダを指定してください。
そうすることでゆかりねっとコネクターを起動した際に自動でゆかりねっとと連携することが出来ます。
逆に言えば、ゆかりねっととの連携が出来ない場合の大半はインストールフォルダが間違っていることが原因だと思われますので再確認を。
ゆかりねっとコネクターの設定
基本的にはセットアップ手順をナビしてくれるのでアプリに従いましょう。
簡単に説明すると、音声認識ツールは「接続方法」タブから「ゆかりねっとプラグイン経由で入力」を選択。
ゆかりねっとを立ち上げた状態でゆかりねっとコネクターを立ち上げると自動で連携してくれます。
連携の確認はインターフェース下端を確認して「音声認識ツールと接続OK」を表示されれば大丈夫。
「テロップ表示」からウィンドウやフォントの調整をして使用します。
（表示するウィンドウの形式も複数ありますが、テロップ型を選択すればOKです。）
「テロップ型表示」ウィンドウに設定した字幕（日本語＋英語）が表示されるので、このウィンドウをOBSに取り込みましょう。
支援版なら機能拡張も
ゆかりねっとは基本フリーですが、支援をすることで複数の機能を拡張することができます。多言語同時翻訳や翻訳時のラグ軽減も支援版の機能になりますのでヘビーユースする場合は支援をして開発者さんを応援しましょう。
字幕をOBSに取り込む
ゆかりねっとで作成した日本語字幕、もしくはゆかりねっとコネクターで生成した日本語字幕＆英語字幕をOBSの配信画面に取り込みます。
ゆかりねっとコネクターはOBSと連携して直接字幕情報を転送することも可能ですが、設定方法としては以下で紹介する方法が簡単なのでおすすめです。
OBSのメディアソースで取り込んでクロマキー処理
まず、OBS側でソース「ウィンドウキャプチャ」を新規追加します。
ここではゆかりねっとorゆかりねっとコネクターで生成した字幕の表示ウィンドウを指定します。
OBSのプレビュー画面上でサイズを調整して配置したら、字幕ウィンドウ背景のグリーンバックを抜きましょう。
ソース「ウィンドウキャプチャ」を右クリックし、フィルタの追加（フィルタウィンドウ左下の『+』）から「クロマキー」を選択します。
色キーの種類はデフォルトの「緑」のままで綺麗に抜けます。
こうすることで字幕ウィンドウのグリーンバックが透けて字幕のみを画面に重ねて表示することが出来ます。
ゆかりねっと及びコネクターの使用感
まずは無料で使用可能、設定や表示までのハードルが低いという時点でかなり高評価です。
加えてプログラムには疎いのでよくわかりませんが、翻訳APIなどの複数に渡る煩雑な処理をゆかりねっとコネクターがすべて行ってくれているようで、ユーザー側には全くと言っていいほど負担がありません。
さらに言えば、ゆかりねっとの音声認識→日本語の文字起こしの精度の高さにも驚かされます。
Youtubeの自動字幕などはもっとノイズが多くて使いづらいイメージだったんですが、おそらくBGMなどの余計な情報が妨げになっているんでしょうね。
滑舌や発話のペースによっては文節の区切りや単語の変換に難がある場合もありますが、よく使う単語の登録やユーザー側の慣れでかなりのレベルまで改善できそうな手応えも感じます。
一点、ゆかりねっとコネクター無料版では翻訳字幕が表示されるまでに少しタイムラグがありますが、これは気になるようであれば支援版を入手することで改善されるそうなので今後の使用頻度と相談して検討しようかと思います。
そして何より、Youtube動画の字幕作成作業の大半をこれで省略できること、英語字幕によって海外ユーザーまでリーチが広がる可能性があることを考えれば恩恵のほうが圧倒的に大きいでしょう。
オススメのマイク
PCで音声認識をする際にはマイクにも気をつけましょう。
ノートPCやWebカメラに内蔵されたマイクでは音質が悪く、音声認識の精度にも悪影響です。
また、単純に音質の悪いマイクでの会話は聞き手側に長時間の苦痛を強いることになりもなります。
外付けのマイクにも種類は多数ありますが、ヘッドセットも避けたほうが良いでしょう。
ヘッドセットのマイクはあくまでオマケ程度の性能で、音質は全くよくありません。
ヘッドセット自体の重さも長時間の使用では使用者に負担をかけることになります。
私がゲーム実況やライブ配信でも使用しているおすすめマイクはこちら。
USBでPCに接続するだけで使用でき、オーディオインターフェースを内蔵しているので入力レベルなどの調整をマイク本体で完結することが出来ます。
（一般的な単体マイクは別途調整用のインターフェースが必要な場合も）
2基の単一指向性マイクの向きを調整することで集音範囲の調整も可能で、環境ノイズを拾いにくいようにセッティングすれば部屋の生活ノイズも抑えられます。
もともとボイスレコーダーを得意とするTASCAMらしく性能面でもピカイチでいやなノイズが乗ったり声がこもったりすることもなく、単体でボイスレコーダーや屋外用マイクとしても使用できる使い勝手を備えています。