ZOOM会議やYoutube、Vtuber配信でも使える英語同時翻訳
映像メディアを活用した会議や配信などを行う際に英語字幕が必要となるケースがあります。
また単純に、動画に日本語字幕を付けたいけど手打ちは面倒くさい場合もあると思います。
ここではPC上で動作するフリーソフトを使用して
①音声認識（マイク入力）による日本語字幕の自動生成
②日本語字幕をリアルタイムで翻訳して英語字幕を自動生成
③OBSに取り込んで配信/録画画面に字幕表示
する方法を紹介します。
※③のOBSはYoutubeなどでライブ配信を行う際に使用する配信ソフトウェアです。
字幕の使用目的に応じて③の工程は置き換えて使用してください。
なお、文字ベースの翻訳だけならGoogle翻訳などで直接行うことも可能ですが、ここで紹介する方法では発話ペースに合わせて1行ずつ適切に字幕を表示することが出来ます。
そのため映像メディアを使用したリアルタイムでのコミュニケーションや、動画撮影時の字幕自動埋め込みなどに最適な方法になっています。
どちらも同じアプリ上で同時に出力、表示が可能。
アプリは無料＆完全日本語対応（和製アプリ）で操作も設定も驚くほど簡単なので是非試してみてください。
なおこの記事はWindows10環境での使用をもとに記述しています。
最新のゆかりねっとコネクターNeoを使用する自動翻訳＆字幕表示についてはこちら。
▶【最新】ゆかりねっとコネクターNeoを使用した音声自動同時翻訳
日本語字幕自動生成は『ゆかりねっと』
マイクによる音声入力からの日本語字幕自動生成は「音声認識型トークアプリゆかりねっと」を使用します。
▶ゆかりねっと ダウンロードはこちら（フリーソフト）
もともとはマイク入力した発話をリアルタイムで文字に起こし、VOICEROIDや棒読みちゃんなどの音声合成ソフトへ文字情報として認識させるためのアプリのようです。
当然単純な字幕生成アプリとしても使用可能で、インターフェースのキャッチーな見た目も相まって操作が抜群にわかりやすい。
ダウンロード＆インストールが完了したら実際に使用してみましょう。
使用環境にもよりますが、設定作業は基本的にほぼ無し。
インターフェース左側に様々な音声合成アプリとの連携項目がありますが、地声＋字幕生成で使用する場合は字幕タブから『簡易字幕設定』を選ぶだけでOKです。
項目を選択したら『開始』を選んで字幕生成開始。
終了時は『停止』を選んでアプリを終了するだけです。
字幕表示ウィンドウのサイズやフォントの調整はインターフェース下部で行うことが出来ます。
表示された字幕をOBSに取り込む方法は本ページ後半に記載しています。
英語字幕が不必要な方は読み飛ばして『字幕をOBSに取り込む』まで進んでください。
英語字幕自動生成は『ゆかりねっとコネクター』
次に、音声認識で生成した日本語字幕を同時翻訳して英語字幕を生成します。
ここでは「翻訳字幕アプリゆかりねっとコネクター」を使用します。
ゆかりねっとコネクターは先述のゆかりねっとに接続することで、ゆかりねっとの音声認識→字幕生成機能の後に翻訳字幕生成機能を付与することが可能になります。
なお、翻訳言語は英語に限らず多言語に対応しており、同時に複数言語の字幕を生成、表示することも可能です。
音声認識系のアプリは多々ありますが、最終的に翻訳字幕のアウトプットを行うゆかりねっとコネクターの連携のしやすさが決め手となってゆかりねっとを選択した、と言っても過言ではありません。
▶ゆかりねっとコネクター ダウンロードはこちら（フリーソフト）
ダウンロードの際は必ずゆかりねっとのダウンロードフォルダを指定してください。
そうすることでゆかりねっとコネクターを起動した際に自動でゆかりねっとと連携することが出来ます。
逆に言えば、ゆかりねっととの連携が出来ない場合の大半はインストールフォルダが間違っていることが原因だと思われますので再確認を。
ゆかりねっとコネクターの設定
基本的にはセットアップ手順をナビしてくれるのでアプリに従いましょう。
簡単に説明すると、音声認識ツールは「接続方法」タブから「ゆかりねっとプラグイン経由で入力」を選択。
ゆかりねっとを立ち上げた状態でゆかりねっとコネクターを立ち上げると自動で連携してくれます。
連携の確認はインターフェース下端を確認して「音声認識ツールと接続OK」を表示されれば大丈夫。
「テロップ表示」からウィンドウやフォントの調整をして使用します。
（表示するウィンドウの形式も複数ありますが、テロップ型を選択すればOKです。）
「テロップ型表示」ウィンドウに設定した字幕（日本語＋英語）が表示されるので、このウィンドウをOBSに取り込みましょう。
支援版なら機能拡張も
ゆかりねっとは基本フリーですが、支援をすることで複数の機能を拡張することができます。多言語同時翻訳や翻訳時のラグ軽減も支援版の機能になりますのでヘビーユースする場合は支援をして開発者さんを応援しましょう。
字幕をOBSに取り込む
ゆかりねっとで作成した日本語字幕、もしくはゆかりねっとコネクターで生成した日本語字幕＆英語字幕をOBSの配信画面に取り込みます。
ゆかりねっとコネクターはOBSと連携して直接字幕情報を転送することも可能ですが、設定方法としては以下で紹介する方法が簡単なのでおすすめです。