AI翻訳の実力はTOEIC何点に値する？進化する機械翻訳との付き合い方

2023-11-14

ChatGPTなどの生成AIの登場によって、英語を使ったコミュニケーションに、新たな時代の扉が開きました。英語のメール、プレゼン、広告、レポート、etc...、あらゆる英語の発信に対応するためのノウハウが満載の『ChatGPT翻訳術　新AI時代の超英語スキルブック』から、本記事ではAI翻訳の進化の核心について解説します。

AI翻訳はどう進化してきたのか

ChatGPT翻訳術　新AI時代の超英語スキルブック

山田優

アルク

機械翻訳の技術には、いくつかのアプローチが試みられてきましたが、ニューラル機械翻訳（NMT）の導入は、2010年代から機械翻訳の品質を飛躍的に高め、一連の革新的な改善も生み出しました。2017年にGoogleによって提示された「Transformer アーキテクチャ」という技術が、機械翻訳の処理能力の向上と共に翻訳品質の大幅な改善を実現しました。この技術は大規模言語モデルに広く採用され、近年のAI技術の顕著な進歩に寄与しています。

ニューラル機械翻訳が登場する前、機械翻訳の主流の1つであった統計的機械翻訳（SMT）の基本的な考え方は、コーパスと呼ばれる大量の対訳データ（2つの言語で書かれた同じ内容のテキスト）から翻訳のパターンを学び取るというものです。統計的機械翻訳は一部のテキスト（例えば単語や短いフレーズ）を元の言語から目的の言語に直接翻訳します。しかし、これは通常、広い文脈を理解するのに十分ではありません。例えば、統計的機械翻訳はしばしば誤訳を生じさせることがあります。なぜなら、同じ単語やフレーズでもその前後の文脈によって意味が変わる場合があるからです。

一方、ニューラル機械翻訳は、より洗練されたアプローチで、深層学習と呼ばれる人工知能（AI）の一種を使用します。これは、人間の脳の神経回路を模倣したニューラルネットワークという概念に基づいています。入力される文全体を考慮して翻訳を行い、その結果、より自然で文脈に応じた翻訳が可能になります。つまり、ニューラル機械翻訳には、単語やフレーズの間のより複雑な関係を学習し、文全体の意味を理解する能力があります。こうした進歩を遂げたニューラル機械翻訳では、前時代の非ニューラル機械翻訳（非NMT）と比較すると、単に「正確性」が向上しただけでなく、「流暢性」の観点からも格段の進歩を遂げました。 これは、言い換えれば、ネイティブスピーカーのような自然な文章を生成する能力の向上を意味します（図1 参照）。

ここでいう「正確性」とは、情報が事実に基づいている（つまり、正確に翻訳されている）かどうかを指し、一方で「流暢性」は、その情報がどのように伝達されるかに関連しています。

翻訳の方向性が精度に大きく影響する

機械翻訳の正確性と流暢性の向上を考慮する際、英語の4つの技能（インプットとアウトプット）と翻訳の方向性の関連性を整理しておくことは重要です。我々が英語を学習する際には、これら4つの技能を認識します。「読む（リーディング）」「書く（ライティング）」「聞く（リスニング）」「話す（スピーキング）」の4技能です。

英語を「読む」または「聞く」ことは、情報を理解し取り込むこと、すなわちインプットに相当します。この状況では、機械翻訳の方向は英語から日本語へとなります。英語を日本語に翻訳し、それを日本語で理解するというプロセスです。

一方、情報を発信すること、つまりアウトプットは、「書く」または「話す」に対応します。この場合の翻訳の方向性は日本語から英語へとなります。伝えたい情報を日本語で書き、それを機械翻訳によって英語に変換し、それを発信するという流れです。これらの関係性は以下の表1のとおりにまとめられます。

機械翻訳や大規模言語モデルを「英語」学習のために活用する際には、インプット活動かアウトプット活動かにより、翻訳の向きが変わり、これが前述の翻訳品質に影響を及ぼします。従って、このような関連性を整理し理解しておくことは重要です。

インプット（英→日）の実力

それでは、インプットとアウトプットの目的で使用する際の機械翻訳の能力について考察してみましょう。インプットの場合、機械翻訳の誤訳率はおおよそ10%以下とされています。これは、例えば学術論文やニュース記事の概要を把握する程度の用途には十分なレベルと言えるでしょう。

ある著名なプロの翻訳者、鈴木立哉氏は、SNS上で次のように述べています。「たとえあなたが英語を全く読むことができないとしても、日本語の新聞を読む常識があれば、無料のDeepLを用いて、ニューヨーク・タイムズやウォール・ストリート・ジャーナルの本文をコピペするだけで約70～80%を理解することができます」

多くのプロの翻訳者は、翻訳業務において機械翻訳の利用について否定的な意見を持っています。しかし、鈴木氏は一般の人々（特に英語に詳しくない人々）が機械翻訳を使うことを推奨しています。これは、世界情勢を理解するために、日本国内のメディアだけでなく、海外の報道も視野に入れるべきだとする彼の主張から来ています。確かに、正確性には問題が残るものの、機械翻訳を活用することで海外メディアを70～80%程度理解できるという彼の主張は、その重要性を強調し、説得力があります。また筆者の大学の研究室は、機械翻訳を使って英語で書かれた文書の内容を「7～8割理解できてしまう」ことを検証するために、便宜的に大学入試の英語の読解問題に全問正解できることと読み替えて、実験を行いました。結論は、機械翻訳にかけたあとの日本語だけを読むことで、誤訳はあるものの、理論的には入試問題の英語を全問正解することができるという結果でした。

アウトプット（日→英）の実力

アウトプットの実力は、冒頭で示したTOEIC960点以上です。次の図2のグラフは、ビジネス文書を英語で発信する能力（日→英への翻訳＝アウトプット）の評価結果です。正確性と流暢性のスコアの両方で、機械翻訳（一番左）が、TOEIC高得点保持者のビジネスパーソンの英語力を上回りました。正確性とは言いたいことを伝えられているかに関わる指標で、流暢性とはその言いたいことを英語らしい流暢な言い方で伝えられているのかに関係します。

グラフを確認すると明らかなことは、機械翻訳とビジネスパーソンとの間で、正確性よりも流暢性の差が大きいという事実です。具体的には、機械翻訳の流暢性スコアが4.29と高いのに対して、ビジネスパーソンのスコアは3.81から3.96という範囲に収まっています。一方で、正確性に関しては両者の間に大きな差は見られません。もちろん、プロの翻訳者は、正確性と流暢性の両面で機械翻訳を上回るパフォーマンスを発揮しています。ここで重要なポイントは、これらのスコアの差異から、AIの活用についてのヒントを見つけることが可能であるということです。流暢性は、機械翻訳（およびプロ翻訳者）が高いスコアであるのに対して、ビジネスパーソンは全体的に低いです。

しかし正確性は機械翻訳とビジネスパーソンの間に大差がありません。つまり、英語でアウトプットする時に、自分が言いたいことを英語で伝えるだけならば（正確性を担保するだけの目的ならば）、機械翻訳を使おうと自力で英語を書こうと大差ありません。しかし、ネイティブ話者のような流暢な英語で伝えたいのであれば、機械翻訳を活用したほうが得策だということです。