課題背景
開発の段階で社内評価は行っていたが、第3者評価も必要となった。
専門の翻訳会社に評価をしてもらうことで、信頼性を上げる必要があった。
機械翻訳のエンジン出力評価の実績がある会社を希望。
インバウンド案件を経験している翻訳会社が希望で、利用シーンをイメージしてもらう必要がある。
導入ソリューション
今回開発された翻訳機の利用シーンを共有いただき、まず初めに評価対象用の想定日本語会話文を作成しました。 その会話文を翻訳機に発話し、出力された音声（出力結果）をテキスト化しました。そしてそのテキストを基に人手による評価を行いました。
工夫した点
インバウンド案件に多様な実績があるサン･フレアでは、機械翻訳エンジンで必要となる生活や旅行の中での会話や専門性を必要とする医療現場での会話など、様々なシーンでの会話文作成と翻訳経験があります。そのナレッジを活かして、お客様の希望シーンにマッチした会話文を作成しました。
機械翻訳エンジンの評価については、国際評価ワークショップIWSLT*で採用された評価基準をベースとし、サン･フレア独自のナレッジによる評価の観点、レベル分けを加味しながら、機械翻訳の出力結果を独自の5段階評価で行いました。
*International Workshop on Spoken Language Translation（IWSLT）の略称