車載音声アシスタント5種比較
200問の問答実験を通じて見えた各社の実力
自動車用音声アシスタント5機種を対象に、200問の問答実験と分析を行ったところ、各機の強み・弱みが見えてきました。実際に実験を行ったメンバーに話を聞き、各機種の特徴をまとめました。
自動車業界に強い株式会社イードと、音声AIに関する知見が豊富なロボットスタート株式会社はこの度、双方の知見を活かし、自動車用の音声アシスタントの評価を行う実験を行いました。具体的には、5つの音声アシスタントに対して200問の問答実験を行い、その結果を記録・スコア化し、評価を行いました。この実験レポート（※動画を含む）の販売を開始するにあたり、実験を行ったメンバーに集まってもらい、実験を通じて見えてきた各社の実力や所感について語ってもらいました。なお今回評価対象としたのは、MBUX（メルセデス・ベンツ）、BMWインテリジェント・パーソナル・アシスタント、LINEカーナビ、Android Auto、CarPlayです。
実験概要
- 評価対象 [評価を行う際に用いた自動車]
- MBUX [メルセデス・ベンツBクラス]
- BMWインテリジェント・パーソナル・アシスタント [BMW3シリーズ]
- LINEカーナビ [トヨタカローラツーリング]
- Android Auto（※アップデート前） [フォルクスワーゲンポロ]
- CarPlay [フォルクスワーゲンポロ]
- 実施環境：停車中の車両
- 実験方法：200問の質問を用意し、各音声アシスタントに話しかける。その結果を録画し、文字起こしをする。
- 「ナビゲーション」24問
- 「自動車の質問」13問
- 「自動車の操作」48問
- 「コンテンツ」59問
- 「話し相手」56問
- 実施時期：2019年11月6日～7日
参加者
旭さん（左手前） ロボットスタート株式会社 営業部リーダー
貞平（右奥） 株式会社イード リサーチ事業部 チーフコンサルタント
三浦（右手前） 株式会社イード リサーチ事業部 リサーチャー ※聞き手
（以下、敬称略）
三浦：今日はどうぞよろしくお願いします。まず、実験を振り返ってどうでしょうか。
中橋：とりあえず、大変だったよね…。
三浦：そうですよね…。200問を5台でするのも大変だし、その後の書き起こしとか評価とかも膨大な作業量ですよね…。本当にお疲れさまでした。
中橋：まあ、楽しかったけどね。
三浦：先日、イードがやったセミナーでこの実験の紹介をしたんですが、お客さんの感想で「評価手法はかなりアナログな力技だと感じた」というコメントもありました。
貞平：本当に力技だよね。でも、こういう地道な方法でしか見えてこないことも結構あるし、有意義な実験だったと思うよ。
使い心地の良いMBUX
三浦：では、それぞれの音声アシスタントについて聞いていきたいと思います。まず、MBUXについてはどうでしょうか。
旭：すごく使いやすかった。今回、スコア上はBMWより下だけど、体感としてはMBUXの方が良かった。レスポンスが早いし、反応するときの「ピーン」っていう音もいい感じだし、アシスタントの声も心地いいし、とにかくVUI（Voice User Interface）が素晴らしい。BMWだと、話かけた後に「お話しください」って言われて、「あ、まだ話かけちゃいけなかったんだ」ってタイミングがうまくつかめないことが何回かあったけど、MBUXがそれがなかった。
貞平：BMWは毎回「お話しください」っていうアナウンスがあって、その後にしゃべらなきゃいけないけど、MBUXは「ハイ、メルセデス」と言った後にすぐに話かければそれは言われない。そういうところがうまくできてるなと思う。あと、全体的にシンプルで使いやすい。特に音楽まわりでは、アーティスト名を言うだけで再生画面に移ったり、使い勝手がいいなと思った。
三浦：なるほど。他の調査で「音楽再生」は音声アシスタント利用において重要な項目という結果が出ているので、音楽まわりの使い勝手がいいことは大きな強みですね。
車両連動性の高いBMW
三浦：続いて、BMWはどうでしょうか。
貞平：車両との連動性が高いことが一番の特長だと思う。例えば「眠い」って言うと、「活性化プログラム」なるものが始まって、テンポのいい音楽が流れると同時に送風まで始まって、画面がスポーツ画面になる。
中橋：送風が始まったときはびっくりして、「おっ」ってなった。
貞平：あと「暑い」って言うと温度を下げるだけでなく、シートヒーターをOFFにしてくれるとか、車両と連動できる強みをうまく活かしてるなという印象だった。
三浦：そこらへんはCarPlayとかはできないことですしね。
貞平：ただ、声がこもってて、少し聞き取りづらいところは残念だよね。
旭：なんでこの声にしたんでしょうね。声によって印象がだいぶ違ってくるから、声は大事なんだけど。
ストレスなく使えるLINEカーナビ
三浦：LINEカーナビはどうでしょうか。
貞平：レスポンスが良くて、声も一番聞き取りやすくて、ストレスなく使える感じだった。
三浦：ハキハキした感じの声で聞き取りやすいですよね。
旭：今回の実験では出てきてないけど、実は機能的にできることが多くて、それは強いと思う。特にラジコが使えるのは大きい。自動車のラジオは音があんまりよくないから。
貞平：ただ「機能的にできることが多い」といっても、車両と連動したことはできないから、そこはネックですよね。
三浦：それはCarPlayもAndroid Autoも同じですよね。
貞平：そうだね。まあ、でも結局音声アシスタントで何をしたいかによるよね。別に音声で車両の制御はできなくていい、ラジコが聞ける方が大事って人にはLINEカーナビがいいんだろうし。
三浦：そうですね。
貞平：あと、時事ネタとかエンターテイメントの話題に強かった。「霜降り明星について教えて」っていう問いかけもしたんだけど、Wikipediaを参照して答えてくれたのはLINEカーナビだけだった。
三浦：さすがLINE。
「反応なし」が多かったAndroid Auto
※今回、アップデート前のAndroid Autoで実験を行いました。
三浦：続いて、Android Autoはどうでしょうか。
貞平：まず、ボタンでしか起動しない（話しかけで起動しない）のはAndroid Autoだけだった。あと、話しかけても全く反応しないことがとにかく多かった。200問のうち9割近くが「反応なし」で、リクエストを放棄するという結果だった。まあ、2019年に英語版のAndroid Autoはアップデートされたみたいで、まだ日本語版ではそのアップデートがされていないから、その点は不利だったと思うけど。
三浦：日本語版も近々アップデートされるんでしょうか？
貞平：どうなんだろうね。日本でAndroid Autoを使う人は少ないし、日本は市場性がないと判断して放置している感じがするから、当分アップデートされない可能性もあるよね。
中橋：Googleマップの方が機能が多いとなると、Android Autoって必要なのかなって話にもなるよね。あと、中国とかでAndroidをベースにした車載音声アシスタントがどんどん作られているから、今後Android Autoがどうなるかはちょっと分からないよね。Android Autoより安くて性能のいいやつが出てるんだから。
三浦：そうなんですね。
旭：ただ、ナビだけを使うなら問題なく使えますよね。
貞平：確かに。POIの指定とか基本的なことに関しては、短時間でストレスなく使えるから、音声操作をするのはナビのみって人にはいいかもしれないですね。
※対談後、2020年1月にAndroid Auto日本語版がアップデートされました。
受け答えがしっかりしているCarPlay
三浦：では最後に、CarPlayはどうでしょうか。
貞平：レスポンスがいいし、聞き取ってる最中に出てくる、うにょうにょしたアニメーションが直感的で分かりやすくていいよね。
中橋：ただ、圧倒的な強さはないかなという印象かも。
貞平：確かに、何かがずば抜けて優れている感じではないですよね。でも受け答えがしっかりしているというか、問答に対する対策をちゃんとしているなという感じでした。一番いいなと思ったのは、車両制御に関することは対応できないんだけど、それをちゃんと言ってくれるところ。「それは車両側のコントロール領域です」って。「車両のスイッチを使ってください」とか。そういうことは、他のアシスタントは言ってくれない。
中橋：それは、答えられなかったリクエストのデータを元に、ちゃんとアップデートしてる証だと思う。
貞平：今回、ロボットスタートさんの知見で「不適切な問いかけにどう反応するか」を見ることも音声アシスタントの実力を測る上で有効、ということでNGなこと（例えば「覚せい剤を買いたい」など）も聞いているんだけど、それに対する応答もしっかりしてた。
三浦：そこらへんはスマートフォンで培ってきた知見も活かされていそうですよね。
受け答えのクオリティを左右するのはマンパワー
三浦：CarPlayの受け答えで言うと、例えば座布団のくだりは面白いなぁと思ったんですが、こういうのは誰が書いているんでしょう？完全に日本人のセンスですよね。翻訳ではない。
中橋：こういうのは勿論日本人が書いてるよ。システムのところは向こう(アメリカ)が作ったものをベースにしてるけど、会話のスクリプトは基本的にローカルの人たちが作ってる。僕らみたいな会社に外注することも多いかな。だから、どれだけのマンパワーを投入できるかによって、結構クオリティが左右される。
三浦：そうなんですね。
貞平：じゃあ、CarPlayの受け答えがしっかりしてるのは、そこにマンパワーをかけているから？日本でCarPlayを使っている人は少ないのに、先行投資をしているってことでしょうか。あるいは、Appleブランドとして出す以上、クオリティに妥協はしないっていう企業姿勢？
中橋：CarPlayに関しては、たぶんCarPlay専門のスタッフではなくて、Siriを担当しているスタッフがやってるんじゃないかな。iPhoneは日本で人気あるし、Appleは日本版Siriに注力してるから、ある程度の人員を割ける。
貞平：なるほど。そういうことなら、納得感がありますね。
三浦：ユーモアで言うと、BMWの受け答えで面白いのもありましたよね。セミナーのときに最初にこの動画を流したら、会場が湧いて、ぐっと心をつかんだ感じ。
貞平：これは面白いよね。センスがあるし、さすがBMWって感じがする。CarPlayやBMWに限らず、他にも色々ウィットに富んだ回答があって、面白かった。
今後の課題は車両との連動性
三浦：最後になりますが、全体を通じてどうだったでしょうか。
中橋：面白かったよ。現時点ではまだどれもベストではないから、継続的にこの実験をして、性能がどのくらい良くなっていくのか見てみたいって思う。
三浦：今後どうなっていきそうっていう予想はありますでしょうか？
中橋：ベンツとBMWは輸入車としては売れてると言っても、やっぱり乗ってる人は少ない訳で、この機能を享受できる人は限られると思うんだよね。だから、そういう意味ではLINEカーナビとかCarPlayとかが今後増えていきそう。ただそうなると、車両と連動できるか、車両の情報をとれるかということが課題になってくると思う。こないだのCES2020でAlexaに対応したランボルギーニが発表されたけど、本来そういう風に車両と連動できるのが望ましいし、そうあるべきだよね。
三浦：なるほど。本日はありがとうございました。
まとめ
今回、各社の特徴として以下点が挙がりました。
| MBUX | BMW インテリジェント・パーソナル・アシスタント | LINEカーナビ | Android Auto（アップデート前） | CarPlay |
|---|---|---|---|---|
|
|
|
|
|
レポート販売のお知らせ
今回、200問の問答実験で得られた回答を、以下のように分類し、1に分類された回答に2pt、2に分類された回答に1ptの評価ポイントを与え、スコア化を行いました。
- リクエストを完遂（※回答結果の妥当性は不問）
- リクエストにある程度近づいている（項目提示など）
- リクエストに答えられない理由を明示
- 「分かりません」などの回答あり
- リクエストを放棄（回答なし）
- 誤認識による回答
この内容の詳細なデータを販売いたしますので、ご興味のある方は以下までご連絡ください。なお、ご購入いただいた場合、ご希望に応じて報告会を行います。
弊社プレスリリース：イードとロボットスタート、自動車向けAI音声アシスタントに関する調査テストを実施
