複雑な質問には生成AI、重要な事実には検索

ユーザーは情報を探索し統合するためにAIを選ぶ。一方、正確性や信頼性が重要な場面では従来の検索に頼る。

情報探索タスクにおいて、ユーザーはますます生成AI(genAI)を利用するようになっているが、その利用状況は一様ではない。最近、行った調査で、人々が実際のタスクにおいてAIチャットボットと従来の検索のどちらを選ぶかを観察した。ユーザーは、漠然としたアイデアから始めたり、複数の要件を同時に扱ったり、複数の情報源から得た情報を統合したりする場合にはAIを選んでいた。一方、正確性、自分でコントロールできること、信頼できる情報源が必要な場合には従来の検索を利用していた。

ユーザーが生成AIを利用する理由

次のステップがわからないときの出発点としてのAI

参加者の中には、自分が何を探しているのか、あるいはそれをどう表現すればよいのかまだはっきりしていない段階で、まず生成AIチャットボットを使うという人もいた。具体的な検索キーワードを入力する必要があり、そのため、そのトピックに関するある程度の知識も求められる従来の検索ツールとは異なり、チャットボットは検索対象の分野に詳しくない場合でも柔軟に利用できるからだ。

参加者は、あいまいな、あるいは探索的なプロンプトを使用し、考えられる方向性をAIに提案してもらっていた。

「調べごとを始めるというか、何かを調べるのが少し楽になりました。調べはじめるのによさそうな選択肢を提示してくれるからです。」

「(略)最も役立つ出発点の1つです。(略)より絞り込んだ検索へと導いてくれるので、本当に助かります。」

最近Kindleを購入したある参加者は、Kindleで読める無料の本を探していた。どのような選択肢があるのかわからなかったため、彼はChatGPTに頼り、次のような広範なプロンプトを入力した:

プロンプト:「Kindleを買ったばかりなのですが、Kindleで無料で読める本はあるのでしょうか。それとも、本はすべて購入することになるのでしょうか。」

彼は、Libby、パブリックドメインのサイト、AmazonのPrime Readingなど、6つの提案を得たが、それらに目を通すことで、自分に最も適していて、実際に利用できそうな選択肢を絞り込むことができた。こういうやり方をしたことを振り返って、彼は次のように説明した:

「まずは、こういう大きなテーマから幅広く考えはじめます。何かしらAIモデルを使うと、自分が求めているものをより具体化できて、『自分が実際に求めているのは何か』『自分が実際に考えているのは何か』が見えてくるのです。」

これにより、ユーザーは従来の検索に対してよく見られる不満である、キーワード採餌、すなわち、どの検索語句なら有用な結果が得られるかを試行錯誤しながら推測するプロセスを回避できた。その認知的な負担をAIに肩代わりさせることで、ユーザーは自分の目標を明確にしていくことに集中でき、適切な検索キーワードを逆算して割り出さずにすんだのである。

AIは複数の制約への対応に優れている

参加者が行った情報探索タスクの多くは、予算、日程、場所といった制約を伴っていた。こうした制約は、特に複数の制約を同時に考慮する必要がある場合、従来型検索の検索キーワードに盛り込むのが難しいことが多い。ある参加者は、友人同士4人で行くゴルフをテーマにした独身最後の旅行を計画していた。彼には次のような複数の要件があった:

  • 3~4泊の旅行で、3~4ラウンドのゴルフができること
  • その地域にゴルフコースが複数あること
  • 1人あたりの予算が1,000ドル未満であること
  • できれば自分が住む州に近いこと

彼は検索エンジンで調べはじめるのではなく、ChatGPTを開き、まずは広範なプロンプトを入力した。

プロンプト:「1,000ドル未満で行ける4人でのゴルフ旅行に最適な目的地」

その後、入力内容をさらに絞り込み、ミシシッピ川以東の目的地を除外するようChatGPTに依頼した。

「複数の制約があるときは(略)たいてい真っ先にChatGPTを使います。ChatGPTのほうがGoogleよりも3つや4つの制約にうまく対応できるように思えるからです。」

(Googleには現在、AIモードがあるが、この調査の時点ではこの機能は比較的新しく、ユーザーがその存在に気づきにくかったため、あまり利用されなかった)

AIはインタラクションコストを削減する

AIを利用することで、本来ならそうした情報をすべて得るために複数のウェブサイトにアクセスする際に必要だったクリックを省くことができ、その結果、情報採餌の作業を短縮できたと複数の参加者が述べた。

「得られる情報量がずっと多くて(略)Googleでは何度もクリックしなければ、これだけの情報は絶対に得られません。まぁ、それがChatGPTやGemini、Grokなどの価値なのだと思います(略)使う人のクリックする手間を省いてくれるのです。」

生成AIチャットボットは大量の情報を集約し、ユーザーの入力内容に関連するものだけを提示することで、ユーザーが同じ作業を自分で行う場合に必要になるインタラクションコストを削減し、認知負荷を軽減する。

「こういう質問には(略)やっぱりAIモデルに答えてもらうほうがいいですね。こういうもの[Googleの検索結果]をクリックして見て回るだけでは、AIなら得られるような具体的な回答はどれからも実際には得られず、もっとずっと多く調べなければならないからです。」

AIチャットボットは、本来なら複数のウェブサイトにアクセスしなければ得られない情報を集約することでクリック数を減らす。

AIは、商品レビューをくまなく調べるときに特に役立っていた。複数の参加者が、情報探索の過程でレビューの要約をAIに依頼していた。たとえば、購入を検討している特定の車について人々が何と言っているかを知りたかったある参加者は、ときに専門的になりすぎる個々のレビューを大量に読むことにかかりきりになりたくなかった。

情報が多すぎることがあるのです(略)ものすごく細かいところにまで踏み込む人もいるからです(略)私はただ、『要点だけ教えて。検討を続ける価値があるのかないのか』と思うのです。だから、[それには]おそらくAIツールのほうにより[気持ちが傾く](略)と思います。」

彼女は自分でRedditや他のサイトで多くのレビューを読む代わりに、Geminiにすべてのレビューに目を通してもらい、人々がその車をどう評価しているかをわかるようにしてもらうほうがよいと考えていた。別の参加者は、それがAmazonでRufusを利用している理由だと述べた。

「[Rufusは]情報を集約して、商品のレビューを1つ1つ全部読まなくても済むようにしてくれると思います。」

多くのレビューや製品情報を要約できるため、AIは役立つ相棒になる。ある参加者はAIを販売員にたとえた。ただし、その販売員は売り込んでこない。

会話を誘導しようとしない知識豊富な販売員と話しているような感じでした。こちらにある程度会話を主導させてくれて、知りたいことを本当に掘り下げて見ていけるようにしてくれるのです。」

AIはワーキングメモリーの負荷を軽減する

AIはクリック数を減らすだけでなく、調べごとに伴うもう1つの見えないコストであるワーキングメモリーの負荷も軽減する。ユーザーが何かを選ぶためにオンラインで情報を検索するときは、複数の選択肢の詳細を比較しなければならないことが多い。こうしたタスクは、デザイン上の解決策(選択肢を同じページに表示する、比較表を用意する、フィルターを設けるなど)で支援できる。

しかし、ユーザーは「異なる」ウェブサイトや情報源にまたがって選択肢を比較することも多い。従来、そのためには、候補をすべてワーキングメモリーに保持するか、ページパーキングやメモなどの何らかの外部記憶を利用する必要があった。

AIは便利な解決策を提供する。我々の観察では、参加者はAIを頻繁に利用して情報を1か所にまとめ、比較しやすくしていた。

AIを使わない情報集約

アリゾナ州ツーソン近郊での日帰りハイキングについて調べていた生成AI初心者の参加者は、Googleから始め、使い慣れていた2つのウェブサイトである、国立公園局のウェブサイトとAllTrails.comを順に見ていった。

彼女は国立公園局のウェブサイトを見て、自分のグループに適していそうなハイキングコースを、その距離とともに書き留めた。AllTrails.comでは、評価や説明を確認し、見落としていたハイキングコースがないかを探した。また、すでに書き留めていたコースのうち、評価が高いものや特に魅力的に見えるものには星を付けた。この作業には20分かかり、ワーキングメモリーに過度な負荷がかからないよう、ユーザーには記憶を補う手段(ペンと紙)が必要だった。

AIを使った情報集約

次にファシリテーターは、同じタスクにGeminiを使うよう彼女に求めた。Geminiは、国立公園内のすべてのハイキングコースを一覧にするのではなく、東側にあるコースだけを提示し、しかも彼女が頼んでいないにもかかわらず、難易度別に整理してくれた。タスクを終えた後、彼女はその違いについて次のように振り返った:

「Gemini(略)のほうが、もっと早く、もっとまとまったかたちで、少し見やすく提示してくれたように思います(略)。最初からGeminiを使っていたら、もっと早く済んだかもしれません。」

AIのもう1つの利点は、表やその他の比較しやすい形式で情報を表示するよう依頼できることである。AIリテラシーの高いユーザーは、この方法をプロンプトで活用していた。

たとえば、ロングアイランドのモントークへの日帰り旅行を計画していたある参加者は、ChatGPTにおすすめのビーチを尋ね、説明つきのビーチ一覧を受け取った。彼は、続けて、長所と短所を示す表で情報を提示するようChatGPTに求めた。

ある参加者は、ChatGPTに、提案してきたビーチの長所と短所をまとめた表も作成するよう求めた。表形式になったことで、一度に複数の選択肢を流し読みしやすくなった。

車について調べていた別のエキスパートユーザーも、プロンプトのうちの2つで表を求めていた。表を依頼するためのプロンプトを入力しながら、彼は次のように述べた:

「ひと目で多くの情報を把握するのに役立つこうした表を作成してもらえるのはありがたいです。」

ユーザーが今も検索を利用する理由

AIは従来型検索に完全にとって代わったわけではなかった。むしろ参加者は、意識的にそれぞれのツールをいつ使うかを選択し、両者を競合するものではなく、補完しあうものとして扱うことが多かった。Googleなどの検索エンジンによって、AI検索と従来型検索の境界が曖昧になっているにもかかわらず、調査参加者は依然として両者を明確に区別していた。すなわち、検索プロセスを自分でコントロールし、結果に確信を持ちたいときには、従来型検索を選ぶ傾向があった

多くの参加者(9人中6人)は、検索とAIチャットボットを行き来していた。たとえば、モントークへの日帰り旅行を計画していたある参加者は、まずGoogleマップを使って、そのエリア周辺に何があるのかをざっと把握した。次にChatGPTにおすすめを尋ね、得られた結果を先ほどGoogleマップで見たものと比較していた。

検証手段としての検索

検索は、検証手段として、また具体的で信頼できる詳細情報を得るためによく利用されていた。たとえば、ゴルフ旅行について調べていた参加者は、生成AIとGoogle検索を行ったり来たりしていた。彼はまずChatGPTがまとめた各ゴルフリゾートについての概要を読み、そこから有望そうなリゾートをそれぞれ名前で検索してそのウェブサイトを見つけて、リゾートの内容を確認していた。

この行動には、生成AIは役立つものの間違うこともある、というユーザーのメンタルモデルが反映されている。我々も、セッション中、AIが間違える場面を何度も目にした。たとえば、ある参加者がChatGPTに米国中西部のゴルフリゾートを尋ねたところ、ニューヨーク州のリゾートが提示された。参加者はその間違いに気づき、次のように述べた:

「こういうことがあると、ChatGPTに魅力を感じなくなってくるんですよね。」

価格や重要な事実の検索

複数の参加者が、AIが提供する価格情報を全面的には信用しないと述べていた。彼らはAIがおおむね正しいと思った場合でも、正確な金額については従来型検索で確認したいと考えていた。

「そのまま[価格帯を]書き留める前に、Googleで検索します(略)。そうした(AIの)数字が実際とはまったくかけ離れていても驚かないでしょう(略)。全面的には信用しないですね。

「実際の数字や具体的なデータの話になると(略)、本当かなと思ってしまいます。(略)これが間違っていたら、実際に自分に影響が出ます。なので、AI全般についてですが、そういうときには、ほぼ必ず、より確かな情報源に戻ります。」

ある参加者は、AIが示した価格はおおよそ妥当な範囲にあると考えていたが、AIが古い情報源や、紛らわしい価格表示(たとえば「〜から」という最低価格の情報)を参照しているのではないかと懸念していた。

代償が大きいときの検索

ユーザーは、自分にとって重要なことを調べるときには、AIを使うのをやめたり、検索を使ってAIの結果を検証したりする傾向が強かった。間違いの代償が大きい場合、人は確実性を「最大化」しようとする傾向がある。つまり、AIから通常得られると見込める水準以上の確信を求めるのである。

「間違ったスマートホーム製品に20ドル使ってしまったとしても、それほどたいした問題ではありません。でも、大金を払おうとしている車については、実際にどんなものなのかをちゃんと知っておきたいのです。だから、他のウェブサイトもいくつか見て比較検討し(略)AIの回答と一致するか確認したくなるのです。」

このパターンは、購入以外のタスクにも当てはまる。たとえば、ある参加者は、オメガ3サプリメントの健康への影響を調べる際、定評のある情報源のほうを選んでいた。

「Google AIにはあまり聞きたくありません(略)情報源を直接見るほうが好きです。特に、それが(略)大学や政府系の保健関連サイトの場合はそうですね。」

引用だけでは信頼の問題を完全には解決できない

生成AIツールが引用や情報源へのリンクを提供していても、参加者の中には、名前が挙げられた情報源によってどの記述が裏づけられているのか、また、どの部分が出典を示さずにまとめられた内容なのかをなかなか把握できない人もいた。

「こうしたリンク[引用]などをクリックすれば情報源を確認できます。でも、どの情報源がこうした結論の根拠になっているのか、それとも別の情報源が根拠になっているのかを見分けるのは少し大変です(略)ここには、情報源の示されていない情報がこんなに大量にあります。では、これもすべて上にあるこの情報源からのものなのでしょうか(略)これはどこから来たのでしょうか。」

情報や情報源の種類を自分でコントロールできない感じがします(略)情報源を無作為に選んでいるだけのような。使われている引用が本当に信頼できるものなのかがわかりません。」

各リンクが独立した情報源として提示される検索結果とは異なり、AIは複数の情報を統合して回答を生成するため、どの記述がどの出典に基づいているのか分かりにくくなる。

このような場合、参加者はまずGoogleで始めてから、信頼できる情報源に直接アクセスするほうを好んでいた。 

専門的なトピックの検索

また、参加者は、より学術的または専門性の高い調査ではAIを避けていた。米国の軍事史と大統領史に関心を持ち、趣味で歴史を研究している参加者は、調査のアイデアを得るためにAIを使うことはあるかもしれないが、調査そのものには使わないと述べた。代わりに、Google Scholarで特定の論文や書籍を探すほうを選んでいた。

同様に、脳の微細構造に関する新しい研究を探していた別の参加者は、ChatGPTは実在しない論文や著者を提示することが少なくないということで、その利用を避けていた。さらに、ChatGPTが有料記事にアクセスできないことも指摘し、学術文献調査にはNotebookLMを選んでいた。

調査概要

リモートでの観察調査で、AIの利用経験や技術への習熟度がさまざまな参加者に、実際に自分がオンラインで調べたい事柄を持ち寄ってもらった。我々は、ユーザーが情報探索プロセスで生成AIをどのように利用しているのかを知りたいと考えた。

ユーザーが情報探索プロセスのどの場面でどのようにAIを使おうとするかは、タスクの性質によって異なっていた。ユーザーが持ち寄り、実行したタスクの種類は、主に次の2種類だった:

  • 理解タスクでは、何かを理解したり知るための情報を探していた。探索的なものもあったが、そうしたタスクでは、参加者はトピックについての知識を深めようとしていた。一方、より実用的で、特定の問題の解決に焦点を当てたものもあった。
  • 選択タスクでは、意思決定を行うために複数の選択肢を評価していた。単純な製品比較もあれば、旅行の計画のように、互いに影響しあう複数の判断を下す必要があるものもあった。

以下の表は、参加者が調査に持ち寄った実際のタスクの一部を示している。

理解タスク

トピックについて知る

  • James Madison政権について知る
  • 脳の微細構造に関する新しい研究を探す
  • オメガ3サプリメントのリスクとメリットについて知る

やり方を知る

  • ソファの臭いを取る方法を知る
  • タオルの染みを落とす方法を知る
  • 水漏れしている排水管の修理方法を知る
  • Kindleで無料の本を入手する方法を知る

選択タスク

旅行の計画

  • アリゾナ州でどのハイキングコースを歩くか
  • モントーク島でどのビーチを訪れるか
  • グループでのゴルフ旅行でどこに行くか
  • プエルトリコでどこを訪れるか

何かを購入する

  • 車を選ぶ
  • スマート冷蔵庫を選ぶ
  • 持ち運び可能なサッカーゴールを選ぶ

結論

生成AIと従来型検索は、現代の情報探索において補完的な役割を果たしている。ユーザーは、可能性を探ったり、複数の制約を同時に考慮したり、複数の情報源から得た情報を統合したりする必要があるときにAIを利用する。しかし、代償が大きい場合は(高額な買い物を検討するときであれ、健康に関する情報を調べるときであれ)、従来型検索と信頼できる情報源に戻っている。

記事で述べられている意見・見解は執筆者等のものであり、株式会社イードの公式な立場・方針を示すものではありません。