AIによる調査の加速
AIは特定の調査タスクをスピードアップできるが、現在のところ、計画段階や分析段階で最も役立っている。
この記事では、一般に公開されているAIツールがUXリサーチャーの調査にどのように役立つかに焦点を当てる。AIツールは調査プロジェクトの特定の段階ではもっと積極的に活用すべきだが、それ以外の段階では使用を控えるほうがよい。
調査プロジェクトにおけるAIの活用方法
では、AIツールが特に役立つと思われるタスクについて見ていこう。
調査の計画
AIが現在、UX調査に（圧倒的に）役立つのはこの分野である。
| 調査作業の種類 | 対応能力 | 詳細 | 注意点 |
|---|---|---|---|
| デスクリサーチ | ✅ | 調査への着手と情報源の収集 | 不正確な情報や捏造された情報源 |
| 計画段階でのアイデア出し | ✅ | 調査目的（案）や手法の選択肢、インタビューやアンケートの質問、ユーザビリティテストのタスクの作成 | ベストプラクティスからの逸脱 |
| 文書作成 | ✅ | その調査に合わせた調査関連文書の作成（同意書、観察者指示書、メモ取り指示書、進行スクリプトなど） | 提供されたテンプレートへの記入ミス |
デスクリサーチ
必ずしも一次調査に時間を費やす必要はない。自分の専門分野内外の既存の調査結果から有益な指針を見つけられることも多いからだ。AIは優秀なデスクリサーチャーとして機能するが、大きな限界もある。
それは、AIはデスクリサーチの出発点としては機能するが、最終的な情報源としては使えないということだ。問題領域やトピックの探索を支援することはできる。しかし、事実確認ツールとしては使うべきではない。
ヒント
- AIシステムには常に一次情報源を提示するよう求め、それらの情報源を確認する。
- 情報検索に特化したツール（PerplexityやScholarAIなど）を使用する。ただし、生成AIシステムが誤情報、バイアス、ハルシネーションを完全に排除することはできない点を忘れてはならない。
アイデア出し
調査を計画する際には、スクリーニング質問の立案、調査の設定方法の検討、タスク案の作成など、かなりの量のアイデア出しが必要である。こうした作業にAIは非常に優れている。
たとえば、NN/gのウィークリーニュースレターに関する日記調査を計画するにあたり、我々はChatGPTに調査参加者向けのさまざまな質問を考えてもらった。
以下は使用したプロンプトである。
プロンプト
毎日回答者に実施するアンケートで聞く15の質問を作成してください。次に、そのリストをレビューし、調査の目的に最も適していると思われる質問を5～10個選んでください。そして、それらの質問を回答者にとって意味が通る順番に並び替えてください。
以下は、ChatGPTが提示した8つの質問のうちの最初の4つである。
ChatGPTの回答
- きょうはどのようなUX関連のニュースレターを受け取りましたか。
まず調査のコンテキストを明確にし、比較対象となる他のニュースレターを特定する。- きょう、NN/gのニュースレターを閲覧しましたか。なぜ閲覧したのでしょうか、あるいは閲覧しなかったのでしょうか。
NN/gのニュースレターに関与する、あるいは関与しないという意思決定に関する理解へと進む。- NN/gのニュースレターのどの要素が特に目に留まりましたか。
回答者の注意を引くために効果的だったこと、あるいは効果がなかったことを掘り下げる。- きょうはNN/gのニュースレターを読むのにどのくらいの時間を費やしましたか。
エンゲージメントの度合いと時間的コミットメントを評価する。
スタートとしては上々だ！ これらの質問は完璧ではない。削除したり、書き直す必要もあるし、新しい質問も追加しなければならない。それでも、調査の出発点としては十分である。
ヒント
- AIツールにタスクや質問の選択肢を作成させる際には、確立されたベストプラクティスに従うよう指示する。結果が満足のいくものでない場合は、出力に求める特性を明示的にリストアップする必要があるかもしれない。
- 理想的には、アイデアの最終リストを人間の調査専門家がレビューすべきである。もし自分が専門家であれば、自らその役割を果たせばよい。調査の初心者である場合は、より経験豊富なリサーチャーに連絡してアドバイスを求めるといいだろう。
文書作成
調査の計画では、調査計画書、スクリーナー、同意書、観察者指示など、（しばしば面倒な）文書作成が必要となる。AIツールを活用すれば、このプロセスを大幅にスピードアップできる。
ただし、AIツールを使用する際は、まずテンプレートを提供する必要がある。忘れてはならないのは、AIシステムが常に良いアドバイスと悪いアドバイスを区別できるわけではないということだ。しかし、しっかりとした出発点を与えれば、AIシステムはミスをしにくくなる。
たとえば、我々のニュースレター調査のための文書作成にChatGPTを使用するとしよう。調査の重要な詳細（手法、目的、調査デザイン、参加者情報など）を伝えた後、我々はNN/gの標準同意書テンプレートをアップロードし、以下のようなプロンプトを与えることになるだろう。
プロンプトの例
上記の調査の詳細に基づき、私の調査用に同意書をカスタマイズしてください。添付の同意書テンプレートの形式に従ってください。作業を開始する前に、追加の詳細が必要ですか。
ヒント
- AIツールに調査関連の文書の作成を依頼する際には、出発点としてテンプレートを提供する。
- システムが文書を作成する過程で起こりうるミスに注意する。たとえば、同意書にデータ収集の許可について正しく記載されているかどうか、再確認する。
調査の実施
現在のAIツールは、モデレーターありの調査では有用な場面が限られており、今のところはユーザビリティテストの観察、進行、分析を行うことはできない。
| 調査作業の種類 | 対応能力 | 詳細 | 注意すべき点 |
|---|---|---|---|
| インタビュー中のメモ取り | ✅ | 会議メモ作成ツールを使えば、会話をリアルタイムで記録することができる。 | 誤解や発言者の誤認 |
| インタビューの実施 | ❓ | 最新ツール（Versiveなど）は、カスタマイズされたフォローアップ質問をリアルタイムで尋ねることができる。 | 表面的な知見 |
| ユーザビリティテストのメモ取り、進行、分析 | ❌ | AIツールは、現時点では、実施中のまたは録画されたユーザビリティテストを「観察」することはできない。 | AIがユーザーテストを実施したり、行動データを分析できるかのような誤解を招く主張 |
定性的な行動調査（ユーザーテストなど）の実施
行動データとは、ユーザーが何を行うかに関するデータである。現在のAIツールはテキストの処理には非常に優れているが、ユーザーの行動やユーザーとインタフェースとの非言語的インタラクションを理解して解釈することはできない。
そのため、AIツールはユーザビリティテストやフィールド調査を観察することはできない。
AIシステムには動画の分析（テキストやオブジェクトの認識、顔の表情の解釈など）を行う能力はあるが、ユーザビリティテストを「観察」できるAIツールはまだ存在しない。技術的な限界を超えて、ユーザビリティテストを観察したり、進行したりするには、優れた状況認識能力が必要であるが、この能力が現在のツールには欠けているのである。
したがって、AIツールにユーザビリティテストの進行や適切なメモ取りは期待しないほうがよい。そのような機能があると宣伝している製品もある。だが、これまで我々がテストしたその種のツールも、ユーザビリティテストの文字起こしを分析するだけで、セッション中にユーザーが実際に行った行動を分析することはできなかった。それでは不十分だ。ユーザーは言うことと行うことが異なることがよくあるからである。
（ただし、AIは、人間が一旦処理した「後の」ユーザビリティテストのデータをさらに処理する際には役立つ。たとえば、リサーチャーがモデレーターなしのテストツールを使って、ユーザビリティテストから定量データを収集したとする。その場合、リサーチャーはデータや動画記録をチェックして、結果に問題を生じさせる可能性のある参加者を見つける必要がある。しかし、こうしてデータセットが整えられれば、AIはリサーチャーがそのデータに対して統計的分析を行うのを支援することができる。）
態度調査（インタビューなど）の実施
生成AIツールは、行動データにはまだ対応できないが、インタビュー、日記調査、アンケートなどの方法で収集された自己申告データや態度データの処理には非常に役立つ。これらのデータが言語ベースであるためだ。
たとえば、AIシステムは、インタビュー中の補助的なメモ作成者の役目を果たすことができる。一般用途の会議メモ取りツール（Otter.aiなど）は、会話をリアルタイムで文字起こしし、議論の主なポイントを要約することが可能だからだ。ただし、他のAIツールと同様に、これらの製品も完璧ではない。コンテキストや重要なポイントを誤解することも多いし、話者を取り違えることもある。
生成AIツールは、特に構造化インタビューや半構造化インタビュー（スクリプトに沿って進行され、カスタマイズしたフォローアップ質問を伴うインタビュー）のような、大規模なインタビューを実施できる大きな「可能性」を秘めている。ただし、これらのAIツールが、インタビューには欠かせない、参加者との信頼関係を人間のインタビュアーと同等レベルに構築できるかどうかは未知数である。
この記事を書いている時点では、AIが生成するインタビューをリアルタイムで提供するツールはまだ数えるほどしかない（VersiveとOutsetの2つがそれに当たる。とはいえ、我々はそれらをリアルなインタビューというよりも、カスタマイズしたフォローアップ質問が付いたアンケートに分類するだろう）。
ヒント
- 特にUXチームが自分1人だけの場合は、インタビュー中のメモ取りにAIアシスタントの活用を検討する。
- ただし、文字起こし機能を備えた分析ツールを利用する場合（次のセクションで説明する）、リアルタイムでのメモ取りは必ずしも必要ではない。
データの分析
このセクションでは、インタビュー、アンケート、日記調査などの方法で収集されたテキストベースのデータや数値データの分析に焦点を当てる。
| 調査作業の種類 | 対応能力 | 詳細 | 注意すべき点 |
|---|---|---|---|
| インタビューの文字起こしと要約 | ✅ | AI機能は、録音された会話をタイムスタンプとリンクさせて文字起こしをしたり、重要なポイントを要約したりすることができる。 | 一部の言語やアクセントでエラー率の増加 誤解や抜け落ち |
| データのクリーニングとサニタイズ | ✅ | ツールによって、生データを整え、個人を特定できる情報を削除する。 | ミス |
| 定性的データの予備的コーディングとクラスタリング | ✅ | AI機能は、データの共通点や大まかなテーマを探す初期処理を行うことができる。 | 漏れ「その他」カテゴリーの項目の増加 |
| 定量的分析の支援 | ✅ | AIは、適切な統計的手法を提案したり、分析プロセスの一部を実行したりすることができる。 | ミス統計的仮定の見落とし |
タイムスタンプと要約
これまで、多くのリサーチャーが、AIベースの動画文字起こし機能を利用してきた。この機能は、より多くの言語やアクセントへの対応能力の点で特に向上してきているように思われる。
とりわけ便利なのが、文字起こしテキストを動画の該当箇所とリンクさせるタイムスタンプ機能である。
また、文字起こしの要約もAIベースの調査ツールの機能として主流になりつつある。
ヒント
- 要約を再確認する：AIによる文字起こしや要約機能は、コンテキストを誤解することがある。
- セッションやインタビューの各セクションで要約が抜けていないか注意する。
データのクリーニングとサニタイズ
一部の調査分析ツールには、生データから個人を特定できる情報（氏名、メールアドレス、クレジットカード番号など）を削除する機能がある。これにより、特に大量のデータを扱う定量的調査において、参加者データを保護しつつ、分析の中でも面倒で手間のかかる工程の作業量を軽減することができる。
ただし、こうしたツールにもミスは起こりうる。たとえば、ある調査ツールに関する調査では、AI機能によってインタビューからツール名がすべて削除されてしまった。そのシステムは、参加者が所属する企業名を削除することで参加者のプライバシーを保護しようとしたのだが、実際には、参加者がレビューしていたツールに関する情報を削除してしまっていた。
定性的データの予備的コーディングとクラスタリング
文字起こしがすでにある場合、AIはデータセットで共通して使用されている言葉に着目して、データのコード（またはタグ）を特定することができる。AIが生成したコードのすべてが有用であるとは限らないが、出発点としてこれを活用できる可能性がある。
チームがMiroのようなホワイトボードツールでメモを取っている場合、AI機能を使って付箋をクラスタリングすることもできる。ここでのクラスタリングの精度は、付箋のテキストの明確さに依存する。
AIが生成したクラスターが完璧であることはまれだ。たとえば、「その他」のカテゴリーに多くの付箋が分類されることになる。しかしながら、AIにアイテムの初期処理を任せることで、分析プロセスを加速することができる。
ヒント
- この段階でより良い結果を得るには、コンテキストを提供することが重要である。Dovetailのようなツールでは調査課題の入力が可能だが、システムが有用なコードを返すには、調査課題の情報は不可欠である。
- メモ、付箋、重要ポイントが、この機能によって正しく解釈されるように、十分に整った記述になっているか確認する。
定量的分析の支援
AIツールは、適切な統計的手法を提案したり、分析プロセスの一部を実行したりすることで、定量分析をスピードアップすることができる。AIツールが支援可能な分析ステップには、以下のようなものがある：
- 欠損している、または不完全なデータ記録の処理
- 生データの変換やサニタイズ
- 記述統計や推測統計
- 大まかな感情分析
さらに、データからそこそこの品質のデータビジュアライゼーションチャートを生成することも可能である。
ヒント
- AIに実行させた分析やデータ処理については、必ず徹底的にスポットチェックを行う。
- AIツールでチャートを作成する際には、データビジュアライゼーションのベストプラクティスに従うよう指示する。
AI分析の限界
AIツールにすべての分析を任せきりにしてはならない。AIは確率論的な性質をもっている。つまり、特定の事柄に注目する一方で、他の事柄を無視する可能性がある。その結果、データの誤った側面に焦点を当ててしまうことがある。また、AIは、知見を見逃したり、間違って解釈したり、さらには知見を捏造することさえある。
主題分析を行うには、（現時点では）AIには不可能な、点と点をつなぐための人間の視点が必要である。定性的なデータを分析する際、優秀な人間のリサーチャーは、たとえば、コンテキストに関する以下のような疑問について考慮するだろう：
- 参加者のこの発言は、他の発言とどのように食い違っているのか。
- この人物の根底にあるメンタルモデルはどのようなものか。
- このデータはどのように収集されたのか。インタビュアーがうっかり参加者をプライミングしなかったか。
- 参加者は本当のことを言うのに恥ずかしさを感じた可能性はないか。
- この参加者は調査の募集基準に合致していなかったのではないか。
このような複雑で、コンテキストを踏まえた考察のレベルは、現在のAIツールの対応能力を超えたものである。
ヒント
- AIによる文字起こし、要約、コーディング機能を活用し、分析プロセスの初期段階をスピードアップする。
- AIシステムはインタビュー、アンケート、日記調査のデータを処理することはできるが、人間のように動画クリップを視聴したり、ユーザビリティテストを観察することはできないことを忘れてはならない。
- AIによるコーディングはあくまで一次的な処理として扱う。最終的には人がデータを解釈し、そこから知見を引き出す必要がある。
- AI分析ツールをユーザビリティテストの分析に使おうとしてはいけない。
調査報告
| 調査の種類 | 対応能力 | 詳細 | 注意すべき点 |
|---|---|---|---|
| 成果物の草案作成 | ✅ | AIはペルソナやジャーニーマップなどの成果物の構成要素や初案を作成することができる。 | 調査に基づかないデータや詳細情報の捏造 |
| 文言の編集と修正 | ✅ | AIはテキストを洗練させたり、短縮したりすることができる。 | オーディエンスのコミュニケーションスタイルに合わない出力 |
| 調査結果の要約 | ✅ | 調査リポジトリの中には、AIチャットによって、調査結果を要約し、簡便な回答を提供できるものもある。 | ハルシネーション |
AIチャットボットは、調査レポート、要約、アーティファクトなど、あらゆる種類の情報伝達手段の執筆アシスタントとして役立つ。ステークホルダーの支持を得るためには、明確なコミュニケーションが不可欠だ。AIシステム（特にこの点で優れているとされるClaudeなど）に以下のような支援を求めるとよいだろう：
- 文法や文言の編集
- 対象オーディエンスに合わせた表現の調整
- トーンの調整
- （特にUXが専門外のオーディエンスに対して）UX専門用語の回避
また、ユーザーペルソナやジャーニーマップなどの成果物の作成に取りかかる際にも、AIツールは活用できる。ただし、そうした成果物は実際の調査に基づいていなければならない。
さらに、我々はAIツールによって組織内で調査結果が共有しやすくなる可能性にも期待している。多くの調査リポジトリツールに加え、Notionのような汎用知識ツールでも検索性の改善がすでに確認されている。
ステークホルダーは、キーワードのみで調査リポジトリを検索し、その後、タグやクリップ類、ハイライト表示されたメモの束をしらみつぶしに調べるのではなく、質問を投げかけるだけでよい。AIツールがデータを検索し、それを統合して、その質問専用に編集した答えを出力してくれるからである（この場合、AIチャットボットは実際に有効なソリューションとなる）。
これらの機能によって、調査結果がより活用されやすくなるだろう。しかし、チームはリサーチャーに連絡を取り、調査結果の意味、その限界、さらなる調査が必要かどうかについて、より詳細な説明を受ける必要があるかもしれない。
AIがあなたの仕事を代行することはできない
高品質なアウトプットを求めているのであれば、AIツールに自分の仕事をそのまま任せようなどとは考えないことだ。人間による監督、指導、レビューは依然として不可欠である。
現在のAIツールには多くの限界がある。しかし、インターン生と同様に、十分な指示やコンテキスト、制約を提示し、修正を加えていけば、AIはその能力を最も発揮することができる。
AIシステムの出力を再確認する手間は煩わしいが、それでも、このツールにはUX調査のワークフローを加速させる可能性がある。リサーチャーが急速に変化する作業環境についていくのに苦労しがちな現状において、これらのツールの重要性はますます高まっているのである。
