UXにおけるクリティカルインシデント法

クリティカルインシデント法とは、重要な出来事や行動についての気づきを、それを直接経験した人々に思い出してもらい、体系的に収集する調査手法である。

クリティカルインシデント法(CIT)は、重要なインシデントに関する豊富な定性情報を、それを直接経験した観察者から得るための体系的な手順であり、リサーチャーが個人やプロセス、システムのクリティカルな(結果を左右する重要な)要件を理解するのに役立つ。

定義:クリティカルインシデント法(CIT)とは、調査参加者に、ある振る舞いや行動、出来事が特定の結果(たとえば、特定のタスクの達成など)に(プラスまたはマイナスの)影響を与えたときのことを思い出して説明してもらう、という調査方法である。

参加者が報告する事例を「インシデント」という。そのインシデントが重要であるためには、参加者が、その出来事は結果と因果関係があった、と確信していなければならない(この点が調査の焦点である)。クリティカルインシデント法の質問の例を以下に示す:

「あなたが取り組んで成功したアジャイルプロジェクトのことについて思い出してください。誰かが何かをしたことによって(またはある出来事によって)プロジェクトの成功にプラスの影響があったときのことを説明してください」

この調査方法は、1954年にJohn Flanaganが『Psychological Bulletin』に発表した影響力の大きな論文の中で、社会科学に正式に紹介された。この手法は、第二次世界大戦中に米国陸軍航空隊航空心理学プログラムのFlanaganと同僚の心理学者によって、そして後に米国研究学会とピッツバーグ大学によって実施された数多くの調査で、開発され、改良されたものだ。Flanaganの論文が発表されて以来、CITは社会科学で広く利用されるようになり、ヒューマンコンピュータインタラクションの調査にも応用されている。「インシデント」(行動や出来事)の詳細な情報の収集が可能だからだ。こうした詳細情報は、役割やシステム、プロセスの重要な要件を理解するのに有用である。たとえば、CITは、成功した人材(リーダー、看護師、医師、航空管制官など)の特徴や、プロセス(トレーニングプログラムやサービスなど)やインタフェースの重要な要件を浮かび上がらせるためにも用いられている。

UXでは、CITはユーザーインタビューでよく利用される。しかし、重要なインシデントは、アンケートやフォーカスグループ、構造的な日記調査を利用してとらえることも可能だ。Flanaganは、リサーチャーがエスノグラフィックな形式で調査を実施した場合にも、重要なインシデントを記録できると考えていた。とはいえ、この考え方をどのように調査として実施するのかについては、これまでほとんど論じられてきていない。

クリティカルインシデント法を利用すると、ユーザーインタビューの定番である、例を聞くタイプの質問とはやり方が少し異なってくる。以下の表は、従業員が企業向けツールを利用したときの経験を知るために、彼らに聞く質問を示したものである。クリティカルインシデントについての質問と例を聞くタイプの他の質問との比較になっている。

参加者への質問 質問の種類
「仕事でこのツールを利用したときのことについて教えてください」 例について聞く質問:参加者は、例を提供するように依頼されるが、リサーチャーからはどのような例なのかについての指示はない。ここでの回答は、参加者の頭に浮かんだものであれば何でもよいということになる。
「仕事で最後にこのツールを利用したときのことについて教えてください」 具体例について聞く質問:参加者は、直近の例について説明するように依頼される。これは重要なインシデントである必要はなく、単に最新のものであればよい。
「仕事でこのツールを利用したときに、このツールによって作業がうまくいったときのことを教えてください」 クリティカルインシデントについての質問:参加者は、タスクの達成に重要だった具体的なインシデントを思い出すように依頼される。

通常、クリティカルインシデントインタビューでは、参加者は各インシデントを説明する前にそのことについて思い出すための時間を与えられる。想起には時間がかかるものだからだ。また、インタビュアー側も、インシデントについての十分な事実情報を引き出すためのフォローアップ質問のスクリプトを慎重に用意しておく。インタビューは以下のような感じになる:

「次の一連の質問では、仕事でこのツールをどのように利用しているかに焦点をあてて答えてください」。 インタビュアーが調査のポイントを紹介
  • 「このツールを使ってどんなことをしますか」
  • 「このツールをどのくらいの頻度で利用しますか」
  • 「このツールをどんなときに利用しますか」
ツールの利用条件の確認
「ツールを利用したときに、それによって仕事で良い結果が得られたときのことを教えてください」 クリティカルインシデント(プラス方向)
  • 「そのとき、どのようなタスクをしていましたか」
  • 「なぜこのツールを利用することにしたのですか」
  • 「このツールが効果的だったのはどのような点ですか」
明確化のための質問
「他にも、このツールを利用していて仕事で良い結果が得られたときのことで思い出すことはありますか」 さらにインシデントを探求
「では、逆に、ツールを利用していて、そのために仕事に支障をきたしたときのことを教えてください」 クリティカルインシデント(マイナス方向)
  • 「そのとき、どのようなタスクをしていましたか」
  • 「なぜこのツールを利用することにしたのですか」
  • 「このツールが役に立たなかったのはどのような点ですか」
明確化に関する質問
「他にも、このツールを利用していて仕事に支障をきたしたときのことで思い出すことはありますか」 さらにインシデントを探求

一般に、リサーチャーが重要なインシデントを探し求めている場合、参加者は結果にプラスの影響を示す出来事とマイナスの影響を示す出来事を両方求められる。こうした質問は、上記のインタビュー例のように、通常は別々におこなわれる。しかし、場合によっては、リサーチャーはプラスの事例とマイナスの事例の依頼を同時におこない、どちらのインシデントの話から始めるのかを参加者に選ばせてもよい。別々に尋ねる場合は、建設的に始めるために、プラスのインシデントを尋ねることから始めるのが一般的である。

クリティカルインシデント法を調査に利用すると、各参加者から多数のインシデントが寄せられる。何百もの(ときには何千もの)インシデントが多数のインタビューを通じて収集され、その結果、コーディングが必要になる可能性も十分にある。コードがしっかりといっぱいになれば(たとえば、各コードに多くのインシデントが存在すれば)、リサーチャーは調査対象のコア要件を文書化できたとかなり自信をもってよい。先ほどの企業向けツールの例でいうと、こうした要件には、アクセスの容易さ(ユーザーがツールをすばやく見つけて開くことできる必要がある)、応答性(ツールはすばやく応答する必要がある。たとえば、「自動保存」によってユーザーのスピードを低下させてはならない)、更新が邪魔にならないこと(更新によって、作業中のユーザーの邪魔をしてはならない)などが該当するかもしれない。

クリティカルインシデント法の利用の良い点と悪い点

この方法には、いくつかの利点がある一方、ユーザビリティ調査には大きなデメリットになる点もある:

良い点

  • システムの課題をすばやく発見できる。
  • インシデントを長期間にわたってとらえることができる。参加者は、覚えている限りは、過去にさかのぼることができるからだ。その結果、インシデントの期間は数年に及ぶこともありうる。これは時間的な制約があることの多い観察調査に勝る利点である。
  • まれだったり、めったに見られないインシデントに関する情報をとらえることができる。ドメイン内でユーザーを観察しても、重要なインシデントを必ずしも目撃できるとは限らない。そうしたインシデントはまれだし、めったに見られないからだ。CITを利用すれば、こうしたインシデントを発見することが可能である。
  • 重要度の高い課題が強調される(あまり重要でない課題よりも)他のほとんどの方法では、通常、重要度の低い課題が多数収集される。単純に、重要度の低い課題のほうが数が多い傾向にあるからだ。もちろん、報告されるすべてのクリティカルインシデントが実際に重要であるという保証はない。しかし、重要な出来事のほうが重要性の低いインシデントよりも想起されやすいものだ。
  • 適応性がある。CITは、インタビューやフォーカスグループ、アンケートに適用可能である。

悪い点

  • 記憶と純粋な想起に依存する。記憶は当てにならない。そのため、詳細が抜けてしまうことは多いし、重要なインシデントが忘れられている場合もある。また、参加者の中には、思い出すこと自体が、特に対面の場合、困難だったり、ストレスさえ感じる人もいる。
  • 典型的な利用法を示すものではない。多くの場合、参加者は極端な出来事は思い出す。しかし、CITのインタビューで、ユーザビリティのちょっとした課題や典型的な利用法が言及されることはほとんどない。

クリティカルインシデント法を利用するかどうかを決定する際には、調査目標が何であるか、そして、その達成にユーザビリティテストや現場での観察のほうが適していないかどうかをよく考えよう。調査でクリティカルインシデント法を利用する場合は、どのようなタイプのインシデントについて知りたいのかを確認するとよい。時間をかけてインタビュースクリプトを作成し、それのパイロットテストをして、質問が指示的すぎないか、あいまいだったり、不明瞭だったりしないかを確認しよう。(ついでながら、研究者の調査では、クリティカルインシデントの質問で利用する言葉の種類を変えると、想起されるインシデントの種類に影響があることが明らかになっている。したがって、参加者を誘導しないやり方を慎重に検討する必要がある)。また、既存のインタフェースの利用方法やその問題点については、コンテキストインタビューユーザビリティテストなどの観察調査をおこなうと、いつでも詳しく知ることができる。

要約

クリティカルインシデント法(CIT)は、人やシステム、プロセスに対する重要な要件を明らかにするのに有用な方法論である。CITを利用する際は必ず、調査したいインシデントの種類を明確にし、インタビュースクリプトを準備し、それのパイロットテストを実施しよう。そして、CITのインタビューやフォーカスグループ、アンケートは、観察調査(コンテキストインタビューやユーザビリティテストなど)で補完すると、システムや製品、サービスのユーザビリティを正確に把握することができるだろう。

参考文献

Flanagan, J.C. (1954). The Critical Incident Technique. Psychological Bulletin, 51(4), 327-357.