認知的ウォークスルーワークショップの実施方法
認知的ウォークスルーのワークショップの運営方法を、順を追って説明し、あわせて例とテンプレートも提供する。
認知的ウォークスルーは、システムの学習しやすさを評価するために用いられる手法である。ユーザーテストとは異なり、ユーザーの参加を必要としない（そのため、実施に比較的費用がかからない）。ヒューリスティック評価やエキスパートレビュー、PURE評価と同じく、さまざまなレビューアーの専門知識を利用する方法であるといえる。
認知的ウォークスルーは、個人で実施することも可能だが、ワークショップ形式でグループに参加して行うようにデザインされていて、評価者は新規ユーザーの視点から、高度に構造化された方法でタスクを実行しながら検証をしていく。
認知的ウォークスルーワークショップの準備
評価を開始する前に、前もって決めておかなければならないことがいくつかある。
参加者を決める
グループ評価では、さまざまな役割の2～6人の評価者が参加しなければならない。それぞれの役割によって、ウォークスルーに異なる視点がもたらされ、評価が包括的なものになるからだ。
以下は、認知的ウォークスルーワークショップで評価者候補に挙げたい対象者の（非網羅的な）リストである。
- 製品エキスパート、つまり、テスト対象の製品を熟知している人。たとえば、そのシステムに携わってきたUXデザイナーやプロダクトオーナーなど。
- ヒューマンコンピュータインタラクションや認知科学に関する豊富な知識をもつUX実践者を1名以上。この評価は、インタフェースに直面したときにユーザーがどのように考え、行動するかについて検証することを目的としているため、彼らの知識はその判断を下す際に役立つ。こうした専門家が評価対象のシステムを直接操作してもよいが、そうしなければならないわけではない。
- エンジニア。システムを構築している人に認知的ウォークスルーに参加してもらうことで、別の視点がもたらされるし、エンジニアの間にもユーザーエクスペリエンスに対する当事者意識が生まれる。この分析セッションは、エンジニアがUXの重要性を学び、今後の実装作業で考慮すべき重要事項を見つけることにも役に立つ。
- ドメインエキスパート、つまり、製品が運用される領域の専門知識を提供してくれる人。たとえば、金融や保険といった複雑なビジネス分野向けのシステムの場合は、そうした分野に精通している人に参加してもらうことを検討しよう。
インプットを定義する
認知的ウォークスルーセッションの準備をする場合には、まず評価の条件を定義する必要がある。ウォークスルーを始める前に、答えを出しておかなければならない質問は以下の4つである：
1. どのようなユーザーの視点から評価するのか
システムのユーザー層が一般的なものであっても、そのインタフェースのユーザーに対して設定しているコンテキストがハイレベルなものである場合は、この手法が最も効果的だ。そのため、そうしたウォークスルーでは、根拠としてユーザーペルソナを利用する必要がある。ペルソナを設定していない場合は、ウォークスルーで使うために（そして、システムの開発のため、というより広い意味で）ペルソナを作成することを強くお勧めする。
ペルソナがあれば、あるタイプのユーザーの態度、信念、予備知識、一般的な行動に関する基本的な情報を入手することができる。こうした情報によって、ユーザーがそのインタフェースを理解するかどうか、そして、どのように行動するのかを判断できるようになり、評価者が想像上のユーザーに基づいてコメントする、というリスクを減らすことができる。ウォークスルーはそれぞれのペルソナごとに実施することになる。
2. どのようなタスクを分析するのか
Webサイトやアプリケーションは、通常、多数のユーザータスクをサポートしている。ウォークスルーでは、サポートされているタスクを一度に1つずつ検証していくので、どんなタスクが最も重要であるかを決めておく必要がある。どのタスクがそのシステムの中核的なアクティビティであるか、つまり、多くのユーザーが実行するタスクか、あるいはユーザーのエラーが致命的になったり、生命を脅かす結果になるような非常に重要なタスクなのかということをよく考えよう。
3. タスクを完了するための正しい手順はどのようなものか
タスクを実行するためにインタフェースで行う必要のある基本的なステップのリストを定義しよう。
ここでは、Webベースの経費報告アプリケーションであるCertifyのサンプルタスクを例とする。我々が実施しようとしている認知的ウォークスルーでは、以下のようなインプットと手順を設定した。
- ペルソナ：Pamela。会社の新入社員。
- タスク：Pamelaは、経費報告書の経費が重複しているというエラーを解決する必要がある。
- 手順：Pamelaはすでに最初の経費精算書を作成しているものとする。
以下は、彼女のタスクの正しい手順である。そこではユーザーがフォームに記入したり、ページを確認して「次へ」をクリックしたりするために何回かのアクションが必要だが、評価を効率的に行うために以下のアクションを1つのアクションとしてまとめることにする。
こうした手順は、ウォークスルーで参照できるようにわかりやすくメモにしておこう。
アクティビティによっては、完了までの経路が複数あるため、第一の経路を設定し、その後、代替経路を定義する必要があるかもしれない。そうしたステップとそのバリエーションは、事前に正式に定義しておき、ウォークスルー中の議論によってグループが脱線しないようにするといいだろう。
4. どのバージョンのインタフェース（プロトタイプ、ライブサイトなど）を評価するのか
認知的ウォークスルーは、新しいシステムの開発中に行われることが多く、ペーパープロトタイプからクリック可能な機能プロトタイプまで、さまざまなレベルの忠実度のプロトタイプに対して実施することができる。また、既存のシステムに対して実施し、アイデアを引き出したり、改善の機会を特定したりすることも可能だ。とはいえ、インタフェースの忠実度によって、評価の範囲が制限されるのは明らかだ。たとえば、紙のプロトタイプでは、そのアクティビティに対する色やリアルな画像の影響を評価することは不可能である。
役割とルールを設定する
認知的ウォークスルーは、うまく運営されているほとんどのワークショップと同様、明確なルールと参加者の役割分担を必要とする。評価セッションが開始されてから、役割とルールについて話し合うことも可能だが、ワークショップの前に決めておけば、評価の時間を最大限に利用することができる。
主な役割
- ファシリテーター：ファシリテーターが、通常、セッションを主催する。このメンバーは、各参加者がセッションのための準備ができていることを確認する責任があり、議論が会議の目的とルールに沿ったものになるようにし、セッションをできるだけスムーズに進行していく。
- プレゼンター：プレゼンターの仕事は、グループ全員がプロトタイプを見ることができるようにすることで、ユーザーの代理となって、ユーザーがこうするだろうとグループで判断したとおりにインタフェースの操作をする。ファシリテーターが、必要に応じて、プレゼンターを兼ねることもある。
- 記録係：記録係は、認知的ウォークスルーの議論のアウトプットと、より大きなグループによって行われた判断を記録する。また、このメンバーはセッション終了後にグループの調査結果のまとめも行う。
- 評価者：会議参加者のほとんどが評価者になる。ファシリテーターやプレゼンター、記録係も評価者になることができる。評価者は、プレゼンターやファシリテーターの指示に従い、認知的ウォークスルー手法に則って定義した覚え書きの書式（この記事の後半で説明する）に回答することによってインタフェースを評価する。
基本原則
ワークショップを効率的に進め、タスクに集中しつづけられるようにするために、評価者の基本原則を説明しよう。ワークショップを実施していけば、どのような基本原則が自分たちのチームに適しているかがわかってくるものだが、まず知っておくとよいと思われる重要な原則を以下に列挙する：
- 議論では、既存のエクスペリエンスに対するユーザーの反応に焦点を絞る必要がある。ウォークスルーセッションは、ブレーンストーミングやデザイン変更の提案を行う時間ではない。
- そのインタフェースデザインの背後にある理由についての正当化や議論を、参加者はしてはならない。
- セッション中、参加者はノートパソコンは閉じたままにし、マルチタスクをしないようにする。
ファシリテーターは、参加者全員がウォークスルー中にこの基本原則を忘れないようにする必要がある。
資料を収集し、調査の段取りをする
ファシリテーターは、以下の資料をセッションで使えるようにしておく必要がある：
- 評価するプロトタイプと、それをグループにどのように提示するかの計画。
- 分析対象のタスクの正式な手順。これは評価するタスクごとにメモにして配布するか、プレゼンターが提示する必要がある。
- 評価に使用するペルソナ。これも各参加者に資料として配布することを検討しよう。あるいは、セッションの開始時に、ファシリテーターが該当のペルソナについて簡単に説明することにする。
- ウォークスルーの結果を記録するための資料（この記事の後半で説明する）。
認知的ウォークスルーの実施
- セッションの最初に、参加者に簡単な説明をする。ワークショップの目的と、どのペルソナのためにどのタスクを評価するのかを説明しよう。基本原則を確認し、分析の役割分担について話し合うか、それを割り当てる必要もある。
- ウォークスルーを開始する前に、顧客セグメントまたはペルソナを確認する。ここで、そのアクティビティに取り組む際に、ユーザーがどんな関連知識を事前に持っていると思われるかを議論しよう。
- タスクを紹介し、あらかじめ定義しておいたそのタスクを成功させるための手順（アクションシーケンス）について参加者に簡単に説明する。
- そのタスクを実行しながら検証をしていく。ファシリテーターとプレゼンターに従い、事前に定義しておいた手順をグループで1つずつ確認し、（以下で説明するように）成功か失敗かを判定していこう。
各アクションが成功か失敗かを判定する
評価者の目標は、あらかじめ定義しておいた手順の各ステップで、ユーザーが成功する可能性が高いかどうかを判定することだ。また、その判定の理由も文書化する必要がある。
ユーザーが成功する可能性が高いかどうかを判定するために、評価者は各ステップで以下の4つの主要な質問（分析基準）について議論する必要がある：
- ユーザーは、正しい結果を出そうとするだろうか。
- ユーザーは、正しいアクションが行えることに気づくだろうか。
- ユーザーは、正しいアクションと、達成しようとしている結果とを関連づけられるだろうか。
- アクションの実行後、ユーザーは、目標に向かって前進したということがわかるだろうか。
ウォークスルー中の記録作業を効率化するには、あらかじめ定義しておいたタスクの手順の各ステップで記録ツールやテンプレートを活用すると効果的だ。以下は、グループでの判断を手作業で記録する際に使うことを推奨したい印刷可能なテンプレートである。このテンプレートとそのデジタル版は、この記事の最後でダウンロードできるようになっている。
記録係は、最重要なタスクと、その具体的な各ステップについて記入をしていく。そして、4つの分析のための質問について、適切な答え（「はい」または「いいえ」）にそれぞれチェックマークを入れる。各質問に対して、グループは、なぜそれが正しい答えであるかを説明できるようにしておく必要がある。
- 答えが「はい」の場合、各質問には成功する場合の一般的な理由がそれぞれいくつかある。そこで、記録作業を効率化するために、テンプレートの「はい」の欄にはそうした一般的な理由がすでに記載されている（例：「経験から」、「システムがそうするよう指示した」など）。そうした理由のうちの1つが当てはまる場合は、記録係は、単にその該当する理由を丸で囲めばよい。理由がここに出ていないものである場合、記録係は、「はい」の下のセルにそう判定した理由を書き込む必要がある。
- 答えが「いいえ」の場合、記録係は、同様に、グループでそう判定した理由を具体的に書かなければならない。
以下で、先ほどの経費報告書の例の手順にある3つのアクションのうちの2つについて、評価テンプレートをどのように記入するかを示す。
最後に、記録係は、右上隅にあるステップの総合的な成功/失敗の判定を丸で囲む。ステップを総合的に「成功」とするには、4つの分析基準の「はい」の欄のすべてにチェックが入っている必要がある。一方、ステップを「失敗」とするには、4つの基準に「いいえ」が1つでもあればよい。
手順のいずれかのステップでユーザーが失敗するだろうとチームが判定を下した場合は、そこでの問題点を記録して、現ステップが成功したかのように次のステップの分析に進む。つまり、システムからは正しいアクションに対するフィードバックが返され、その結果、今のシステムの状態は成功したアクションに対応したものになっていると想定するということだ。（このやり方を取ることで、認知的ウォークスルーの1つのステップで問題が特定されたとしても、それ以降のステップを引き続き分析することができる）。
| アクション | 判定 |
|---|---|
| エラーとなった経費のうちの1つで、「！」アイコンの横にある「プレイ」アイコンを選択する。 | 失敗 |
| 「経費の統合」リンクを選択する。 | 成功 |
| 「確認」モーダルで統合を承認する。 | 成功 |
認知的ウォークスルーセッションの所要時間
認知的ウォークスルーセッションの長さは、ファシリテーター、参加者、分析するタスクの複雑さによって決まる。一般的には、90分間のセッションで2つのタスク全体を評価することが可能である。
アウトプットと次のステップ
グループが定義したタスクの各ステップを評価しおえたところで、ワークショップは終了する。記録係は、各タスクの記入済みのテンプレートを共有可能な形式にまとめなければならない。さらに、セッションのファシリテーターは、セッションの調査結果全体を要約し、作業を追跡するために使用するプロジェクト管理ツールで、特定された改善点を追跡していくべきである。
リソース
- ステップの印刷用テンプレート（日本語PDF）
- Googleフォーム版（英語）
参考文献
Clayton Lewis, Peter Polson, Cathleen Wharton, John Reiman. 1990. Testing a Walkthrough Methodology for Theory-Based Design of Walk-Up-and-Use Interfaces. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ’90), April 1-5 1990, Seattle Washington USA, Association for Computing Machinery, New York, NY, 235-242, https://dl.acm.org/doi/10.1145/97243.97279
Cathleen Wharton, John Reiman, Clayton Lewis, Peter Polson. 1994. The cognitive walkthrough: A practitioner’s guide. In Jakob Nielsen, Robert L. Mack (ed.) Usability Inspection Methods, John Wiley & Sons Inc, New York, New NY. DOI: https://dl.acm.org/doi/book/10.5555/189200
