ヒューリスティック評価でなくエキスパートレビューと呼ぼう

このことについては既に他の場所で2009年8月に書いている(「ヒューリスティック評価法の99%は間違っている?」HCD-Net通信#15)。これは、2009年6月10日オレゴン州ポートランドで開催されたUPA 2009の「Heuristic Evaluation: Use and Abuse」というセッションの報告であり、このパネルセッションにはMolich, R., Soucy, K., Nielsen, J., Wilson, C.E.が出席していた。その資料はPDFとして読める筈なのだが、とても残念なことに配布されたDVDには収録されていないし、Google Scholarで検索してもでてこない。そのため、とても重要なパネルセッションだと思うのだが、前記の僕の報告くらいしか読めるものはない。まあ、比較的冷静にMolichとNielsenの対決を記述したつもりなので、ご参考までに一読していただきたい。

ヒューリスティック評価法については、既に良く知られているように、次のような10個のヒューリスティック(辞書には発見的教授法という訳くらいしか載っていないが、僕は経験則というように訳している)原則を念頭において、人工物の検査(インスペクション)を行い、ユーザビリティに関する問題点を摘出しようとする方法である。1990年にMolichと共に提唱し、後の1994年に改訂版が出されている。下記のものは1994年版のものである。

1. Visibility of system status （以下、編者訳： システム状態の視認性）
2. Match between system and the real world （システムと実世界の適合）
3. User control and freedom （ユーザーのコントロールと自由度）
4. Consistency and standards （一貫性と標準化）
5. Error prevention （エラーの防止）
6. Recognition rather than recall （思い出さないと使えないのではなく、見ればわかるように）
7. Flexibility and efficiency of use （柔軟性と効率性）
8. Aesthetic and minimalist design （最小限で美しいデザイン）
9. Help users recognize, diagnose, and recover from errors （ユーザーによるエラー認識、診断、回復を助ける）
10. Help and documentation （ヘルプとマニュアル）

なお、Wikipedia（英語版）の該当項目を見ると、Gerhardt-PowalやWeinschenk & Barkerによる原則も併記されている。

2009年のパネルセッションでは、こうしたヒューリスティックがきちんと評価段階で使われているのか、むしろ評価者の経験にもとづく直感的洞察によって問題発見がなされているので、それはヒューリスティック法と呼ぶよりは、エキスパートレビューと言うべきではないか、というMolichの主張が勝利を収めた形になっている。

最近でも「ヒューリスティック法」は良く使われているようで、まずそれによって問題点の粗出しを行い、それにもとづいてユーザビリティテストのタスク設計を行うというやり方も増えているようだし、ウェブ評価のように、ある程度評価範囲が限定されているものの場合には、熟練したユーザビリティ専門家であれば、ユーザビリティテストを行うまでもなく「ヒューリスティック評価」だけで評価を完了する、というケースも増えているようだ。簡易な形ではあるがユーザビリティテストを用いるペーパープロトタイピングすら時間的制約から簡素化し、代表的な画面について「ヒューリスティック評価」だけを行ない、画面の再デザインに進むというケースもあるように聞いている。

実践家の皆さんからは、言葉なんてどうでも良いじゃないか、活動が、実践こそが大切なのであって、それを何と呼ぼうと関係ないよ、という声が聞こえてくるような気がする。たしかにユーザビリティ「を」テストする手法のことを、ユーザ「を」テストする手法のように聞こえる「ユーザテスト」と呼んでしまうような人にとってはどうでもいいことかもしれない。しかし、あまりに実践だけを重視する行き方は僕には受け入れがたい。どういう手法をやったかを聞いたときに「ヒューリスティック評価」ですと言われても、それがニールセンの提唱した10項目のヒューリスティックを重視したものなのか、それとも(そういうことは既に頭の中に入っているし、それ以外の教訓も経験によって学んでいるユーザビリティ専門家が)直感的洞察にもとづいて評価したものなのかは、やはり結果の信頼度という意味で重要になる。

ただ、注意してほしいのは、後者の直感的洞察にもとづく手法は、かなりの程度、ユーザビリティ評価を経験した人の場合には妥当性があるが、ユーザビリティ評価をやりはじめてすぐの人がニールセンの10項目もきちんと頭に入れていない状態でやった評価の場合には、前者のやり方にもとづいた方法、つまりニールセンのオリジナル手法の方が信頼できるものだと考える。

まとめれば、初心者は「ヒューリスティック評価」をやるのが良く、熟練者はエキスパートレビューをやっていい、ということになる。そしてエキスパートレビューをやった時には、補足的情報として、ユーザビリティ評価の経験が何年程度の人間が何人参加して評価したかということを付け加えるべきだろう。

—
Original image: Nielsen, J. (1993). Usability Engineering . Academic Press