迷信的ユーザビリティ
インターネットで成功するための重要な要素としてユーザビリティが認知されたのはよいことである。今では、業界カンファレンスの講演者も、「Coolなサイト」を作るよりも、ユーザ体験のよしあしの方が重要だと言うのが普通になった。
だが、悪いニュースもある。ほとんどのサイトが、真のユーザビリティにつながらない間違った方法論を導入しているのだ。中にはまったく意味のない方法論もあれば、間違いの元になるようなものもある。
意見ではなく利用状況を
伝統的なマーケットリサーチの方法論は、ウェブでは通用しない。根本的な問題として、ユーザが何を求めているか聞くことができないし、また彼らの回答が、実際に接続状況に入ったときの行動と関連があるという期待もできないということがあげられる。
フォーカスグループは、そのまま間違いにつながりやすい。サイトでどんなものが見たいかテーブルを囲んで話をする時には、表面的な事項に話題が集中し、アニメーションやFlashによる特殊効果といった派手な機能を賞賛しがちである。ところが、同じユーザーに実際に課題を与えてそんなサイトを利用させてみると、アニメーションを見ている人なんかほとんどいないし、Flashの特殊効果は役に立たないどころか、邪魔にさえなっているとわかるのだ。
自己申告のデータが特に信用できないのは、次の3ポイントで現実とかけ離れてしまうからである。
- ユーザは、あなたが欲しがっている回答、あるいは社会的に許容されるような回答をする（グループの中では特にそうである）。
- ユーザは、覚えていることしか話してくれない（が、記憶というのは実にあてにならないものだ。インタラクション行動の細かい点については特にそうだ）
- ユーザーは、実際どうだったかということではなく、自分でそうと思い込んだことしか話してくれない。後から何か思い起こす時には、自分の行動を合理化したくなるものだ。本人が意識しないでとっている行動もある。
サーベイは、単なる世論調査に過ぎない。業界の報道ではサーベイ結果をしょっちゅう掲載しているが、弱点のある方法論であることにかわりない。フォーカスグループといっしょで、そこで得られる結果は真実から3段階離れてしまう。例えば、Zona Researchの調査で、ウェブ上で製品を見つけるのに多少困難を感じる、あるいは非常に困難を感じると答えた回答者が28％いたという結果がよく引用される。本来なら、意見調査の結果など引用してはならないということはわきまえているべきだったのだが、私でさえ、この結果を引用したことがある。だが、実際の現実世界でユーザ行動を観察してみれば、探している製品情報にたどりつけるユーザは半数に満たないことがわかるだろう。独立して行われたいくつかの調査でも、同様の結果が得られている。平均的なユーザーは、今日のウェブ上では探しているものにたどりつけない。
どうしてこんな矛盾が起こるのだろう？探しているものが見つけられない人は50％以上いるのに、この問題を報告している回答者は28％しかいないのだ。同様に、意見調査の対象となった人のほぼ100％は、買い物をしようと訪れたウェブサイトで肝心の商品が見つからなかったことがあると答えている。だが、その商品は初めから取扱っていないんだと判断して途中であきらめてしまった場合もあるだろうし、よく探してみなかった自分が悪いんだと思い込んでしまった可能性もある。あるいは、他のサイトで見けたのかもしれない（当然、最初のサイトは売上を逃してしまったことになる）。そうだとすると、実際には最初のサイトで製品を見つけられなかったにもかかわらず、そのことは棚に上げて、ウェブ体験は成功だったと思っている可能性がある。ところが、彼らが覚えているのは、最終的にうまくいったということだけなのだ。
ユーザのパネル調査で、ウェブサイトをチェックしてもらい、解答用紙に意見を書き込んでもらうというやり方は、特に間違いの元になる。この手法には、方法論的な難点が3つあるのだ。
- ユーザは、お金をもらってプロのコメンテーターになる契約を結んだ人から選ばれている。あなたの顧客には、そんな活動に参加する余裕のある人はほとんどいないはずだから、代表者としてはふさわしくない（学生や失業者を対象にしたサイトでない限りは）。
- 頼まれて何かをチェックするというのは、それを使って現実のタスクを達成しようというのとはぜんぜん違う。そのタスクがたとえ仕事（ロンドンへ打合せに行く上司のために航空チケットを予約する、など）に関連のないことや、レジャー関係（ヨーロッパのお気に入りの町で休暇を過ごすために格安チケットを探す）のことであっても同じことが言える。
- 自己申告の行動や意見は、現実の行動やユーザビリティ問題とはほとんど関係がない。
とはいうものの、簡単な調査で単純な質問をすることは有益である。例えば「このサイトに来たのはどうしてですか」というような、デザイン評価というよりも、ユーザの意見に関連する質問がそうだ。
自動化手法は役に立たない
この他にも迷信的なサービスの一種として、サイトにコンピュータプログラムをしかけ、自動的にサイトのユーザビリティを測定して、レポートを生成するというサービスがある。
コンピュータにリンクを追跡させ、クリックの回数を数えたところで、ユーザが実際に探しているものを見つけられるかどうかを調べたことにはならない。本当のユーザビリティとは、どのリンクをクリックするか、間違ったリンクをクリックしたとき、どれくらいすぐにその間違いに気がつくかということなのである。こういうことはコンピュータでは調べられない。プログラムを使えば、ソリューションに至る最短距離は測定できるかもしれない。だが、平均的なユーザは、そんな行動はとらないのだ。メニューに間違った単語がひとつあるだけで、ユーザは5分間、立ち往生するかもしれない。永久に抜け出せないことだってありうる。
クリック回数を測定するというような単純なやり方は、間違いの元だ。例えば、最近私はEコマースサイトのアドバイスをしたが、そこではある特定の製品を見つけられることが求められていた。もともとのデザインでは、製品ページはホームページから3クリックで到達できた。修正後のデザインでは、さらに1クリック必要になった。にもかかわらず、修正後の売上は7倍に伸びた。各ステップが、完璧に直感的なものになったからだ。1クリック増えたにも関わらず、修正後のデザインの方が速い。どこをクリックしたらいいのか、ユーザがすぐに判断できるようになったからだ。さらに重要なのは、ユーザが、望みどおりの製品にたどり着く確率が高くなったことだ。元のデザインでは、非常に間違いが多かった。このようなユーザビリティ上の発見があったにも関わらず、自動評価だと、元のデザインの方が高く評価されたはずだ。ある選択肢に意味があるかどうかは、プログラムでは判断できないことのひとつである。
他にも、自動的「ユーザビリティ」サービスで算出される指標として、更新されたページのパーセンテージというのがある。だが、ファイルのタイムスタンプを見ただけで、サイトがアップトゥデートなものになっているかどうか判断はできない。90％以上のコンテンツが1年以上前のものであっても、この上なく新鮮ということもありうるのだ。恐らく、現在のコンテンツを補足するために、良質のアーカイブを維持しているということなのだろう。日刊新聞のサイトであり、世界でもっとも新鮮なサイトであるにも関わらず、今やnytimes.comで「最新」のページが占める比率は、恐らく1％以下になっているだろう。反対に、ほとんどのページを最近更新していても、サイト自体が陳腐ということもある（ユーザにとって意味のある方向に向けた更新でないと、役には立たない）。
この2タイプの古いファイルを見分けるにはどうしたらいいのだろうか。
- 今なお価値があり、アーカイブしておくべき優れたコンテンツ
- 消去するか、あるいはアップデートすべき時代遅れのコンテンツ
コンテンツの中身や将来の利用状況についての理解抜きに、このどちらかを判断することはできない。自然言語を完璧に理解できるシステムを用いても、コンピュータでこの判断ができるようにはならないだろう。
ユーザビリティを機械任せにしようとするのは、まぎれもなく危険な行為である。サイト管理者は、以下のような過ちに陥るだろう。
- 得られるアドバイスに間違いが多いので選択を誤り、一見大事そうでいて実はそうでない方向に逸れてしまう
- すっかりできたつもりになって、本物のユーザビリティ活動がおそろかになってしまう。
何なら自動化できるのか？
さまざまなユーザビリティ活動の中には、コンピュータプログラムを使って自動化できるものも少しはある。
- レスポンス時間：ダウンロードにかかる時間を調べるのなら、そのページを見たり読んだりする必要はない。だから、コンピュータで完璧にレスポンス時間を予測できる。しかしながら、最近のほとんどのサイトは信じられないくらい遅いので、ミリ秒単位で測定する必要はまったくない。レスポンス時間測定サービスに巨費を投じるかわりに、あなたの会社のCEOに頼んで、次の出張の時に、ホテルの一室からラップトップを使ってログインし、ホームページをダウンロードしてもらえばいい。この簡単な実験をするだけで、サイトがあまりに遅いこと、デザインをもっとスリムにしなければならないことが誰にでも理解できるだろう。
- HTML検証：コンピュータを使えば、文法違反のHTMLはすぐに見つかるし、Web Consortiumの公式標準からどれほど逸脱しているかも理解できる。残念ながら、；多くのサイトはブラウザのバグを回避するために、文法を無視するという手段に出ている。このため、特定のHTMLが意図的に間違えてあるのか、それとも単なるミスなのかは、人間が判断するしかない。
- まず思いつくのはリンク切れのチェックだろう。コンピュータでリンクをたどってみて、相手サイトのページが存在するかどうか調べることはできるだろうか？残念ながら、リンク先から引っ張ってきたページが、著者の意図したリンク先かどうか、コンピュータには判断できない。記事をアーカイブに移動するとURLが変わり、元のURLは新しい記事に差し替えるというサイトがある。大間違いだ。こんなやり方では、他のサイトがリンクするのがたいへんだ（外から入ってくるリンクはもっとも有力なウェブマーケティング手法である）。もしあるサイトがこの方式でURLを変えていたら、リンクチェックプログラムはリンク先が存在すると判断するだろう。だが、リンクの先にあるものは、まったく無関係なものに入れ替わっている。自然言語が理解できるようになるまでは（50年でできるかな？）、リンク先のページが著者の意図した通りのものであるかどうか、コンピュータでは判断できない。
- 障碍者のためのアクセシビリティは、部分的にしか評価できない。確かに、画像すべてにALTテキストがつけてあるかどうかといったことは、コンピュータにもチェックできるだろう。だが、そのALTテキストが、目の不自由なユーザーがサイトの内容を理解する上で意味のあるものになっているかどうかはわからない。また、中には特定の画像にはALTをつけない方がかえって使いやすくなるページもある。このように、アクセシビリティを自動的に評価する手法は、あくまでもチェックリスト的に使えるだけで、最終判断には使えない。
ユーザビリティデータを集めるには
ユーザビリティデータを集める上で有効な方法はひとつしかない。実際のユーザーが、あなたのサイトを使って現実的課題を達成しようとする様子を観察するのだ。実際、これ以上シンプルなやり方はない。何が起こるか見てみよう！
恐らく、あまりにも簡単すぎて、かえってなかなか利用されないのだろう。ともかく、ユーザビリティに関する本物の洞察が、実に簡単に得られる。コストも非常に安価だ。主なユーザビリティ問題を発見するには、少人数のユーザをテストするだけでいいからだ。
1999年12月12日
