前回は、ユーザーテストのポイントと準備についてご紹介しました。今回はユーザーテストを実施する際の具体的な手順と、テスト終了後のヒアリングを中心としたプロセスについてご紹介します。
● ユーザーテストの実施と操作手順の記録
会場のセッティング、被験者への説明など、ひととおりの準備が終わればいよいよユーザーテストの開始です。
立会いのスタッフ、つまりみなさんは、被験者が操作をしている背後から、どのような操作をしているか、逐一メモを取っていきます。この際、スタッフの存在が被験者の視界に入るとどうしても被験者の動きが硬くなってしまいますので、できれば背後から観察することをお勧めします。
|
会議室を利用したユーザーテストの様子。写真では、立会いのスタッフが被験者のほぼ真横に座っていますが、実際にはもうすこし後ろに座るほうがよいでしょう
|
メモを取る際は、どこをクリックしたか、どのページを訪れたかといったアクションはもちろんのこと、しばらく操作せずにじっとしていた、といった動きについてもきちんと記録しておくようにします。こうした「操作上の空白」にこそ、ユーザビリティを改善するためのヒントが隠されていることが多いからです。
被験者の操作を事細かにメモする余裕がなければ、ビデオカメラを使い、操作の手順を記録しておくのもよいでしょう。また、最近では、デスクトップ上の動きをキャプチャできるフリーソフトもありますので、そちらを用いる方法もあります。当社が動作を確認している範囲では「CamStudio」「窓録~DesktopCam~」といったソフトが役に立ちます。窓の杜でも紹介されていますので、必要があれば検索してみてください。
このほか、これはテクニックの話になりますが、思考発話法とよばれる手法も効果的です。思考発話法というのは、被験者がいま考えていることを、なるべく口に出しながら操作してもらう方法のことです。「あれー、入り口はどこだろう?」とか、「どっちを選ぼうかなぁ」といった具合に、いま操作しながら考えていること、疑問に思っていることを言葉にしてもらうことで、メモを取る側としても理解しやすくなります。
● 被験者へのヒアリング
テスト終了後には、控えたメモをもとに、操作をリプレイしながらヒアリングを行ないます。例えば、「リンク先の内容は予想通りだったか」「動きがしばらく止まったのはなぜか」といった質問を、操作手順をリプレイしながら質問していきます。被験者の操作を録画していたのであれば、それを再生しながら質問すると効率的です。
これらのヒアリングを何人かの被験者について繰り返すと、徐々に共通項が見えてきます。例えば5人中5人が、単なる画像をボタンだと勘違いしてクリックした、といった具合です。そうなるとしめたもので、被験者の操作傾向を系統立てて記録できるようになります。これらが最終的なユーザーテストの結果として、レポートにまとめられるというわけです。
こうした傾向の中には、仮説通りの行動もあれば、事前にまったく予測していなかった行動もあります。スタッフの誰もが想像もしなかった箇所で、ほぼすべての被験者がつまづく、といったことも珍しくありません。主観的なヒューリスティック評価だけでは、なかなかリアルな問題点は発見できないのだということを、思い知らされる瞬間です。
なお、ヒアリング中に、被験者が具体的に「このように改善したほうがよいのでは」と具体的な案を出してくることがありますが、これはあまり重要視する必要はありません。被験者の「行動」はたしかに参考になりますが、改善案について、被験者の提示した案がベストであるとは限りませんし、それらについてユーザーテストを実施したとしても、その案が現行のサイトを上回るスコアを得られるとは限りません。むしろこれ自体が客観的ではない、主観的な意見ということになってしまいます。
特に、ITリテラシーが高い被験者を起用すればするほど、こうした傾向は顕著になりがちです。これらの改善案すべてを真正面から受け止めてしまうと、せっかく問題点が抽出できたにもかかわらず、リニューアルを行なう段階で方向性がブレることにもなりかねません。あくまでも「行動の結果」を重要視し、それ以外は参考意見のひとつとして、耳を傾けるのがよいでしょう。
● ユーザーテストの結果をうまく反映させるためには
最後に、ユーザーテストの結果を最大限に生かすための注意点を述べたいと思います。
せっかくユーザーテストを実施し、有益なデータが得られたにもかかわらず、最終的にWebサイトに反映できなかったということはよくあります。中でも、集まったデータを用いてサイトの運営スタッフやデザイナーを納得させることができず、そのままお蔵入りになってしまうのは、非常にありがちなパターンです。
一般的に、現行のWebサイトに慣れた人ほど、ユーザーテストの結果にはなかなか納得しようとしません。特に、自らがサイトのターゲット層に近いプロフィールを持つスタッフは、結果の妥当性を疑う傾向が強くあります。自分にとっては使いやすいのに、ユーザーテストの結果を見る限りそうではないのが不満、というわけです。
もし、意見が紛糾することがあらかじめ見込まれるのであれば、彼らスタッフを実際にユーザーテストに立ち会わせたり、ユーザーテストの様子を撮影したビデオを見せるといった「ショック療法」を試みるのがよいと思います。
実際、サイトのリニューアルに一貫して反対していたスタッフが、ユーザーが実際に操作している様子を見たことによって、180度意見を変えたというケースは珍しくありません。我々のような専門の業者でも、ユーザーテストを実施する際には、なるべくクライアントのキーマンや制作スタッフの方にお越しいただき、ユーザーテストに同席してもらうことで、納得度を深めてもらうように心掛けています。
もうひとつ、社内の説得に成功し、無事リニューアルも終了したものの、効果測定をないがしろにしていたために、せっかくの成果がうやむやになってしまうケースがあります。この場合、リニューアル前後のアクセス解析のデータを比較してみるのがもっとも確実ですが、同業他社を含めて再度ユーザーテストを実施し、リニューアル前後で相対的なスコアの比較を行なうのも効果的です。
例えば、リニューアル前は同業他社よりも「使いやすさ」「見やすさ」の項目が20ポイント低かったが、リニューアル後は同業他社よりも10ポイント高くなった、といった具合に、数値化して評価するわけです。項目別にアンケートシートを用意しておき、都度記入してもらうようにするとよいでしょう。
● その他:調査をアウトソースするという選択肢
以上、ユーザーテストのやり方をざっとご説明したわけですが、こうした調査そのものを、外部のコンサルティング業者にアウトソースするという考え方もあります。ここでは、ユーザーテストを含むユーザビリティ調査そのものをアウトソースするメリットを挙げたいと思います。
まずひとつは、コストの問題です。これまでの説明とやや矛盾して聞こえるかもしれませんが、充実したユーザビリティ調査を行なおうとすればするほど、工数は増大します。例えば、10人程度の被験者を起用してユーザーテストを実施する場合、立会いのスタッフだけで1人月程度の工期が必要になることも珍しくありません。これ以外にも、被験者のリクルーティングなど、簡単そうに見えて非常に骨の折れる作業も存在しています。
また、以前紹介したアイトラッキング(視線計測調査)を実施したい場合は、専門の調査機材が必要になるわけですが、これらの手配には数百万円ほどかかってしまうため、あらかじめ機材を保有している業者に調査を委託したほうが、コストは安くつくということになります。
メリットの2つめは、中立性の問題です。例えば、自社内でユーザーテストを実施して結果をレポートにまとめたとしても、社内の力関係によっては、やれ自分達に都合のいいユーザーを選んだのだろうとか、なかなか信用してもらえない場合があります。調査そのものを第三者にアウトソースすることにより、こうした指摘に対しても、反論の余地を持たせることができるようになります。
また、ユーザーテストの際、自社を含めた複数のWebサイトを対象とすることで、限りなくバイアスのかからない意見を得ることができます。というのも、社外でユーザーテストを行なえば、被験者から見てどのWebサイトが「本命」なのかわからないからです。これがもし、特定のクライアント企業の会議室でテストに回答するというシチュエーションであれば、どうしても信頼性の部分では不利にならざるを得ません。
最後に挙げられるのは、調査を行なう側の経験値の問題です。ユーザビリティ調査、特にユーザーテストの運営というのは、数をこなしてようやくコツがつかめる部分が多くありますので、1年に1回とか、半年に1回といったペースでは、一定以上のノウハウを獲得するまでには、相当の期間がかかってしまいます。
いわゆるWebコンサルティング業者に所属するユーザビリティの専門スタッフであれば、年間で100時間を越えるユーザーテストに立ち会っているはずですので、まずは彼らから手法を学んでみるというのは、現実的な解になると思います。
● まずはユーザーテストのメリットを体感してみよう
以上、ユーザーテストの運営方法と、自社で行なうメリット・デメリットについてご紹介してきました。
前述の通り、本格的なユーザーテストの運営は外部のコンサルティング業者に任せるのが現実的な解になると思いますが、ユーザーテストのメリットを体感するために、会議室と簡易な機材を使ってテストを運営してみるというのは、非常に価値があるものです。今回ご説明した方法を参考に、まずは一度ユーザーテストの運営を体験されてみてはいかがでしょうか。
2007/12/27 11:05
|
山口真弘 (株)NTTデータキュビット コンサルティング本部所属。Webユーザビリティのコンサルタントとして活動中。本職外ではテクニカルライターとしての活動歴も長く、PC Watch「電子辞書最前線」、Broadband Watch「気になる! itemズ」のほか、本誌エイプリルフール企画の執筆なども手掛ける。近著は「3分LifeHacking」。 |
- ページの先頭へ-
|