- 2010-01-15 (金)
- UI（インターフェース）
Webの世界ではもはや数値検証が当たり前になりつつありますが、その前提を揺るがすような最新事例を紹介したいと思います。
ソースは以前採り上げたA/B test.comです。
trudne.plというサイトのでは、ォーム画面についてのテストで、何と全く同じインターフェースを2つ用意し、50%ずつに振り分けて数値を比較するという試みを行いました。
その画面がこちらです。画面自体は、さほど代わり映えしないフォームですね。
![a[1]](http://www.fallinstar.org/WindowsLiveWriter/AB_EBE/a%5B1%5D_7475c3b5-3fd0-4dd5-990d-4c56a5d64a9b.jpg "a[1]")
ところが、この画面に約5,000ずつ程度のアクセスを集めてフォームのコンバージョン率を測定したところ・・・
全く同じ画面でA/Bテストを実施しても、差異が発生
以下が2つ（1つ）の画面の比較結果です。
- 画面1 7.1% Conversion Rate
（4963アクセス、350コンバージョン） - 画面2 5.8% Conversion Rate
（4952アクセス、285コンバージョン）
アクセスだけでなくコンバージョン数のサンプルも多く取っているにも関わらず、全く同一の画面から22.5%ものコンバージョンの違いが生じてしまったのが分かります。
もちろん確率で言ってゼロではないのですが、それにしてもこんな数字を見てしまうと、何が本当の成果なのか、判定しづらいですね。
いまき） 「部長、コンバージョンが15%上がりました！」
部長） 「誤差でしょ」
・・・・
うん、辛い。辛すぎる。
更に翌週に
いまき）「部長、コンバージョンが逆に-5%になりました！」
うん、このときは「誤差でしょ」で絶対に済まないんだろうな（汗
実は、プロジェクトでもこれに近い事例はいくつか持っていたのですが、ここまで明確なテストはしたことがなかったのも事実。
改めて数字の恐ろしさを実感させられた事例でした。
ちなみにたまたま社長が持っていたのがこの本↓。
はっきり言って初心者向けですが、ややっこしい統計は普段は必要ないと思うので、この位でもかじっておくと大分数字を解釈するための基本が理解できる感じでした。
オーム社
売り上げランキング: 9021
とっつきやすさがなにより 
マンガでもあなどれない 読みやすいのは何より 
何でこんなに評価が高いのか？ 入り口に連れて行ってくれます ■ 関連記事
最近のエントリー
Comments:2
- 衣袋 2010-01-15 (金) 10:23
-
こんにちは、衣袋といいます。
それは「誤差」でよいと思います。話がずれますが、例えばテレビ視聴率が20％という結果が出たとします（関東地区で600世帯がサンプルの場合）。このとき、統計的には95％の信頼性で、真実の視聴率は16.4％から23.6％の中にあります。つまり7.2ポイント（23.6-16.4）も幅があるわけです。蛇足ですが、％と％の差異は割って％で表現せずに、差を「ポイント」という表現を使われた方がよいと思います。
逆（上の例は真実を「推定」したことになります）にテストＡとテストＢの差異（ブログ内の例では7.1％と5.8％）が統計的に有意差があるかどうかを知るには、検定という計算を行います（こちらが「検定」）。
ということで、ブログ内での例に関しては、本当は検定の計算で有意差があるかどうかを計算すればよいということになります。そうすれば部長に対して「統計的根拠」で明確に答えられることになるわけです。冒頭にわかりやすく「誤差」といいましたが、正確には二つのテストの間に統計的な有意差があり、Aの方が優れているなどといいます。
ABテストなどの数量的テストを行う場合は、推定と検定について知っておくとよいでしょう。これは統計本で大抵書いてあります。私の専門はアクセス解析ですが、最低限の統計的知識は数字を分析する上で大変役に立ちます。テストも同じです。何をやるにでも数字の扱いに慣れていないと厳しい世の中になりつつあります。
ご参考になれば幸いです。
- Tomotaka Imaki 2010-01-15 (金) 17:34
-
衣袋さん
コメント＆詳しいご説明をどうもありがとうございます。
いまき自身は統計などは一通り知っており、実際に検定なども行うこともあるのですが実際には変動要素が大きく検定そのものが役に立たないことが多いのも難しい所ですね。
そもそも有意かを厳密に判断する暇があればA/Bテストを経験に基づいてある程度の見切りで繰り返す方が良いケースも多く、悩ましいとうかなんというか（汗
検定に足るデータを集めている間にとっととキャンペーンが終わってしまう、みたいな。（巨大なサイトであればいいんですけどね）
RSS Feed
Facebook