生還した戦闘機が教えてくれること ～ 選択バイアスの罠

久しくご無沙汰しておりました。
書くネタ自体は山ほどあるんですが、本業が凄い勢いで動いているのでそっちに集中していましたです。

さて、たまには分析チックなお話を。統計でガチガチの石頭になってしまわないように、常に僕が気をつけていることの1つが「選択バイアスの罠」です。

生還した戦闘機、しなかった戦闘機

あ、ちなみに、いまきは別に統計や分析の（アカデミックな意味での）専門家ではないので、そのあたりはご容赦を（汗

時に1940年ごろ。
世界は第二次世界大戦の真っ只中です。

統計学者のエイブラハム・ワルドという方が戦闘機の脆弱性について調査していたそうです。

帰還した戦闘機の大量のデータが彼の元に届きます。

「入手したデータどれもが、戦闘機のある部分の被弾頻度が他の部分よりも過度に多いことを示していた。」

さて、ここからどういう結論を導けばいいのでしょうか？
（ちょっと立ち止まって考えてから読んでもらうといいかもしれませんです、えぇ）

どこを補強する？

で、このデータ結果を見た軍関係者は、みんなこういう結論を出しました。

「この被弾しまくっている場所が弱点だ。そこを強化しよう！」

まぁ、そういう結論になりやすいだろうなと思います。
が、ワルドさんの結論は全く別のものでした。

「それは間違いだ！最も被弾の少ない箇所こそ、補強しなければいけないのだ！」

この2つの結論の違いこそが、選択バイアスの罠を端的に表しているわけです。
※ちなみにこの事例、その分野では割と知られている・・・んじゃないかなと思います（多分・大汗）

選択バイアスの、罠

さて、この結論をワイドさんは何で出してきたのでしょうか？
まず大きな点が、データ母集団を正しく定義することです。

得られたデータは、帰還した戦闘機のデータばかりで、撃墜された機のデータが欠損している。

ここを抜かして分析しても、全く意味を成さないわけです。
僕の知る限りですが、こういうミス、めちゃくちゃ沢山あります（汗）

致命的な部位に被弾した場合、帰還できる可能性は低くなる。
逆に、被弾しても帰還した戦闘機は、そのような場所を攻撃されてはいなかったと考えられる。
なので「被弾に耐えて帰還した戦闘機の傷んだ部分を補強しても何の効果もない！」

どうでしょう？

この分析1つで多くの命の行方、ひいては戦争の勝敗すら左右する可能性もあるわけです。

• 成功事例だけを抽出した経営戦略の分析
• ネットを見ている人を対象に行った、ネットに対する意識調査

・・・などなど、選択バイアスが乗りまくった本・レポートは世の中に沢山あります。

勿論完璧なデータなど存在するわけがないのですが、選択バイアスを知らずに読むのと、知ってて読むのでは全く意味が違ってくるのではないでしょうか？

ちょっと心の片隅に留めておくと、何かの意思決定の精度が大きく変わったりするんじゃないかなぁと、思ったり思わなかったりするこの頃です。

■ 関連エントリー

• 「見せ筋商品」と「売れ筋商品」
• 仮説検証のないアクセス解析をする暇があったら
• コンバージョンUP400%を達成したVoices.comの顧客体験設計
• ソフトバンク「純増No.1」の罠
• ユーザーインターフェースの検証データを公開している「ABtests.com」は、ウェブマスター必見事例の宝庫