Напротив, если P-значение результата равно 0,06 (то есть вероятность того, что он был получен случайно, составляет 6 процентов), его считают слишком недостоверным, чтобы его можно было признать статистически значимым, и часто отбрасывают. Однако такой критерий отбраковки гипотез может быть не менее опасен. Но об отрицательных результатах неинтересно писать в новостях. Поэтому девятнадцать исследовательских групп не пишут о том, что обнаружили отсутствие связи.
С такими порогами следует обращаться чрезвычайно осторожно. Если вы хотите определить, «честную» ли монету вы подбрасываете, такой критерий может быть вполне пригодным. Но представьте себе, что вы пытаетесь понять, связано ли количество неблагоприятных исходов у пациентов некоего врача с его некомпетентностью. Не хотелось бы расследовать деятельность каждого двадцатого врача. И все же в какой момент следует начинать беспокоиться?
Например, в сентябре 1998 года доктор Гарольд Шипман, уважаемый семейный врач, был арестован за то, что вколол по меньшей мере 215 пациентам смертельные дозы опиатов. Впоследствии группа статистиков, которую возглавлял Дэвид Шпигельхальтер, заявила, что аномалии в данных Шипмана можно было обнаружить гораздо раньше при помощи теста, применявшегося во время Второй мировой войны для контроля качества военных материалов; это могло спасти 175 жизней.
С порогами значимости следует обращаться с осторожностью. В марте 2019 года 850 ученых написали в журнал Nature письмо, критикующее, как они писали, одержимость научного сообщества использованием P-значений в качестве эталона значимости научных открытий. «Мы не призываем запретить P-значения, – говорилось в этом письме, – и не утверждаем, что их нельзя использовать в качестве критерия принятия решений в некоторых специализированных приложениях (например, при определении соответствия производственного процесса каким-либо стандартам качества). Мы также не выступаем за вседозволенность, при которой недостаточно обоснованные результаты считались бы заслуживающими доверия… но призываем прекратить общепринятое дихотомическое использование P-значений для принятия решений о том, противоречит ли результат научной гипотезе или подтверждает ее».
Коллективный разум
Один из полезных шорткатов, которые изобрел статистик сэр Фрэнсис Гальтон, заключался в следующем: опросить множество простых людей, чтобы всю тяжелую работу сделали они, а потом завершить исследование при помощи некоторых хитроумных математических операций. Хотя сегодня Гальтона справедливо критикуют за безнравственные расистские теории в области евгеники, его теория коллективного разума по-прежнему считается важным инструментом анализа больших данных. Собственно говоря, он наткнулся на это открытие случайно, когда пытался доказать, что справедливо прямо обратное. Более того, он настолько не верил в коллективный разум среднестатистических членов общества, что был активным противником идеи предоставления широкой общественности права участвовать в политической жизни: «Ибо глупость и заблуждения многих мужчин и женщин настолько огромны, что в это почти невозможно поверить».
Надеясь доказать свою правоту, Гальтон решил поставить опыт, использовав для этого ярмарку, проходившую в городе Плимуте, где он жил. Там был устроен конкурс, участникам которого предлагалось угадать вес забитого и освежеванного вола. 800 участников конкурса заплатили по шесть пенсов и высказали свои догадки. Хотя среди них могли быть и фермеры, большинство составляли посетители ярмарки, не обладавшие особенными знаниями в этой области. «Средний участник конкурса был, вероятно, настолько же способен правильно угадать вес освежеванного вола, насколько средний избиратель способен судить о достоинствах большинства политических вопросов, по которым он голосует», – презрительно писал Гальтон.
Но когда он забрал записанные догадки и подверг их статистическому анализу, результат оказался в некоторой степени потрясающим. Хотя многие участники были чрезвычайно далеки от истины – одни сильно недооценивали, а другие не менее сильно переоценивали вес вола, – Гальтон обнаружил, что среднее значение, учитывающее все их оценки, поразительно близко к истинной цифре. (Собственно говоря, Гальтон начал свой анализ со значения, находившегося точно посередине разброса догадок, – его называют медианным, – которое тоже оказалось весьма близким к истине.) По усредненной догадке участников конкурса вес вола составлял 1197 фунтов. Его истинный вес был равен 1198 фунтам. Ошибка составляла всего один фунт
[97].
Гальтон был поражен. «Этот результат, по-видимому, подтверждает верность демократических решений более, чем можно было бы ожидать», – написал он. Он поручил коллективу проделать всю трудную работу – высказать догадки, – а затем получил при помощи математики шорткат к решению – истинному проявлению коллективного разума.
Недавно я получил благодарственное письмо от человека, который, услышав, как я рассказываю об этой идее, применил в точности ту же стратегию на местной ярмарке. В тамошнем конкурсе требовалось угадать, сколько конфет лежит в банке. Незадолго до окончания ярмарки он загрузил предположения таких же, как он сам, посетителей ярмарки, в таблицу Excel, нашел среднее и подал свою заявку. Его предположение, основанное на коллективном разуме, оказалось самым близким к истине: оно отличалось от верного ответа – 4532 конфеты – всего на пять штук. В письмо он вложил несколько конфет – мою долю приза, которой он хотел вознаградить меня за то, что я познакомил его с этим хитроумным шорткатом.
Другой пример коллективного разума проявляется в знаменитой телевизионной игре «Кто хочет стать миллионером?». Бо́льшую часть времени участник игры самостоятельно отвечает на вопросы, пытаясь дать 15 правильных ответов и получить главный приз – миллион фунтов
[98]. Однако те, кто совершенно не представляет себе, как ответить на очередной вопрос, могут воспользоваться несколькими подсказками. Одна из них позволяет позвонить другу, а другая («помощь зала») – узнать мнение присутствующих на игре зрителей. Группа швейцарских ученых собрала данные по германскому варианту этой игры. Оказалось, что в их выборке к помощи зала прибегали 1337 раз, и полученные ответы были неправильными лишь в 147 из этих случаев. Доля попаданий составила целых 89 процентов! Сравните эту цифру со статистикой «звонков другу», которые не давали правильного ответа в 46 процентах случаев.
Если вы собираетесь воспользоваться помощью зала, важно не разглашать вашего собственного мнения по заданному вопросу. Всему нашему биологическому виду очень свойственно поддаваться чужому влиянию. Взять, например, случай участницы игры, которая получила бы четверть миллиона фунтов, дай она правильный ответ на следующий вопрос:
14 декабря какого года норвежский исследователь Роальд Амундсен достиг Южного полюса?
A: 1891 B: 1901 C: 1911 D: 1921
