Количество респондентов в зависимости от потери веса
(Потенциальные) недостатки данных
Эти данные, несмотря на всю их примечательность, не идеальны. Вот два самых заметных изъяна методологии и опросов в целом:
Среди участников могут быть фантазеры
Мы исключили явные повторы, «мусор» («я сбросил 295 кг!», «в самом начале я весил 16 кг» и т. п.) и пометили сомнительные ответы, но никто не просил отвечавших предъявить документы и не навещал их лично. Этой проблемы трудно избежать в неконтролируемых испытаниях.
Во внимание не приняты выбывшие – те, кто пытался следовать диете и не смог.
В проанализированных 3000 комментариев к моему блогу количество отзывов о неудачах составляло 3–5 %, и можно ожидать, что на самом деле их было еще больше. Из 194 респондентов, принявших участие в исследовании, лишь четверо набрали вес или сохранили первоначальный. Напоминаю: к этим респондентам обращались после того, как они оставляли комментарии к посту в блоге или реагировали на сообщения в Twitter или Facebook. Проблема выбывших указывает на общий недостаток публичных опросов: с наибольшей вероятностью на вопросы отвечают те, кто добился положительных результатов
[195]
. Это одна из форм «систематической ошибки выжившего», с которой стоит разобраться.
Обращаете внимание на среднюю доходность паевых фондов за прошлый год, чтобы выбрать из них лучший? Не забывайте, что перед вами «выжившие». Потери, которые Нассим Талеб называет «безмолвными свидетелями», невозможно зафиксировать путем опросов – опрашивать некого. «Средняя» доходность не так впечатляет, если принять во внимание тех, кто рискнул всем и проиграл. Обнаружить этих «убитых» нелегко, особенно в финансовой сфере, где так много причин скрывать эти цифры.
Значит ли это, что с практической точки зрения наши результаты диеты – фальшивка? Вовсе нет. Возможность систематической ошибки выжившего еще не доказывает, что эти цифры нерепрезентативны. Следует помнить:
1. На основании всех доступных эмпирических отчетов по диете доля неудач не должна превышать 5 %. Это невероятно по любым традиционным меркам, относящимся к строгости соблюдения диеты.
2. Почти все неудачи, о которых было сообщено, объяснялись несоблюдением инструкций.
Если включить в окончательные результаты только данные по людям, которые в точности следовали указаниям и сообщали о своем прогрессе, уровень успеха ближе к 100 %, чем в любом другом известном мне случае.
Оценка результатов
Как следует интерпретировать полученные данные? Как планировать или менять свое питание на основании этих результатов? Посмотрим, где именно мы можем допустить наиболее распространенные ошибки. Это практическое применение нашего курса для начинающих по выявлению псевдонауки.
При первом взгляде на данные можно сделать вывод, что несколько элементов программы приводят к более значительной потере жира, особенно если данные представлены нам в виде внушительных графиков, на которых недостает важных деталей.
Средняя потеря веса в зависимости от количества приемов пищи в сутки
Вот несколько напрашивающихся неожиданных выводов о факторах, приводящих к более значительной потере веса, – выводов, которые мы могли бы сделать на основании представленных данных (выделены жирным шрифтом):
Всего два приема пищи в сутки; пятиразовое питание – второй по эффективности режим питания (потеря в среднем 18 кг и 10 кг).
Вегетарианская пища (вегетарианцы теряли в среднем 10 кг по сравнению с 9,5 кг у мясоедов).
Подсчет калорий (считавшие калории теряли в среднем 12 кг по сравнению с 9 кг у тех, кто калории не считал).
Пропуск завтрака (потеря в среднем 10,4 кг по сравнению с 9,5 кг у тех, кто не пропускал завтрак).
Самые внимательные из вас уже заметили, что большинству людей я рекомендую действовать образом, прямо противоположным этим четырем выводам. Неужели я так жестоко ошибся? И уже не в первый раз?
Но посмотрим на выделенные жирным шрифтом пункты еще раз. Здесь цифры в скобках, указанные перед 194 (X/194), соответствуют количеству людей из общего числа 194 человек, к которым относится каждый пункт:
Всего два приема пищи в сутки по сравнению с пятиразовым питанием (потеря в среднем 18 и 10 кг соответственно) (8/194).
Вегетарианская пища (потеря в среднем 10 кг по сравнению с 9,5 кг у мясоедов) (10/194).
Подсчет калорий (потеря в среднем 12 кг по сравнению с 9 кг у тех, кто не считал калории) (35/194).
Пропуск завтрака (потеря в среднем 10,4 кг по сравнению с 9,5 кг у тех, кто не пропускал завтрак) (29/194).
Напоминаю: из вышеизложенного невозможно сделать выводы о причинах и следствиях. Это корреляции. Следующим этапом должна стать проверка в контрольной и экспериментальной группах.
А пока обратимся к двум из наших смелых автоматических выводов:
На первый взгляд, следует питаться два раза в день – это очевидно. Но на самом деле это не так.
Потеря 18 кг по сравнению с 10 кг может показаться наглядным результатом. Но зададимся вопросом о том, чего мы не знаем: сколько человек пытались есть дважды в день и отказались от этой затеи потому, что она не сработала? Лишь восемь человек из 194 питались дважды в сутки. Сколько весили те, кто придерживался такого режима питания? Скорее всего, 114–136 кг – находясь в таком весе, килограммы уходят легче, хотя в процентах от общего веса тела они выглядит не так внушительно, как для людей с меньшим весом. Подавляющее большинство (144 человека) тех, кто в среднем сбросил 8,6–9 кг, ели три-четыре раза в сутки, согласно рекомендациям.
На первый взгляд, надо подсчитывать калории – это очевидно. Но на самом деле это не так.
12 сброшенных килограмм по сравнению с 9 кг – вывод опять-таки напрашивается сам собой: подсчет калорий помогает. Увы, не все так просто. Во-первых, более, чем в какой-либо другой группе, здесь я подозреваю вмешательство систематической ошибки выжившего. 35 респондентов из 194 считали калории. А сколько всего человек пытались считать калории, хотя я этого не рекомендовал, и бросили диету, обнаружив, что эти подсчеты утомительны, невозможны и неудобны? Во-вторых, действительно ли считавшие калории сбросили больше веса именно потому, что считали калории? Или потому, что в целом внимательнее следили за собой и острее ощущали ответственность? Подозреваю, что считавшие калории просто работали в среднем усерднее, особенно в таких важных вопросах, как потребление белка и записи о прогрессе при выполнении упражнений.
