Онлайн книга
Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.
Оглавление книги
- Введение
- Чем больше информации, тем больше проблем
- Парадокс продуктивности
- Обещания и подводные камни «Больших данных»
- Почему нас шокирует будущее
- Что можно сказать о предсказании
- Короткая дорожная карта
- Глава 1 Катастрофически неудачные прогнозы
- Худшее из возможных предсказаний
- «Не думаю, что они хотели, чтобы музыка перестала играть»
- В чем ошиблись рейтинговые агентства
- Акт I. Пузырь на жилищном рынке
- Акт II. Леверидж, леверидж, леверидж
- Антракт. Смятение как проявление алчности
- Акт III. И вновь все как обычно
- Что общего между всеми неудачными прогнозами
- За пределами выборки – за пределами мышления, или Формула неудачного предсказания
- Ошибки, которые мы совершили, – и чему они учат
- Глава 2 Кто умнее: вы или «эксперты » из телевизионных передач?
- Действительно ли политологи лучше «экспертов»?
- Чтобы делать более верные прогнозы, нужно стать лисой
- Почему из «ежей» получаются хорошие гости телешоу
- Почему политические предсказания обычно оказываются неудачными
- «Лисий» подход к прогнозированию
- Принцип 1. Учитывайте вероятностность события
- Принцип 2. Сегодняшний ваш прогноз – это первый прогноз из тех, что еще будут в вашей жизни
- Принцип 3. Ищите консенсус
- Остерегайтесь чудодейственных прогнозов
- Взвешивайте качественную информацию
- Быть объективным непросто
- Глава 3 Все, что меня интересует, – это победы и поражения
- Создание системы прогнозирования для бейсбола
- Самый масштабный набор данных в мире
- Берегитесь – кривая старения!
- Можем ли мы все ужиться?
- PECOTA против скаутов – победа остается за скаутами
- Предубеждения скаутов и статистиков
- Не только «Пять инструментов»
- «Информация» как новое название игры
- Почему предрекали, что Педройю постигнет неудача…
- …и как он выиграл вопреки всем прогнозам
- Реальные уроки «Moneyball»
- Глава 4 Вы столько лет говорили нам, что дождь – зеленый
- Прогноз погоды от суперкомпьютера
- Очень короткая история прогнозирования погоды
- Матрица
- Почему теория хаоса так напоминает безумие
- Важность ви́дения
- Вероятность погибнуть от удара молнии становится все меньше
- Что делает прогноз хорошим?
- Когда конкуренция приводит к тому, что прогнозы становятся хуже
- Как понять, что ваш прогноз неверен
- Конус хаоса
- Глава 5 В отчаянных поисках сигнала
- Что мы делаем, если наши устои пошатнулись
- Волшебные жабы и поиск Святого Грааля
- Что мы знаем о том, как часто и какими бывают землетрясения
- Искушение сейсмологов
- Парад неудачных прогнозов
- Между молотом и наковальней
- Оверфиттинг: самая важная научная проблема, о которой вы никогда не слышали
- Применялась ли в Японии модель с оверфиттингом?
- Что ограничивает наши знания о землетрясениях
- Красота шума
- Суд над наукой
- Глава 6 Как утонуть на метровой глубине
- Почему важно сообщать о неопределенности
- Рациональны ли экономисты?
- «Никто даже не представляет себе…»
- Корреляция без причинно-следственной зависимости
- Постоянно меняющаяся экономика
- Экономические данные переполнены шумом
- Бабочка машет крыльями в Бразилии, и кто-то в Техасе теряет работу
- Когда предвзятые прогнозы оказываются рациональными
- Преодоление искажений
- Глава 7 Ролевые модели
- Фиаско свиного гриппа, часть вторая?
- Опасность экстраполяции
- Самореализующиеся и самоотменяющиеся предсказания
- Простота без изощренности
- Система имитационного моделирования Sim в действии
- Что делать, когда прогнозы неутешительны
- Глава 8 Все меньше, и меньше, и меньше неточностей
- Насколько хорошо думают азартные игроки
- Невероятное наследие Томаса Байеса
- Вероятность и прогресс
- Простая математика теоремы Байеса
- Проблема ложноположительного срабатывания
- Когда статистика отклонилась от принципов Байеса
- Данные без контекста бесполезны
- Боб – байесовец
- Байесовский путь к снижению неправоты
- Глава 9 Восстание против машин
- Рождение шахматного компьютера
- Шахматы, предсказания и эвристика
- Неудачное предсказание Каспарова
- В начале было…
- Дилемма шахматиста: ширина против глубины
- Стратегия против тактики
- Начало конца
- Эдгар Аллан Каспаров
- Как заставить моргнуть шахматиста
- Характерная особенность или сбой?
- Что компьютеры умеют делать хорошо?
- Когда метод проб и ошибок действительно работает
- Преодоление технологических слепых пятен
- Глава 10 Покерный пузырь
- Начало покерной мечты
- Как игроки в покер предсказывают раздачу
- Небольшой рассказ о техасском холдеме
- Не так уж и проста эта покерная раздача
- Покерная рука Шредингера
- Как стать непредсказуемым
- Кривая обучаемости в области предсказаний
- Экономика покерного пузыря
- Как лопнул покерный пузырь
- Удача против навыков в покере
- Наши заблуждения, связанные с покером
- Почему мы впадаем в «тилт»
- Вне рамок представлений, ориентированных на результат
- Глава 11 Если вы не можете их переиграть…
- Путешествие в Байесландию
- Невидимая байесовская рука
- Джастин Вольферс как «полицейский» на рынке предсказаний
- Преимущества (и ограничения) групповых прогнозов
- Истоки гипотезы эффективного рынка
- Результаты прошлого не способны предсказать будущее
- Страдания «чартистов»
- Три формы гипотезы эффективного рынка
- Статистический тест гипотезы эффективного рынка
- Эффективные рынки и иррациональный оптимизм
- Панический страх, превращающий людей в стадо
- Почему мы сбиваемся в стада
- Самоуверенность и проклятие победителя
- Почему пузырю так сложно лопнуть
- Цена не всегда бывает справедливой
- Шум на финансовых рынках
- Покупайте дорого, продавайте дешево
- Остальные 10 %
- Два рынка в одном
- Глава 12 Климат здорового скептицизма
- Шум и сигнал
- Парниковый эффект уже здесь
- Это вам не бином Ньютона!
- Три типа климатического скептицизма
- Прогнозист критикует прогнозы глобального потепления
- Все климатологи согласны с некоторыми выводами
- Скептическое отношение климатологов к компьютерным моделям
- Наука о климате и сложные моменты
- Прогнозирование – это не книга готовых рецептов
- Неопределенность в климатических прогнозах
- Температурные рекорды
- Предсказания Джеймса Хансена
- Предсказания МГЭИК, 1990 г.
- Уроки «глобального охлаждения»
- Простой климатический прогноз
- Неудобная правда о температурных данных
- Еще одна причина, по которой так важно учитывать неопределенность
- «Наши отношения с этими людьми – это состояние постоянной драки»
- Различие между наукой и политикой
- Глава 13 То, о чем ты не знаешь, может тебе навредить
- Сигналы, ни о чем не сигнализирующие
- Неизвестное и маловероятное
- Было ли 11 сентября известным неизвестным?
- Масштаб событий 11 сентября
- Математика терроризма: почему 11 сентября не было обособленным событием
- Определение и оценка масштабов терроризма
- Терроризм магнитудой 9 баллов
- Подумаем о терроризме более широко
- Почему террористы не взрывают торговые центры?
- Израильский подход к предотвращению терроризма
- Как трактовать сигналы террористов
- Заключение
- Думайте в категориях вероятности
- Знайте, откуда идете
- Пробуйте и ошибайтесь
- Наше восприятие предсказуемости
- Благодарности