Сигнал и Шум. Почему одни прогнозы сбываются, а другие - нет

До того как начать читать, я дважды встречал упоминания об этой книге в книгах, посвященных статистике и прогнозированию: Д. Шпигельхалтер «Искусство статистики» и Д. Самптер «Десять уравнений, которые правят миром». В первой, книга Нейта Сильвера преподносилась как хорошее введение в сферу применения статистики, автор второй книги позаимствовал понятия «сигнал» и «шум» для популярного объяснения параметров некоторых математических уравнений.

Книга хороша тем, что построена на реальных примерах применения статистики из областей азартных игр, экономики, спорта, политики, сейсмологии и метеорологии. На основании своих рассуждений, автор делает вывод, что абсолютно точных прогнозов не существует. Так зачем они нужны, если на них нельзя полагаться? Они нужны для того, чтобы научиться…

Книга не научит строить точные прогнозы, но даст понимание, почему существующий прогноз столь плох и как можно его немного улучшить.

Первая попытка прочитать книгу была мной предпринята в году так в 2014, но поняв, что хочу читать ее более внимательно и ответственно, решила отложить на пару недель. И вот 2021 г. к книге я вернулась. И если в 2014 поражала актуальность глав про кризис на рынке ипотечного кредитования, что привело к Мировому финансовому кризису 2009 - 2013 гг., то в это прочтение самой актуальной стала глава про распространение заболеваний. Но начнем по порядку.

В книге 13 глав, разделенных неявно на 2 части.

Глава 1 посвящена проблемам Фондового рынка в 2008-2009 гг., причинам произошедшего и почему такого не ждали.

Глава 2 рассказывает о том, почему политологи-эксперты часто…

Нейт Сильвер, «Сигнал и шум. Искусство и наука прогноза». Интересно, что перед этим, остановившись у стойки художественной прозы, я взял в руки «Шум и ярость» Фолкнера и думал, не прочесть ли его на английском – вдруг то, что было столь тяжёлым в детстве на русском, как тот же Уайлдер, окажется прекрасным в оригинале. Тема шума, видимо, прочно окопалась в подсознании…

Так вот, Нейт Сильвер – тот самый человек, чьи записи в блоге 538 на сайте NYT я раз за разом рекламировал во время американской избирательной кампании 2012 года. Не только и не столько потому, что нужно, когда комментируешь выборы в реальном времени, ссылаться на последние опросы, а потому, что Сильвер после каждой манипуляции с данными подробно объяснял, что и как следует интерпретировать. Причём – здесь уже была заметна…

Это книга о прогнозировании. А так как все делают прогнозы, то эта книга для всех. Основная концепция это то что в любой современной области какую ни возьми присутствует как сигнал так и шум. Причем шум можем создавать мы сами своими предрасположенностями как Ежи и Лисы у Тетлока и усталый Каспаров. Или неправильно создавать оверфиттинг нашей модели ориентируясь на внешний шум. Или построить слишком простую модель, или слишком сложную. Или забыть её корректировать после событий которые влияют на сигнал. А за углом стоят Теория Хаоса с Теорией Сложности, которые перемалывают наши модели при каждом взмахе бабочки в Техасе и забытого десятого знака после запятой. Всё это похоронит Большие Данные - кусок который мы хотим съесть нам не проживать. И Нейт открывает нам дверь в чудесную…

Это самая сложная для меня книга, из прочитанных за прошлый год. Её чтение растянулось примерно на два месяца, при том что параллельно я больше ни за что не бралась. И в то же время несомненно полученные знания стоили затраченных усилий.

В центре исследования Нейта Сильвера - прогнозы. Прогнозы как вещь в себе, как один из способов познания окружающего мира. Именно поэтому он стремится раскрыть это понятие применительно к разным областям - начиная от политического прогнозирования и биржевых ставок и заканчивая попытками предугадать приход тайфуна или цунами. И если предсказательное поведение политических экспертов - вопрос мне знакомый и поэтому интересный, то, например, бейсбольные и покерные ставки, в силу того, что я равно далека от того и от другого - оказались сферой непонятной, а…