Книга «Сигнал и шум» Нейта Сильвера. Краткое содержание для ставочника

Нейт Сильвер — статистик и писатель, занимающийся анализом бейсбола и политики. Первое признание Сильвер получил за разработку алгоритма для прогнозирования бейсбола PECOTA. В 2009-м журнал Time включил его в число 100 самых влиятельных людей мира — его система верно спрогнозировала победителей президентских выборов в США в 49 из 50 штатов. На выборах-2012 Сильвер предсказал 50 из 50 победителей.

Бестселлер Нейта Сильвера «Сигнал и шум» стал книгой 2012 года по версии Amazon в категории «нон-фикшн».

Что такое сигнал и шум

Сигнал — это правда, а шум — то, что отвлекает нас от правды.

Почти все публикуемые мной прогнозы, как в политике, так и в других областях, являются вероятностными. Вместо того чтобы «выплеснуть» одну цифру и утверждать, что я точно знаю, что произойдет далее, я показываю диапазон возможных результатов.

Во многих областях нашей жизни важно оценивать вероятности, а не искать ответы “да” или “нет”.

Хорошо продуманная система прогнозирования может оценить, какие статистические показатели сильнее зависят от удачи.

Не так важно, какая количественная или качественная информация к вам поступает, — гораздо важнее, каким образом вы ее используете.

Как стать хорошим прогнозистом

В таких высококонкурентных областях, как спорт, лучшие прогнозисты должны постоянно использовать новые методы. Нет ничего сложного в том, чтобы поставить себе цель «пользоваться неэффективностью рынка».

Маловероятно, что вы натолкнетесь на идею, которую никто другой не обдумывал. А еще сложнее – на хорошую идею, – и даже когда вы на нее натолкнетесь, пройдет совсем немного времени, и ее кто-нибудь скопирует.

Хорошие специалисты в области инноваций обычно обдумывают ситуацию и масштабно, и в деталях. Порой новые идеи можно найти именно в деталях и тонкостях проблемы, на которые не обращают внимания другие. А порой их можно найти, когда вы начинаете совершенно абстрактно и философски размышлять о том, почему мир устроен определенным образом и возможна ли альтернатива для доминирующей парадигмы.

Но подобное мышление сложно обрести в тех условиях, в которых живут 99 % из нас. Привычные для нашей обычной жизни способы мыслить категориями и делать приблизительные выкладки порой приводят к тому, что мы упускаем из виду информацию, способную обеспечить нам конкурентное преимущество.

Главное — развивать инструменты и привычки, помогающие вам чаще находить идеи и информацию в нужном месте, и оттачивать навыки, необходимые как при поражениях, так и в победах.

Я не хочу сказать, что вы должны ругать себя всякий раз, когда ваш прогноз оказывается неверным. Напротив, признаком того, что вы делаете хороший прогноз, является то, что вы полностью принимаете то, как развиваются события, понимая, что не все из них вы можете непосредственно контролировать. Однако у вас всегда есть возможность спросить себя о том, какие цели вы имели, принимая свое решение.

О прогнозисте Бобе Вулгарисе, который зарабатывает миллионы долларов

Боб не просто выискивает некие шаблоны. Напротив, он совмещает свое знание статистики с пониманием особенностей баскетбола, выявляя осмысленные связи в имеющихся данных.

Успешные игроки — а также успешные прогнозисты любого рода — не рассчитывают, что в дальнейшем их ожидают беспроигрышные ставки, а сами они будут иметь дело только с безукоризненными теориями или пользоваться результатами невероятно точных измерений.

Все это — иллюзии простака, которого искушает чрезмерная уверенность в себе. Напротив, успешные игроки рассматривают будущее как крупицы вероятностей, растущих и снижающихся в ответ на каждый новый элемент информации. Когда расчеты показывают, что вероятность выиграть значительно превышает вероятность проиграть, они могут сделать ставку.

Самый большой секрет Вулгариса в том, что у него нет большого секрета. Вместо этого у него имеется тысяча небольших секретов, квантов информации, которые он рассматривает в конкретный момент времени.

Например, у него есть программа, позволяющая рассчитать исход каждой игры. Однако он полагается на ее выводы либо в тех случаях, когда считает, что у него есть серьезный перевес, либо когда ее выводы подкрепляются другой информацией. Он смотрит почти каждую игру НБА — иногда вживую, иногда в записи — и формирует собственное мнение о том, какие команды играют в полную силу, а какие нет.

Он даже создал некое подобие аналитической службы, наняв ассистентов для создания графиков перемещений каждого игрока в каждой игре. Результаты этой работы обеспечивают ему преимущество, которого нет у многих команд НБА.

Он следит за тем, что пишут в твиттере десятки игроков НБА, и анализирует каждое сообщение. Игрок, пишущий о том, что он собирается зайти в ночной клуб, может хуже проявить себя в игре в следующий день. Вулгарис обращает много внимания на то, что говорят тренеры на пресс-конференции, и на слова, которые они используют: например, если тренер говорит, что ждет от команды «умелой защиты» или хочет, чтобы она играла «в хороший классический баскетбол», это может означать, что тренер хочет замедлить темп игры.

Зачем следить за соцсетями спортсменов — пример валуйной ставки за 2.75

Риск и неопределенность

Риск предполагает, что его можно оценить. Предположим, вы планируете выиграть партию в покер при условии, что ваш оппонент не соберет так называемый «дырявый стрит». Шансы на то, что на столе окажется нужная карта, составляют точно 1 из 11. Это и есть оценка риска. Конечно, такие ситуации всегда неприятны, однако вы, по крайней мере, знаете вероятность ее возникновения и можете это спланировать заранее. В долгосрочной перспективе вы сможете обыграть своих оппонентов, делающих отчаянные ставки на слишком малую вероятность благоприятного для них события.

Неопределенность представляет собой риск, который сложно измерить. У вас может иметься некоторое расплывчатое представление о возможных неприятностях. Вы даже способны четко представить, в чем они заключаются. Однако вы не знаете ни сколько их, ни когда они могут проявиться. Ваша предварительная оценка вероятности может отличиться от истинной в 100 или даже 1000 раз; вы просто не можете произвести расчеты более точно.

Ежи и лисы

Разделение на эти две группы напрямую связано с названием эссе Исайи Берлина о русском писателе Льве Толстом. Берлин, в свою очередь, позаимствовал его из строки, приписываемой греческому поэту Архилоху: «Лис знает много секретов, а еж – один, но самый главный».

«Ежи» — это те люди, которые верят в Большие Идеи или управляющие миром принципы. «Ежи» приравнивают их к законам физики, универсальным для каждого вида взаимоотношений в обществе. Можно вспомнить Карла Маркса и идею классовой борьбы или Зигмунда Фрейда и идею бессознательного. Или же Малкольма Гладуэлла и теорию «переломного момента».

«Лисы» же, напротив, верят во множество мелких идей и предлагают разнообразные подходы к решению проблем. Они более терпимы к нюансам, неопределенности, сложности и противоречивым мнениям. Если «ежи» — это охотники, всегда ищущие большую добычу, то «лисы» – это собиратели.

«Лисы» умеют предсказывать значительно лучше, чем «ежи».

«Лисы» могут иметь свои идеальные представления о том, каким должен быть мир. Однако они в большей степени способны при анализе отделить свои представления о том, как мир может выглядеть в ближайшем будущем, от того, как выглядит мир в реальности.

Напротив, «ежам» сложнее отстраниться от своих глубинных интересов при проведении анализа. Вместо этого они создают «расплывчатую смесь из сваленных в одну кучу фактов и значений параметров». Они с большим предубеждением относятся к свидетельствам, обращая внимание лишь на то, что хотят увидеть, а не то, что есть в реальности.

Каждый раз, когда в процесс вовлекается человеческое суждение, возникает и потенциал для предубеждения. Увеличение объема информации способно лишь ухудшить ситуацию для тех, кто неправильно относится к прогнозам и пытается навязать свою точку зрения на то, как устроен мир, вместо того чтобы попытаться познать истину.

Коллективные прогнозы

Существует довольно много свидетельств тому, что групповые прогнозы являются более точными, чем индивидуальные (для разных дисциплин значения показателя могут находиться между 15 и 20 %). И это не всегда означает, что групповые прогнозы хороши. Но это значит, что вы можете извлечь определенную пользу от изучения проблемы с разных точек зрения.

Работы, в которых изучались предсказания результатов НФЛ, показали, что основанные на консенсусе прогнозы букмекеров были на 99,5 % точнее, чем прогнозы отдельных участников.

Почему ставки против толпы и по следам умных денег сильно переоценены

Как дать хороший прогноз

Чтобы составить хороший прогноз, нам не стоит ограничиваться одной лишь количественной информацией. Скорее, мы должны уметь хорошо и правильно взвешивать информацию. В этом и состоит суть философии Бина (менеджер «Окленд Атлетикс», герой фильма Moneyball) — собрать максимально возможный объем информации, а затем очень тщательно и дисциплинированно проанализировать ее.

https://youtu.be/nd2j9SC0u00

Лакмусовой бумажкой, позволяющей понять, насколько вы компетентны как прогнозист, является изменение качества ваших прогнозов: становятся ли ваши предсказания лучше при увеличении объема информации? Если же они становятся хуже, то можно сказать, что у вас имеются некоторые плохие привычки.

Если Кандидат А имеет результат 0,300 с 20 хоумранами и раздает в свободные дни еду бездомным, а Кандидат B имеет результат 0,300 с 20 хоумранами, но при этом тусуется в свободное время в ночных клубах и употребляет кокаин, вы не сможете дать количественную оценку различиям между ними. Однако можете не сомневаться, что хороший прогнозист обязательно примет эту информацию к сведению.

Почему важно фокусироваться и забывать неудачи

Дастин Педройя (звезда «Бостон Ред Сокс») обладает тем, что называется «памятью главной лиги», то есть быстро забывает то, что становится прошлым. Его не беспокоят отдельные неудачи, потому что он совершенно уверен в том, что играет правильно, а в долгосрочной перспективе значение имеет лишь это.

И он крайне нетерпим ко всему, что отвлекает его от работы. И становится не самым приятным в общении человеком, но именно это и дает ему возможность играть на второй базе за бостонскую команду Red Sox, а это — единственное, о чем заботится Педройя.

Наши сильные и слабые стороны всегда взаимосвязаны, порой не самым явным образом. Педройя смог превратить в силу то, что у других игроков является слабостью.

Оверфиттинг — самая важная научная проблема, о которой вы никогда не слышали

Когда статистики ошибаются и принимают шумы за сигнал, они называют это оверфиттингом. Я поручаю вам найти хороший метод подбора цифровых комбинаций для цифровых замков. Я хочу, чтобы вы нашли способ, позволяющий с высокой вероятностью подобрать нужную комбинацию замков в любое время и в любом месте. Для практики я даю вам три замка: красный, черный и синий.

Вы возвращаетесь и рассказываете, что смогли найти ошибкоустойчивое решение. По вашим словам, если замок красный, то правильная комбинация – 27–12–31. Если он черный, то нужно использовать цифры 44–14–19, а если синий – 10–3–32.

Вы не справились с заданием. Очевидно, что вы вычислили, как открыть три конкретных замка. Однако вы ничего не сделали для создания теории, позволяющей открывать замки, когда комбинация неизвестна нам заранее. Допустим, я бы хотел узнать, можно ли открывать эти замки с помощью скрепки из хорошей стали или же следует воспользоваться каким-то присущим им механическим дефектом. Вы дали слишком конкретное решение для общей проблемы. Это и есть оверфиттинг, и он способен привести к ухудшению любых прогнозов.

Статистические модели «подстраиваются, подгоняются» (fit) под прошлые наблюдения. Степень подгонки может быть слишком общей. И такое явление называется «андерфиттингом» (underfitting). При андерфиттинге вы захватываете меньшую часть сигнала по сравнению с максимально возможной. Либо же модель может обладать свойством оверфиттинга, иными словами, ваши данные содержат слишком много шума, что не позволяет четко выявить структуру, лежащую в их основе. На практике второй тип ошибки встречается намного чаще.

Экстраполяция

Экстраполяция является одним из основных методов прогнозирования, порой слишком простым. В сущности, это предположение о том, что текущая тенденция будет развиваться и в будущем, причем до бесконечности. Некоторые самые известные неудачные предсказания были сделаны именно вследствие слишком вольного обращения с подобным предположением.

Например, на рубеже XX в. многие градостроители были обеспокоены увеличением использования конных экипажей, следствием использования которых было загрязнение улиц конским навозом. Один из авторов газеты Times of London предсказывал, что если в 1894 г. улицы Лондона, фигурально выражаясь, погрязли по колено в навозе, то к 1940 м гг. они окажутся погребенными под трехметровой толщей этой субстанции. К счастью, примерно через 10 лет после публикации этой статьи Генри Форд начал производить первые прототипы автомобиля «Модели Т», и подобного кризиса удалось избежать.

Делайте много прогнозов

Несомненно, мы неплохо соображаем, но вселенная, в которой мы живем, – непостижимо велика. Преимущество умения думать в категориях вероятности обусловлено тем, что вы заставляете себя останавливаться, присматриваться к информации, замедляться и проверять недостатки своих умозаключений. Со временем вы поймете, что принятие решений удается вам все лучше и лучше.

Возможно, следующий байесовский принцип применять проще всего: делайте много прогнозов. Вероятно, вы не захотите ставить на кон свой бизнес или жизнь, особенно поначалу, но это единственный способ стать лучше.

Какой смысл в предсказании, если вы не готовы поставить на него деньги?

23 главных тезиса книги Дж.Р.Миллера “Как бить линию”