Преувеличенное обещание так называемой непредвзятой добычи данных


Нобелевский лауреат Ричард Фейнман однажды попросил своих учеников из Калифорнийского технологического института вычислить вероятность того, что, если он выйдет за пределы классной комнаты, у первой машины на парковке будет определенный номерной знак, скажем, 6ZNA74. Предполагая, что каждое число и буква одинаково вероятны и определяются независимо, студенты оценили вероятность менее 1 на 17 миллионов. Когда студенты закончили свои вычисления, Фейнман показал, что правильная вероятность была 1: он видел этот номерной знак по дороге в класс. Нечто невероятное маловероятно, если это уже произошло.

Ловушка Фейнмана, разыскивающая данные по шаблонам без предвзятого представления о том, что нужно искать, является ахиллесовой пятой исследований, основанных на интеллектуальном анализе данных. Поиск чего-то необычного или удивительного после того, как это уже произошло, не является ни необычным, ни удивительным. Шаблоны обязательно будут найдены, и, вероятно, будут вводить в заблуждение, абсурд или хуже.

В его бестселлере 2001 года От хорошего к великомуДжим Коллинз сравнил 11 компаний, которые превзошли общий фондовый рынок за последние 40 лет, с 11 компаниями, которые этого не сделали. Он выделил пять отличительных черт, которые были общими для успешных компаний. «Мы не начали этот проект с теории, чтобы проверить или доказать», хвастался Коллинз. «Мы стремились построить теорию с нуля, основанную непосредственно на доказательствах».

Он вошел в ловушку Фейнмана. Когда мы оглядываемся во времени на любую группу компаний, лучшую или худшую, мы всегда можем найти некоторые общие характеристики, поэтому их поиск ничего не доказывает. После публикации От хорошего к великомурезультаты великолепных 11 акций Коллинза были явно посредственными: пять акций показали себя лучше, чем общий фондовый рынок, а шесть – хуже.

В 2011 году Google создал программу искусственного интеллекта под названием Google Flu, которая использовала поисковые запросы для прогнозирования вспышек гриппа. Программа Google Data Mining просмотрела 50 миллионов поисковых запросов и определила 45, которые наиболее тесно связаны с заболеваемостью гриппом. Это еще один пример ловушки сбора данных: в действительном исследовании заранее будут указаны ключевые слова. После публикации своего отчета Google Flu переоценил число случаев гриппа на 100 из следующих 108 недель, в среднем почти на 100 процентов. Google Flu больше не делает прогнозы гриппа.

Интернет-маркетолог подумал, что может увеличить свой доход, изменив традиционный синий цвет веб-страницы на другой. После нескольких недель испытаний компания обнаружила статистически значимый результат: очевидно, Англия любит чирок. Рассматривая несколько альтернативных цветов для ста или около того стран, они гарантировали, что найдут увеличение выручки для какого-то цвета для какой-то страны, но заранее не знали, будет ли чир продавать больше в Англии. Как оказалось, когда цвет английской веб-страницы изменился на чирок, доход упал.

Стандартный нейробиологический эксперимент включает в себя демонстрацию добровольцу в МРТ различных изображений и задание вопросов об изображениях. Измерения являются шумными, собирая магнитные сигналы от окружающей среды и от изменений в плотности жировой ткани в различных частях мозга. Иногда они пропускают деятельность мозга; иногда они предлагают деятельность там, где ее нет.

Аспирант из Дартмута использовал аппарат МРТ для изучения мозговой активности лосося, когда ему показывали фотографии и задавали вопросы. Самое интересное в исследовании было не то, что лосось изучали, а то, что лосось умер. Да, мертвый лосось, купленный на местном рынке, был помещен в аппарат МРТ, и были обнаружены некоторые закономерности. Были неизбежно закономерности – и они были неизменно бессмысленными.

В 2018 году профессор экономики и аспирант Йельского университета рассчитал корреляцию между ежедневными изменениями цен на биткойны и сотнями других финансовых переменных. Они обнаружили, что цены на биткойны были положительно коррелированы с доходностью акций в потребительских товарах и здравоохранении, и что они были отрицательно коррелированы с доходностью акций в сфабрикованных продуктах и ​​отраслях добычи металла. «Мы не даем объяснений, – сказал профессор, – мы просто документируем это поведение». Другими словами, они могли бы также рассмотреть корреляции цен на биткойны с сотнями списков телефонных номеров и сообщить о самых высоких корреляциях.

Директор Лаборатории пищевых продуктов и брендов Корнелльского университета создал (или соавтором) более 200 рецензируемых статей и написал две популярные книги, которые были переведены на более чем 25 языков.

В блоге 2016 года под названием «Аспирант, который никогда не говорил нет», он написал о аспиранте, которому дали данные, собранные в итальянском буфете «все, что вы можете съесть».

Появилась переписка по электронной почте, в которой профессор посоветовал аспиранту разделить посетителей на «мужчин, женщин, посетителей обедов, посетителей обедов, людей, сидящих в одиночестве, людей, едящих с группами по 2 человека, людей, едящих в группах от 2+, людей, которые заказывают алкоголь». люди, которые заказывают безалкогольные напитки, люди, которые сидят близко к буфету, люди, которые сидят далеко, и так далее … »Затем она могла бы взглянуть на различные отличия этих подгрупп:« # кусочки пиццы, # поездки, уровень заполнения » тарелки, получили десерт, заказали напиток и так далее… »

Он пришел к выводу, что она должна «усердно работать, выжать немного крови из этой скалы». Никогда не отказываясь, студентка получила четыре статьи (теперь называемые «бумагами для пиццы»), опубликованные профессором Корнелла в качестве соавтора. В самой известной газете сообщается, что мужчины едят на 93% больше пиццы, когда едят с женщинами. Это не закончилось хорошо. В сентябре 2018 года комитет факультета Корнелла пришел к выводу, что он «допустил академические проступки в своих исследованиях». Он ушел в отставку, вступив в силу в следующем июне.

Хорошее исследование начинается с четкого представления о том, что человек ищет и ожидает найти. Data Mining просто ищет шаблоны и неизбежно находит их.

В настоящее время эта проблема стала эндемичной, поскольку мощные компьютеры настолько хороши в разграблении больших данных. Майнеры данных обнаружили корреляцию между словами Твиттера или поисковыми запросами Google и преступной деятельностью, сердечными приступами, ценами на акции, результатами выборов, ценами на биткойны и футбольными матчами. Вы можете подумать, что я делаю эти примеры. Не я.

Есть даже более сильные корреляции с чисто случайными числами. Гордость больших данных считает, что корреляции, основанные на данных, должны быть значимыми. Найти необычный шаблон в «Больших данных» не более убедительно (или полезно), чем найти необычный номерной знак за пределами класса Фейнмана.

ПРОВОДНОЕ Мнение публикует произведения, написанные сторонними авторами, и представляет широкий спектр точек зрения. Читайте больше мнений здесь. Отправить рецензию по адресу мнение@wired.com


Больше великих проводных историй