Насколько распространена проблема невоспроизводимых результатов

Материал подготовлен редакцией ИноСМИ специально для раздела РИА Наука >>

Джордж Джонсон (George Johnson)

В моем первом материале, появившемся в «Исходных данных» (Raw Data), в моей новой ежемесячной колонке в газете New York Times я размышлял о том, что в науке называется проблемой невоспроизводимых результатов. Опасения по поводу того, что весь корпус научных знаний загрязняется сомнительными сведениями – экспериментами, которые не могут быть воспроизведены в других лабораториях, — стали столь значительными, что журнал Nature пообещал ввести новые меры, способствующие «улучшению согласованности и качества статей, посвященных науке о жизни», а также составил шокирующий архив под названием «Вызовы в области невоспроизводимых исследований» (Challenges in Reproducible Research).

Подобная озабоченность возникает не только в эпидемиологических исследованиях, где некоторые формы воздействия (наркотики, пища, поведение или загрязнение окружающей среды) коррелируются позитивно или негативно с человеческим здоровьем, но также в лабораторных исследованиях. Речь идет о науке чашек Петри и химических реагентов, а объекты ее исследований различаются по своей сложности в диапазоне от человеческих клеток до генетически измененных мышей. Для меня наиболее неприятным откровением оказалась неудачная попытка группы ученых воспроизвести результаты 47 из 53 «важнейших» экспериментов в области биологии раковых заболеваний. Я не мог не задать вопрос относительно того, не входят ли некоторые из упомянутых исследований в тот список, который я процитировал в моей книге «Хроники рака» (The Cancer Chronicles). Из-за заключенных соглашений о конфиденциальности эта информация содержится в тайне.

Тот предмет, на котором я сконцентрировался в моей колонке в газете Times, был связан не с обманом в науке, поскольку такие случаи, на мой взгляд, весьма редки, но с той легкостью, с который мы, человеческие создания, мастера в области распознавания шаблонов, способны обмануть себя и заставить увидеть закономерности там, где на самом деле их нет. Картины из облаков. При всех существующих благих намерениях эти данные имеют возможность когда-нибудь войти в корпус научной литературы, и тогда они будут цитироваться и цитироваться без какой бы то ни было проверки. Как я уже сказал, безумно сложной может быть попытка провести различие между тем, что мы видим, и тем, что мы думаем, что мы видим. Этот феномен приводит меня в восторг с того времени, как я написал книгу «Пожар в уме» (Fire in the Mind), и я вновь коснулся этой темы в инаугурационном посте «Зажигание спички» (Lighting the Match) для этого блога.

Наибольшее количество опубликованных исследований в большей мере имеют отношение к биологической науке, и эта область оказалась в фокусе внимания в ходе недавних споров по поводу воспроизводимости. А что можно сказать о столь же важной работе, проводимой в физике, химии, геологии, а также в других так называемых естественных науках? Моя коллега Фэй Флэм (Faye Flam) поднимает этот вопрос в своей весьма критичной статье, опубликованной в блоге журналистской программы Knight Science Journalism Tracker по поводу моей колонки.

Насколько мне удалось выяснить, исследования в этих областях не подвергались такой же проверке, которую Джон Иоаннидис (John Ioannidis) и Глен Бегли (Glen Begley) (источники для моей колонки в газете Times) осуществляют в биомедицинском мире. Не было никаких заявлений относительно того, что десятки основополагающих открытий, скажем, в физике высоких энергий или в области ядерной химии не могли быть воспроизведены. Одна из причин, возможно, состоит в том, что более высокие статистические стандарты часто используются при анализе данных, особенно в исследованиях с использованием ускорителей элементарных частиц. И широко разрекламированные открытия, включая подтверждение существования истинных кварков (top quark) или недавнее открытие бозона Хиггса (Higgs boson), включали в себя встроенные системы воспроизведения – два детектора управлялись различными группами ученых, зафиксировавшими одинаковые результаты.

Флэм считает, что существует еще одна причина того, что литература в области физики может быть сравнительно здоровой: «Физики говорят, что они не могут просто подогнать любые старые гипотезы, поскольку они жестко ограничены квантовой механикой и общей теорией относительности. И они ограничены также огромным количеством измерений того, каким образом атомы, частицы и свет ведут себя в реальном мире. Поэтому они не имеют возможности просто выдумать  какую-нибудь сомнительную гипотезу без того, чтобы не нарушить определенные аспекты реальности в том виде, в котором она измеряется».

Другое соображение связано с тем фактом, что человеческие тела отличаются друг от друга, тогда как электроны, протоны и бозоны Хиггса одинаковы, и поэтому, естественно, вы не получите такую же «истину», задавая вопрос о массе электрона, когда вы спрашиваете о рисках и о пользе ежедневного применения аспирина.

Это неплохие аргументы, если речь идет о различии между физикой элементарных частиц и эпидемиологией. Но это лишь небольшая часть биомедицинской науки. А что можно сказать об искусных и великолепно контролируемых экспериментах, проводимых в лабораториях? Находятся ли гипотезы относительно внутриклеточных ферментных путей и воздействия микроРНК (microRNA) на регуляцию протеина под значительно меньшими ограничениями, чем, скажем, физика твердых тел или материаловедение?

В последнем номере журнала Science Роберт Сервис (Robert Service) описывает острую полемику по поводу того, удалось ли или нет одному исследователю в Швейцарии создать экзотические образования, состоящие из золотых наночастиц с нанесенными на них органическим способом полосками? Как я написал в газете Times, в любого рода лабораторной науке существует опасность «бессознательного включения собственных ожиданий в полученные результаты, как это происходит с посланием, исходящими от используемой в спиритических сеансах «Говорящей доски» (Qiuja board).

Вот такого рода вопросы я намерен обсуждать в рублике Raw Data, а также в заключительных – одном или двух – постах, подготовленных для этого блога.

Оригинал публикации здесь