Проблемы учёных: как один психолог пытается бороться с влиянием когнитивных искажений на науку

https://geektimes.ru/post/296889/

Иногда кажется удивительным, что наука вообще как-то работает.

Множество результатов опубликованных исследований ошибочны или преувеличены, и примерно 85% ресурсов потрачено на исследования впустую.

Проблемы ложных открытий часто начинаются с того, что исследователи подвергаются самообману неосознанно: они становятся жертвой когнитивных искажений, способов мышления, приводящих нас к неверным, хотя удобным или привлекательным заключениям.

Самым распространённым и проблемным искажением в науке является «доказательство с заинтересованностью»: интерпретация результатов для подгонки их под идею.

«Чтобы заработать практику, гранты, статус, учёным необходимо часто публиковаться в крупных журналах, — говорит он. — Это стимулирует на положительные и „прорывные“ открытия, поскольку именно они смогут заслужить цитаты и влияние. Поэтому нет ничего особенно удивительного в том, что учёные обманывают себя, стараясь увидеть идеальные революционные результаты в своих экспериментальных данных».

К примеру, из-за известной склонности фармацевтических компаний и их партнёров сообщать о позитивных результатах исследований и спускать на тормозах негативные, в США теперь по закону требуется вносить в реестр все клинические испытания перед их началом. Это обязывает исследователей сообщать о результатах с любым исходом.

Носек организовал схожую схему предварительной регистрации исследований под названием «открытая научная платформа» [Open Science Framework, OSF]. Он готовился к ней много лет, но запустилась она только когда бывший разработчик ПО Джефф Спайс [Jeff Spies] присоединился к его лаборатории в 2009-2010 годах и занялся ею в качестве проекта для диссертации. «Многие люди включились в проект, и он очень быстро вырос до крупных размеров, — говорит Носек. — Мы запустили веб-сайт OSF, и вокруг него собрались сообщество и инвесторы». Носек и Спайс соосновали Центр открытой науки в Шарлотсвилле в 2013 году, который сейчас занимается управлением OSF и может предоставлять его услуги бесплатно.

Идея в том, говорит Носек, чтобы исследователи «заранее записывали, что они изучают и что, по их мнению, должно произойти». Затем, когда они проводят эксперименты, они соглашаются на анализ результатов строго в рамках изначального плана. Звучит элементарно, похоже на то, как о работе науки рассказывают детям. Так и есть — но на самом деле так происходит очень редко. Вместо этого, как признаётся Фидлер, анализ проводится на базе неописанных и обычно подсознательных предположений о том, какие результаты будут или не будут получены. Носек говорит, что исследователи, использовавшие OSF, часто на этапе получения результатов удивлялись, как сильно их проект отошёл от первоначальных целей, заданных ими.

«В настоящее время мы смешиваем изыскательские и подтверждающие исследования, — говорит он. — Факт, который всё время забывают — нельзя создавать гипотезы и проверять их на основе одних и тех же данных». Если вы находите новый, интересный путь, по нему нужно следовать отдельно, а не говорить себе что эксперимент с самого начала и был посвящён именно ему".

Как сказал Оранский: «Одна из самых сложных проблем — заставить учёных перестать себя обманывать. Это требует устранения доказательств с заинтересованностью и склонности к подтверждению своей точки зрения, а хороших решений этих проблем я не встречал». Так что, Носек считает, что кроме OSF необходимыми ограничениями должны стать публикация с открытым доступом и открытые и непрерывные экспертные оценки.

«Критичные барьеры, подлежащие изменению находятся не в технической или финансовой сфере, но в социальной области. И хотя учёные сохраняют текущее положение вещей, в их силах его изменить».