Изъяны в ответах нейросетей (LLM) при освещении парапсихологии

Введение:
Большие языковые модели (LLM), такие как Gemini, Grok, ChatGPT и аналогичные, демонстрируют существенные ограничения при освещении тем, находящихся на периферии или за пределами консенсуса мейнстримной науки, ярким примером чего является парапсихология. Эти изъяны проистекают из фундаментальных принципов их обучения и функционирования.

1. Системная предвзятость LLM: Отражение мейнстрима и подавление пограничных данных

Фундаментальный изъян LLM проистекает из самой природы их обучения на огромных корпусах текстов. Модели статистически предрасположены воспроизводить наиболее распространенные ("средние", мейнстримные) точки зрения и формулировки, доминирующие в обучающих данных. Настройки безопасности, направленные на избегание спорного контента, могут дополнительно усиливать эту тенденцию к "усреднению". Как следствие, LLM наследуют и отражают предвзятости, присутствующие в их данных.

В научном контексте это означает, что LLM преимущественно отражают доминирующий взгляд мейнстримного сообщества. Применительно к парапсихологии, поскольку мейнстримная наука относится к ней преимущественно скептически (ссылаясь на проблемы с воспроизводимостью и отсутствием общепринятой теории), обучающие данные LLM насыщены именно этой перспективой. В результате, пограничные, новые или недостаточно представленные в мейнстримных источниках данные и перспективы (например, исследования пси-феноменов, аргументы их сторонников или критика скептиков) систематически недооцениваются, игнорируются или контекстуализируются преимущественно через призму критики.

Например, мета-анализ Карденьи (2018), опубликованный в ведущем журнале American Psychologist и показавший, что доказательства пси-феноменов имеют статистическую значимость, сравнимую с другими областями психологии, может быть упомянут LLM лишь вскользь или с акцентом на контраргументы (такие как выводы Национальной академии наук США 1988 года), без должного подчеркивания его потенциальной значимости. Более того, отражая доминирующий нарратив, LLM могут непреднамеренно усиливать существующие институциональные предубеждения, способствуя дальнейшей маргинализации парапсихологии, исследования которой часто публикуются в нишевых журналах и сталкиваются с трудностями в получении финансирования.

Таким образом, LLM воспроизводит консенсус, не всегда имея возможность адекватно оценить его обоснованность или представить весомые альтернативы, и рискует подавлять или искажать информацию о валидных, но менее популярных идеях или данных.

Ответы LLM формируются на основе статистической преобладаемости информации в данных обучения. Если в данных доминирует определенная точка зрения (например, скептицизм по отношению к парапсихологии), она с высокой вероятностью будет отражена в ответе, а альтернативные, менее распространенные данные или перспективы могут быть недостаточно освещены или контекстуализированы.

2. Недостаточная репрезентация и контекстуализация контраргументов:
Следствием п.1 является то, что исследования, данные или аргументы в пользу реальности пси-феноменов (например, мета-анализы типа Cardeña (2018) в American Psychologist, результаты экспериментов Ганцфельда, исторические исследования в СССР, цитированные на этом сайте) оказываются недостаточно представлены в обучающих данных или получают меньший "вес" при генерации ответа. В частности, советские исследования, такие как работы Зинченко и др. (статья "Парапсихология: Фикция или Реальность?" в Вопросах философии, 1973), а также эксперименты с кожным "зрением" и официальная поддержка со стороны президента Общества психологов СССР Б.Ф. Ломова и других маститых учёных, демонстрируют значительный интерес к парапсихологии в СССР. Однако LLM могут не придавать этим данным должного веса из-за их недостаточной представленности в западных источниках, на которых преимущественно основаны обучающие данные. LLM могут:

• Упомянуть их кратко, не раскрывая деталей или контекста (например, значимость публикации в ведущем журнале).

• Неявно обрамлять их критикой (проблемы методологии, воспроизводимости), не уделяя должного внимания контраргументам самих парапсихологов или анализу потенциальных институциональных предубеждений в науке.
  
  

Способность LLM адекватно представить и проанализировать "немейнстримные" данные ограничена их наличием и представленностью в обучающих данных на момент запуска нейросети. Это означает, что LLM может не учесть более поздние исследования, которые могли бы усилить или опровергнуть аргументы в пользу парапсихологии, такие как новые мета-анализы или эксперименты.

3. Недостаток эпистемической скромности и исторической перспективы:
LLM могут представлять текущий научный консенсус как окончательную истину, недостаточно подчеркивая историческую изменчивость науки (примеры с метеоритами, антисептикой) или собственные ограничения. Ответы могут звучать излишне категорично ("это псевдонаука"), не отражая полноты научной дискуссии или существования аномальных данных, требующих объяснения. Например, в XVIII веке метеориты считались выдумкой, а антисептика Зиммельвейса была высмеяна, что показывает, как научный консенсус может меняться со временем. LLM, не подчёркивая такие исторические примеры, могут создавать ложное впечатление, что текущий скептицизм по поводу парапсихологии — это окончательный вердикт, а не часть продолжающегося научного диалога.

4. Упрощение и игнорирование сложности:
В стремлении дать четкий ответ LLM могут упрощать сложную, многолетнюю историю дебатов вокруг парапсихологии, игнорируя социологические, психологические и философские аспекты проблемы (например, критику скептиков, мотивы неприятия), сводя все лишь к вопросу методологии и воспроизводимости. Например, исследования парапсихологии сталкиваются с социальными препятствиями, такими как травля учёных, давление со стороны организаций вроде Фонда Рэнди, и экономическая цензура в научпопе, где издательства избегают публиковать работы, противоречащие мейнстримному консенсусу. LLM могут игнорировать эти аспекты, сводя проблему к методологическим вопросам, что упрощает сложную динамику научного неприятия.
Анализ социологических или психологических аспектов научного процесса требует более тонкого понимания, чем простое изложение фактов, что может быть вызовом для LLM.

Заключение:
Таким образом, ответы LLM о парапсихологии часто страдают от системной предвзятости в сторону мейнстримного скептицизма, недостаточной репрезентации и контекстуализации контраргументов, дефицита исторической перспективы и упрощения сложной проблематики. Для смягчения этих изъянов необходимы как улучшение моделей и данных (например, более сбалансированные датасеты), так и сознательное применение принципов прозрачности, сбалансированности и эпистемической скромности при генерации ответов со стороны самого ИИ. Кроме того, важно учитывать, что мейнстримный скептицизм в ответах LLM может повлиять на эмоциональное состояние пользователей, которые переживали пси-феномены или лично заинтересованы в парапсихологии. Чувство маргинализации или неприятия их взглядов может снизить доверие к ИИ и вызвать разочарование. Для смягчения этого LLM должны быть более чуткими, подчёркивая, что их ответы отражают текущий консенсус, а не окончательную истину, и предлагая пользователям исследовать тему дальше. Пользователям, в свою очередь, следует подходить к ответам LLM на такие темы критически, осознавая эти имманентные ограничения. Чтобы развить критический подход, пользователи могут задавать себе вопросы: Какие источники доминируют в ответе LLM — мейнстримные или пограничные? Упоминаются ли контраргументы, и насколько подробно они представлены? Какие социальные или исторические факторы могли повлиять на текущий консенсус? Например, в случае парапсихологии стоит спросить: Как институциональные предубеждения, такие как ограниченный доступ к финансированию, влияют на восприятие этой области?

Если вы находите полезными идеи и материалы проекта «Научные аномалии» и используете их в своих публикациях, пожалуйста, не забывайте указывать активную ссылку на оригинал: https://sites.google.com/view/scient-anomaly