Старший научный сотрудник IONS Дин Радин резюмирует содержание прорывной статьи в одном из главных психологических журналов США - American Psychologist. В статье даётся обзор метаанализов исследований парапсихологических феноменов. 

Редколлегия официального журнала Американской психологической ассоциации посчитала данные и метаанализ, которые были представлены в статье Этцеля Карденьи (Лундский университет, Швеция), качественными. Также они согласились с заключением автора статьи: «Доказательства существования парапсихологических феноменов сравнимы с данными об установленных явлениях в психологии и других дисциплинах, хотя единого понимания их нет».

Статья опубликована в официальном журнале Американской психологической ассоциации

Оригинал статьи (английский язык)

The Experimental Evidence for Parapsychological Phenomena: A Review

Etzel Cardeña

Lund University

2018

В этой статье представлена комплексная интеграция современных экспериментальных данных и теорий о так называемых парапсихологических (пси) явлениях. На протяжении всей истории люди сообщали о событиях, которые, казалось бы, противоречили общепринятому представлению о пространстве и времени. Некоторые психологи были в авангарде исследования этих явлений с помощью сложных протоколов исследований и теории, в то время как другие посвятили большую часть своей карьеры критике в этой области. Обе точки зрения можно объяснить опытом психологов в отношении соответствующих процессов, таких как восприятие, память, убеждения, а также сознательные и бессознательные процессы. В этой статье разъясняется область пси, обобщаются недавние теории физики и психологии, которые представляют пси феномены как минимум правдоподобные, а затем дается обзор недавних/обновленных метаанализов. Доказательства обеспечивают кумулятивную поддержку реальности пси, которую нельзя легко объяснить качеством исследований, мошенничеством, выборочными отчетами, экспериментальной или аналитической некомпетентностью или другой частой критикой. Доказательства существования пси сравнимы с данными об установленных явлениях в психологии и других дисциплинах, хотя единого понимания их нет. Статья завершается рекомендациями для дальнейшего прогресса в этой области, включая использование репозиториев проектов и данных, проведение междисциплинарных исследований с достаточной мощностью, дальнейшую разработку бессознательных измерений пси и фальсифицируемых теорий, анализ характеристик успешных сеансов и участников, повышение экологической валидности. исследований, проверяя, как увеличить размеры эффекта, привлекая больше исследователей, по крайней мере, открытых для возможности пси, и помещая пси явления в более широкие области, такие как изучение сознания.

Ключевые слова: парапсихология, психические исследования, пси, метаанализ, аномальное познание.

Профессора Бернард Карр, Дэвид Прести и Брайан Джозефсон дали полезные отзывы о разделе, посвященном физике. Софи Рейман, доктор философии, как всегда, предоставила обширную поддержку и мудрые редакционные советы. Корреспонденцию по поводу этой статьи следует направлять Этцелю Карденья, факультет психологии, Центр исследований сознания и аномальной психологии (CERCAP), Лундский университет, P.O. Box 213, SE-221 00, Лунд, Швеция. Электронная почта: etzel.cardena@psy.lu.se

Люди во всех сферах жизни сообщали о событиях, которые, кажется, нарушают нынешний взгляд здравого смысла на пространство и время, от снов, которые, кажется, якобы предсказывают невыводимое, драматическое событие, до более приземленного утверждения бывшего премьер-министра Швеции о том, что он может почувствовать, когда его жена собирается позвонить ему (Тунберг, 2006). В различных опросах большинство респондентов подтвердили веру в такие явления, которые могут оказать заметное влияние на их жизнь (Watt & Tierney, 2014). За последние несколько лет исследования парапсихологии (пси) появились в крупных журналах по психологии (например, Bem, 2011; Storm, Tressoldi, & Di Risio, 2010a, 2010b), и были опубликованы всесторонние обзоры доказательств за и против пси. (Cardeña, Palmer, & Marcusson-Clavertz, 2015; May & Marwaha, 2015), но недавних публикаций об интеграции современных теорий и фактических данных не было. Некоторые психологи были в авангарде проведения поддерживающих исследований и теорий; другие посвятили большую часть своей карьеры критике в этой области. Обе точки зрения можно объяснить опытом психологов в отношении соответствующих процессов, таких как восприятие, память, убеждения, а также сознательные и бессознательные процессы. Однако многим психологам, вероятно, не хватает основательных знаний в этой области. Информированный пси-скептик писал: «Большинство психологов можно с полным основанием назвать неосведомленными скептиками — меньшинство можно с полным основанием назвать предубежденными фанатиками — когда речь идет о паранормальных явлениях» (French, 2001, стр. 7). Таким образом, важно иметь обзор и обсуждение исследований и теории по теме. В этой статье (а) будет представлена область пси-исследований; (б) обсудить соответствующие теоретические основы физики, психологии и эволюционной теории; (c) обзор недавних/обновленных мета-анализов в полевых условиях; и (d) предоставить руководящие принципы для будущих исследований.

Сфера пси-исследований

С момента основания в 1882 году Общества психических исследований исследования пси использовали или даже развили научные практики с целью «исследовать без предрассудков и предубеждений» природу этих явлений. Парапсихологию можно определить как изучение предполагаемых пси-феноменов с использованием научного метода, и Парапсихологическая ассоциация, профессиональная ассоциация в этой области, с тех пор является филиалом Американской ассоциации содействия развитию науки (крупнейшего в мире общего научного общества). 1969. Пси обычно включает две основные области: (1) то, что раньше называлось экстрасенсорным восприятием, или ЭСВ, и (2) психокинез, или ПК. ЭСВ включает предполагаемую телепатию (нахождение под влиянием чьих-то мыслей или эмоций, не опосредованное чувствами или логическим выводом, например, более точное, чем можно было бы ожидать, предположение о том, кто неожиданно посылает вам электронное письмо), ясновидение (получение информации о далеком состоянии). событий, не опосредованных чувствами или логическим выводом, например, при дистанционном наблюдении (RV - remote viewing), когда кто-то точно описывает детали места, выбранного кем-то другим наугад), предвидение/предчувствие (нахождение под влиянием события, происходящего в будущее, которое нельзя было предвидеть, как, например, во сне о самолетах, разбивающихся о высокие здания в ночь перед 11 сентября), и ретропознание (наличие невыводимых знаний о прошлом событии). ЭСВ — это вводящий в заблуждение термин, поскольку он предполагает восприятие как опосредующий механизм, хотя в настоящее время мало кто из исследователей пси-психологии предполагает, что это так. Кроме того, различие между этими явлениями зависит от того, как они проверяются или рассматриваются, а не от различных механизмов. Примеры, обозначенные как ясновидение, также могут рассматриваться как телепатия, и оба они могут быть отнесены к предвидению, потому что кто-то в какой-то момент в будущем узнает эту информацию. В этой статье будет использоваться термин «аномальное познание» (Cardeña et al., 2015; May, Utts, & Spottiswoode, 1995). Психокинез (ПК) относится к предполагаемому прямому действию ментальных событий (например, намерению) на физические объекты, не опосредованному мышечной или косвенной механической активностью. Существует макропсихокинез (или аномальная сила), воздействующий на наблюдаемые объекты, такие как левитирующий стол, без какого-либо явного механического объяснения, и микропсихокинез (или аномальное возмущение), воздействующий на небольшие, ненаблюдаемые события, такие как ментальное воздействие на результат случайного генератор чисел, который в противном случае выдает случайные выходные данные. Некоторые пси-исследователи изучают возможность выживания сознания после смерти, в том числе исследования детей, которые спонтанно сообщают информацию о прошлой жизни, к которой ни они, ни их близкие, по-видимому, не имели доступа (Mills & Tucker, 2015), но которые также интерпретировались как примеры аномального познания, а не выживания (Sudduth, 2009). Для оценки пси-феноменов можно использовать как описательный, так и экспериментальный подходы. С самого начала психология и парапсихология не были четко отдельными дисциплинами, и основоположники первой также поддерживали вторую (Cardeña, 2015a; Sommer, 2013. К ним относятся Бехтерев, Ганс Бергер (изобретатель электроэнцефалограммы), Бине, Фехнер, Зигмунд Фрейд, Лурия, Рамон-и-Кахал и президенты Американской психологической ассоциации (АПА) Уильям Джеймс и Гарднер Мерфи, а совсем недавно преподаватели ведущих университетов, таких как Гарвард, Принстон и Стэнфорд, включая бывшего президента АПА, поддержали продолжение исследований в области psi (Cardeña, 2014). Парапсихология также внесла свой вклад в методы и предметные области, позже интегрированные в психологию, среди которых первое использование рандомизации наряду с систематическим использованием процедур маскировки (Hacking, 1988), первое всестороннее использование метаанализа, в 1940 г. (Gupta & Agrawal, 2012), изучение предварительной регистрации с 1976 г. (Johnson, 1976) и новаторский вклад в психологию галлюцинаций, рассказы очевидцев, диссоциативные и гипнотические явления (обзор см. в Hövelmann, 2015).

Пси-феномены и физические теории

Поскольку пси-феномен иногда априори считается нарушающим принципы физики, мы обсудим три общих возражения, а именно, что (1) они нарушают «законы природы»; (2) если они будут приняты, они сделают научные достижения недействительными; и (3) нет никаких теорий для их объяснения. То, что часто понимается пси-критиками как нарушение законов природы, включает в себя предположения о том, что событие не может повлиять на другое на расстоянии без какой-либо опосредующей формы известной энергии, будущие события не могут повлиять на предыдущие, а ментальные события не оказывают прямого воздействия на кого-либо, кроме организма, посвященного в них. Однако квантовая механика (КМ) и теория относительности Эйнштейна обрисовали реальность, которая существенно отличается от предположений здравого смысла. Нобелевский лауреат и пионер молекулярной биологии Макс Дельбрюк (1986) выразил это так: «Современная наука. . . заставил нас отказаться от абсолютного пространства и времени, детерминизма и абсолютного объекта» (стр. 279).

Нелокальность

В своей интерпретации КМ (и эксперты расходятся во мнениях о том, как ее интерпретировать, например, Шлоссхауэр, Кофлер и Цайлингер, 2013) выдающийся физик Бернард д'Эспанья (1979, 2006) обсуждал последствия экспериментов, показывающих, что измерение / наблюдение свойств частицы, таких как ее спин, мгновенно определяет состояние другой частицы, связанной с ней, независимо от того, насколько она удалена. Запутанность означает, что квантовые состояния таких частиц не являются независимыми, а являются частью системы, которая может быть создана различными способами. Д'Эспаньят пришел к выводу, что такие эксперименты опровергают теорию локального реализма о том, что эффекты не могут распространяться быстрее света и что объекты, расположенные далеко друг от друга в пространстве, относительно независимы. Для него мир состоит не из отдельных “материальных” объектов, встроенных в пространство-время, а из неразделимого поля, “скрытой реальности”, с которой взаимодействует сознание. Он пришел к выводу, что последствия КМ и “мыслителей, склонных к трансцендентализму” (д'Эспаньят, 2006, с. 429) имеют общие черты, как и известный физик Дэвид Бом (1986) в своей теории имплицитного порядка или направляющего поля, которую он применил к пси-явлениям. Журналист Scientific American Джордж Массер (2015) также поддержал нелокальную интерпретацию КМ и счел пространство ”обреченной концепцией" (стр. 125). Он также описал, как эффекты, нарушающие предположения о локальности, проявляются не только на уровне частиц, но и на космическом уровне (и на мезоуровне живых существ; см. Ламберт и др., 2013). Исходя из этого, принстонский философ-физик Ханс Халворсон пришел к выводу, что некая форма сверхпереплетения связывает каждый аспект всего сущего во Вселенной (Мюссер, 2015, с. 139). Таким образом, в принципе, пси-феномены - такие, как внезапная смерть близкого человека в другом месте - согласуются с нелокальным взглядом на вселенную. Более того, по сравнению с классической физикой, которая описывает вселенную, где все определяется предыдущими причинами, КМ предполагает, что до того, как произойдет коллапс квантовой волновой функции в результате какого-либо измерения, объекты являются всего лишь вероятностными функциями (Мюссер, 2015). В парапсихологии наблюдательные теории предполагают, что пси-эксперименты используют неопределенность системы, которая может быть слегка искажена намерением наблюдателя (Миллар, 2015), или, как выразился Стэпп (2017), “соответствующими условиями, которые включают испытываемые эмоции биологических агентов” (стр. 106)..

Время 

Теории времени Эйнштейна и последовавшие за ними эксперименты продемонстрировали, что объективно измеряемые время и пространство не являются абсолютными и зависят от таких переменных, как положение и скорость наблюдателей и гравитационное поле. Например, события, которые все еще происходят в будущем медленно движущегося индивидуума, могут уже произойти с более быстро движущимся индивидуумом; более того, в специальной теории относительности блочной вселенной прошлое, настоящее и будущее сосуществуют одновременно, хотя мы переживаем только настоящее (Дэвис, 2002). Несмотря на наше типичное восприятие времени как всего лишь постоянно удаляющейся серии мгновений, эксперименты по квантовой ретропричинности (или обратной причинности) предполагают, что будущие события могут влиять на предыдущие. Например, измерение спина частицы, которое сводит ее вероятностную волновую функцию к определенному значению, по-видимому, задним числом определяет спин задержанного фотона, запутанного с ней. Физик Дэниел Шихан (2011, 2015) пришел к выводу, что эксперименты в области физики и пси поддерживают ретрокогнитивные эффекты, а физик и парапсихолог Эдвин Мэй разработал теорию, согласно которой сигналы из будущей точки пространства-времени, такие как конечное знание цели эксперимента, могут влиять на предыдущие кортикальные процессы тех, кто пытается это угадать (например, Marwaha & May, 2016). Альтернативное объяснение заключается в том, что сознание может повлиять на будущее событие (Stapp, 2017).

Сознание/Чувствительность 

Одна из интерпретаций КМ требует, чтобы измерение, которое приводит к свертыванию волновой функции вероятностей в определенный результат, проводилось разумным наблюдателем (Stapp, 2017). В соответствии с каузальной ролью чувствительности Дельбрюк (1986) подверг критике "картезианское разделение между разумом и материей" (стр. 279), а когнитивный психолог Макс Велманс (2000) также обсудил причины, по которым жесткое различие между “объективными” и “субъективными” явлениями является ошибочным. В связи с этим профессор космологии написал, что "материалистическая позиция в физике, по-видимому, опирается на шаткую метафизическую почву" (Фрэнк, 2017, цитируется по подзаголовку), и поставил под сомнение материалистическую позицию в нейронауках для объяснения сознания. Известный философ сознания Томас Нагель (2012) пришел к выводу, что объяснительный разрыв между нейрохимическими процессами и ментальными переживаниями трудно устранить с материалистической, эволюционной точки зрения и что реальность не сводится к материальной, ментальной или функциональной сферам, но включает их все. Физик из Принстона Фримен Дайсон (Freeman Dyson, 1988, стр. 297) описал различные уровни разума от уровня частиц до космического уровня, а Велманс (Velmans, 2000) пришел к выводу, что непрерывная модель восприятия более экономична, чем та, которая предполагает, что ментальность просто возникает из материи на некотором уровне сложности. Чтобы добавить выдающихся нейробиологов к тем, кто поддерживает нематериалистические взгляды на разум, Кристоф Кох, ранее сотрудничавший с архи-редукционистом Фрэнсисом Криком (Crick & Koch, 1990), пришел к выводу вместе с Джулио Тонони, что сознание является фундаментальным свойством информации в сложных сущностях (Tononi & Koch, 2015, см. также Dyson, 1988; Келли, 2015). Но как "ментальные" события могут взаимодействовать с "физическими", предполагая, что они различаются онтологически? Профессор математики и космологии Лондонского университета Бернард Карр (2015) описал недавние гиперпространственные или гиперпространственно-пространственные подходы, которые предполагают дополнительные измерения помимо временных и трехмерных. Он предполагает, что события, которые кажутся отдаленными в нашем трехмерном пространстве, могут быть смежными в гиперпространстве, и что дихотомия между разумом и материей здравого смысла разрешается гиперпространственным "трансцендентальным полем", в котором ментальные явления могут иметь причинно-следственные связи. Физик Национальной лаборатории Лоуренса Ливермора Генри П. Стэпп (2017, стр. 65) разработал модель "реалистично истолкованной ортодоксальной квантовой механики", в которой сознательные намерения могут оказывать небольшое влияние на квантовые процессы, и действительно, исследования показали значительное малое влияние намерения на паттерны фотонных волн (Radin, Michel, & Delorme, 2016). Приведенные выше взгляды не "доказывают" существование пси-феноменов, но делают их правдоподобными, и некоторые физики предложили для них конкретные теории. Они также являются ответом психологам, которые заявляют, что их пси-феномены невозможны ("Парапсихологи верят в "невозможные" вещи", Алкок, 2010, с. 29; "(пси) противоречит тому, что мы считаем правдой о мире", - Вагенмейкерс, Ветцельс, Борсбум и Ван дер Маас, 2011, стр. 46).

Психологические и эволюционные теории Пси 

Две психологические теории, пси-опосредованная инструментальная реакция (PMIR; Стэнфорд, 2015) и теория первого взгляда (Карпентер, 2012), стремятся интегрировать пси с психологическими и эволюционными теориями. Хотя они различаются в деталях, оба предполагают, что пси-информация непрерывно, хотя обычно неосознанно, воздействует на психические процессы и может служить адаптивным и/или личностным склонностям. PMIR послужил основой для исследований, в ходе которых было обнаружено, что выполнение пси-заданий, включенных в эксперименты, не связанные с пси, влияет на производительность в экспериментах (см. раздел о неявном аномальном познании ниже). Предпосылка PMIR заключается в том, что организм может реагировать на события, находящиеся за пределами его сенсорной досягаемости, если бы он реагировал на них, если бы они были воспринимаемы, например, избегая невосприимчивой опасной ситуации, и существует мотивационный компонент того, на что организм, вероятно, обратит внимание в зависимости от его конкретных предрасположенностей и схем (Стэнфорд, 2015). Аналогично, согласно модели "первого взгляда": (а) пси не ограничено общепринятым представлением о времени и пространстве и является фундаментальным для всех организмов, и (б) оно в основном действует неосознанно, но может влиять на сознание и действия в соответствии с предрасположенностью организма (Карпентер, 2012). Существуют также объяснения того, почему было обнаружено, что изменения сознания связаны с пси. Согласно теории "шумоподавления", пси-информация является тонкой и, вероятно, останется неосознаваемой среди подавляющего количества информации, поступающей от органов чувств и телесных действий, если только эти входные данные не будут уменьшены (Honorton, 1977). Таким образом, процедуры, которые уменьшают эти раздражители, такие как медитация, гипноз и эксперимент Ганцфельда, должны способствовать осознанию пси (смотрите разделы, посвященные эксперименту Ганцфельду и исследованию сновидений ниже). Помимо ограничения сенсорной информации, изменения в сознании могут повысить вероятность осознания пси за счет уменьшения критического мышления и стимулирования чувства взаимосвязанности (Cardeña, 2010). Пси также обсуждался с эволюционной точки зрения. Согласно Броутону (Broughton, 2015), пси следует рассматривать в более широком контексте биологических процессов, включая функционирование мозга и эволюцию. Он заявил, что пси - это корреляция между будущими и предыдущими событиями, которую можно было бы поддерживать, даже обеспечивая всего лишь 1%-ное преимущество в физической форме. Этот небольшой эффект может незаметно влиять на решения с помощью интуиции и аналогичных механизмов, что согласуется с небольшими эффектами, обнаруженными в исследованиях. Исследования и наблюдения в природе подтверждают существование пси у других видов (Сафина, 2015; Шелдрейк, 2015). Что касается заявлений, подобных заявлению ученого-когнитивиста о том, что принятие пси-феноменов "привело бы к краху всей науки в том виде, в каком мы ее знаем" (Hofstadter, 2011, para. 9) наиболее разумный ответ заключается в том, что пси-феномены совместимы с некоторыми интерпретациями выдающихся физиков и проявляют небольшие эффекты, которые никоим образом не сводят на нет достижения современной науки (Stapp, 2017). В отчете Управления оценки технологий (1989) делается вывод о том, что важно выяснить, как пси может добиться "более справедливого рассмотрения в более широком спектре научного сообщества, чтобы эмоциональность не препятствовала объективной оценке результатов экспериментов" (стр. 337).

Краткое изложение метаанализов по Пси

В этом разделе кратко излагаются недавние или обновленные всесторонние мета-анализы пси-исследований, найденные в недавней всеобъемлющей антологии, в которой рассматриваются мета-анализы в этой области (Cardeña et al., 2015), контакты с исследователями парапсихологии и поиск дополнительной литературы. Последний использовал две базы данных, PsycINFO и Medline, без ограничения по языку или году, используя в качестве ключевых слов метаанализ или мета-анализ, а в качестве тематических слов - следующие: парапсихология, пси, телепатия, ясновидение, предвидение, психокинез, ПК, аномальное исцеление и ходатайственная молитва. Поиск выдал около 20 неперекрывающихся элементов, многие из которых были не метаанализами, а комментариями к ним. Все найденные всеобъемлющие недавние/обновленные метаанализы обсуждаются ниже наряду с более ограниченными, но актуальными. Хотя мета-анализы имеют ограничения, которые могут повлиять на их результаты (например, потенциальная предвзятость публикации), они способствуют получению знаний об устоявшихся и спорных областях (Chan & Arvey, 2012). Первичные источники в рассмотренных здесь метаанализах включают альтернативные и всесторонние анализы и оценивают переменные, которые могли повлиять на данные, включая качество оформления и однородность исследований, а также потенциальные неточности в публикациях. Таблицы 1 и 2 содержат статистические данные по полному и гомогенизированному (иногда после обрезки 10% экстремальных результатов в разнородных наборах данных) метаанализу, если таковые имеются.

Аномальное познание 

В исследовании аномального познания участники "угадывают" случайно выбранную цель из известного (например, набор карточек) или неизвестного (например, фрагмент фильма из большой выборки) набора без информации от органов чувств или логического вывода. Она включает в себя две основные модели исследования: свободную реакцию и вынужденный выбор (обзор мер предосторожности, обычно используемых для предотвращения путаницы, таких как утечка сенсорных данных и предвзятость суждений, смотрите в Palmer, 2015a). 

Свободный ответ. В исследованиях со свободным ответом цель, которую будут оценивать оценщики в масках, является частью не известного им набора, такого как колода карт, а большого или неопределенного набора данных, такого как фотография или фрагмент фильма из неизвестного большого или открытого набора (например, стимулы могут поступать из набор из десятков клипов, включая анимационные, документальные или художественные фильмы, или место, выбранное случайным образом). Были изучены различные типы протоколов свободного ответа. Ганцфельд - это немецкий термин, означающий "целое поле". В пси-исследованиях это относится к процедуре, при которой участник сидит в удобном кресле и слушает инструкции по физическому расслаблению и воздействию белого или розового шума (нерегламентированные случайные частоты, похожие на звук между радиостанциями), при этом два ацетатных овала закрывают глаза, перед которыми загораются красные лампочки. эффект бесформенного покраснения. Задача участника состоит в том, чтобы узнать о неизвестном изображении или клипе, выбранном случайным образом, которое может быть показано одновременно на удаленном компьютере, когда его никто не смотрит (ясновидение), кто-то наблюдает за ним (телепатия), или выбрано после того, как участник сделает выбор (предвидение). Методика пси Ганцфельда основана на теории "шумоподавления", упомянутой выше. Исследования Ганцфельда неоднократно подвергались метаанализу и являются наиболее последовательно поддерживающей базой данных для пси за последние несколько десятилетий. Методологическая разработка исследования Ганцфельда последовала за совместным коммюнике пси-критика Рэя Хаймана и пси-сторонника Чарльза Хонортона (Hyman & Honorton, 1986) о том, как проводить эксперименты. Самый последний и всесторонний метаанализ базы данных, проведенный Storm et al. (2010b) и Williams (2011), подтвердил наличие эффекта пси. Более ранний и более ограниченный мета-анализ, проведенный Милтоном и Уайзманом (1999), не выявил существенного эффекта, но если бы они использовали (по-видимому, указанный) точный биномиальный тест, это имело бы место (Storm et al., 2010b, стр. 473). В таблице 1 показаны метаанализы для (а) объединения всеобъемлющей предыдущей базы данных (Storm & Ertel, 2001) с новой базой данных и для (б) только новой базы данных (Storm et al., 2010b) для всех исследований, а также анализы для (в) объединения все однородные объединенные исследования и для (d) однородной новой базы данных, для которой был исключен выброс с очень высоким поддерживающим z-баллом. Что касается последнего, то отобранные участники (основываясь на предыдущем опыте работы с протоколом и/или чертах, связанных с эффективностью пси, таких как медитация) имели больший размер эффекта, ES 0,26, чем их коллеги, ES 0,05, t(27) 3,44, p.002. Уильямс (2011) сообщил, что в исследовании Ганцфельда участники примерно в 31% случаев угадывают правильную цель из четырех вариантов, представленных в случайном порядке, при среднем ожидаемом значении вероятности 25%. Хайман (2010) подверг критике Шторма и др. мета-анализ, утверждающий, что мета-анализы должны проводиться перспективно и что пси не может быть показан по запросу. Он также описал исследование Ганцфельда, которое не повторило этот эффект, хотя он проигнорировал другие, которые это сделали. Шторм и др. (2010a) ответили, что другие общепринятые в науке явления не могут быть созданы по требованию и что ретроспективный метаанализ обычно используется в науке. Роудер, Мори и Провинс (2013) провели байесовский вероятностный анализ нового набора данных Шторма и др. исключив исследования, в которых использовалась ручная рандомизация вместо компьютерной. Они пришли к выводу, что байесовский коэффициент снизился с 6 миллиардов до 1 примерно до 330 к 1, но из-за отсутствия правдоподобного механизма и возможности неопубликованных сбоев репликации метаанализ не поддержал пси. Однако они добавили, что степень доказательности была "выше, чем во многих рутинных исследованиях в области познания" (стр. 245). Шторм, Трессольди и Уттс (2013) провели байесовский анализ, не исключая исследований, в которых использовались случайные таблицы, как это сделали Роудер и др. (2013), и пришли к выводу, что их результаты действительно подтверждают пси-эффект. Баптиста, Дерахшани и Трессольди (2015) провели дополнительный анализ данных Ганцфельда, который подтвердил эффект пси и исправил общие утверждения о том, что (а) когда качество исследования Ганцфельда повышается, ES снижается (на самом деле, казалось, что имело место обратное), (б) ES снизилась в более поздние периоды исследований (этого не произошло), (c) пси обычно снижается в ходе длительного исследования (этого не происходит), и (d) анализ в картотеке разумного числа незарегистрированных незначительных результатов аннулировал бы значимые результаты (этого не происходит). В исследованиях имплицитного аномального познания добровольцы отвечают на психологическое задание со скрытым пси-аспектом. В качестве примера, в одном исследовании участники были частью исследовательской группы, и один из них должен был указать эстетические предпочтения японским иероглифам кандзи. Без их ведома они проверялись на пси-мишень, выбранную случайным образом. Когда участники выбирали цель пси-характера, их партнеры по исследованию выполняли более приятную задачу, чем те, чьи партнеры не выбирали цель пси-характера (Watt & Nagtegaal, 2000). Переменная результата заключалась в том, выбирали ли участники цель чаще, чем можно было бы ожидать случайно. Хотя метаанализ этих исследований не проводился, Палмер (2015b, стр. 227) в обзоре пришел к выводу, что исследования со скрытым вознаграждением имели более значимые результаты, чем можно было бы ожидать случайно. Связанные с этой парадигмой исследования, разработанные психологом из Корнелла Дэрилом Бэмом (2011), проверили гипотезу о том, что будущий стимул может оказывать обратное влияние на предыдущую реакцию. Бэм взял основные исследования прайминга, в которых предшествующее слово или изображение влияют на последующую реакцию, и "повернул время вспять" их таким образом, чтобы слово или изображение отображались после ответа добровольца. Например, в одной из его задач оценивалось, влияет ли согласованное или непоследовательное по валентности слово на время отклика предыдущего изображения. Бэм (2011) сообщил о девяти различных протоколах с участием более 1000 участников и обнаружил, что все из них, кроме одного, были независимо значимыми и что среднее значение ES было значительным (анализы были односторонними, но они оставались бы значимыми при проведении двухсторонних тестов). Таким образом, результаты подтвердили интерпретацию о том, что стимул, возникающий позже, может влиять на предыдущую реакцию чаще, чем можно было бы ожидать случайно. Исследования Бема, опубликованные в крупном психологическом журнале, вызвали бурю комментариев (Cardeña, 2015b). Метаанализ двух экспериментов Бема, наряду с попытками повторения авторами статьи и другими исследователями, пришел к выводу, что байесовский анализ не выявил пси-эффекта (Галак, Лебеф, Нельсон и Симмонс, 2012). В таблице 1 показан более крупный метаанализ всех попыток репликации до этого момента, 90 экспериментов из 33 лабораторий на момент публикации (Bem, Tressoldi, Rabeyron, & Duggan, 2015). Общий эффект был значительным (как и байесовский анализ), и оценки для всей базы данных и независимых повторений (исключая эксперименты Бема, анализ P-кривой 0,24) были аналогичными. Авторы сообщают, что потребовались бы сотни неопубликованных экспериментов с низкими ES, чтобы аннулировать значимые результаты их мета-анализа. Авторы также классифицировали репликации на две группы: пять протоколов, включающих автоматическую, "быстро думающую" бессознательную обработку, и два протокола, включающие "медленно думающую, совещательную обработку (см. Канеман, 2011). Все значимые результаты были получены группой “быстро соображающих”, и наиболее успешная из них использовала эротические стимулы, что в целом согласуется с рассмотренными ранее теориями, которые рассматривают пси как преимущественно неосознанный процесс, направленный на получение будущих подкреплений. Два "медленно соображающих" совещательных протокола не были значимыми ни по отдельности, ни совместно. В таблице 1 приведены совокупные результаты, разделенные по категориям. В повседневной жизни кажущееся аномальным познание часто происходит во время сновидений (Kelly & Tucker, 2015). Первый всесторонний анализ контролируемых исследований был проведен йельским психологом Ирвином Чайлдом (Irvin Child, 1985) на основе пси-исследований сновидений, проведенных в лаборатории сна Медицинского центра Маймонида. Этот протокол включал пробуждение (обычно выбранных) участников после того, как они находились в стадии быстрого сна, которая тесно связана со сновидениями, и запрос у них содержания сновидений. Задача участника состояла в том, чтобы увидеть во сне неизвестный образ, выбранный исследователями случайным образом либо во время сна участников, либо в более позднее время. Чайлд сообщил, что в 20 из 25 экспериментов содержание сновидения в среднем было правильно сопоставлено (вслепую) с целью непосредственно или в верхней половине двоичного деления множественного выбора на уровне выше случайности, с вероятностью 1,46 из 108. Радин (2006) подсчитал, что цель была оценена как находящаяся в верхней половине распределения с высокой степенью значимости в 63% случаев (50% - среднее ожидаемое значение вероятности). После программы Маймонида большинство исследователей полагались на дневники сновидений, которые дают гораздо более скудные воспоминания о сновидениях, чем пробуждения в фазе быстрого сна, а не на исследования в лабораториях сна, которые гораздо более требовательны. Шторм и др. (2017) провели метаанализ исследований Маймонида и постмаймонидовых периодов. Таблица 1 включает анализ для всех и однородной выборки, демонстрирующий поддержку гипотезы psi. Они также сообщают о повышении строгости проектирования с течением времени и отсутствии связи между качеством исследования (оцениваемым вслепую по семи критериям, включая надлежащую рандомизацию, хорошую маскировку и так далее) и ЭС. Они также провели байесовский анализ, который подтвердил их результаты. Их метаанализ включает в себя большое, хорошо контролируемое исследование Уотта (2014), в котором независимые судьи в масках сопоставляли отчеты о сновидениях с фрагментом фильма, который участники позже увидели. Получив предупреждение о потенциальном эффекте исключения из исследования, Уотт повторно проанализировала свои данные и все же обнаружила значительный эффект для запланированного теста (стр. 04; Watt & Valášek, 2015). 

Удаленный просмотр - это метод, при котором человек описывает место, выбранное случайным образом, где отправитель находится в настоящее время или в будущем (также может быть выбрано просто местоположение без какого-либо наблюдателя). После этого описание используется для выбора цели среди различных возможностей. Ассоциативный удалённый просмотр - это тип предсказательного удалённого просмотра, в котором участник пытается угадать цель, которая будет выбрана в будущем и которая может быть связана с определенным событием, например, изменением на фондовом рынке. В таблице 1 показано краткое изложение имеющихся данных Баптисты и др. (2015) (набор данных для Milton, 1997, является однородным после удаления трех исследований). Доверительные интервалы наборов данных имеют одинаковую величину и не включают 0,00, что указывало бы на отсутствие эффекта. Аналитик первых двух наборов данных (Стэнфордский исследовательский институт и Международная корпорация научных приложений; Utts, 1996) написал, что добровольцы, участвовавшие в предыдущих исследованиях, продемонстрировали больший ES (0,38), чем новички (0,16). Пси-скептик Хайман (1995) пришел к выводу, что эксперименты Международной корпорации Science Applications были "хорошо спланированы, и исследователи приложили все усилия, чтобы устранить известные недостатки предыдущих парапсихологических исследований... Я не могу предоставить подходящих кандидатов с учетом того, какие недостатки, если таковые имеются, могут присутствовать". Тем не менее, были высказаны возражения против базы данных Dunne and Jahn (2003), в которой выборка проводится без замены и не всегда цели выбираются случайным образом, но даже если исключить этот набор данных, общий эффект остается значительным (Baptista et al., 2015). В исследованиях предчувствия предполагается, что физиологическая активность, предшествующая непредсказуемому стимулу, позволяет предвидеть реакцию, которая последует за ним, например, что предшествующая кожная проводимость к эмоционально заряженным стимулам будет отличаться от проводимости нейтральных стимулов, чередующихся случайным образом. Моссбридж, Трессольди и Уттс (2012) провели мета-анализ соответствующих исследований, опубликованных в период с 1978 по 2010 год. Таблица 1 показывает, что общий ES для физиологической реакции, предшествующей стимулу, был значительным. Авторы также провели замаскированную предварительную аналитическую оценку качества исследований (в соответствии с уровнем экспертной оценки, типом генератора случайных чисел и тем, проводился ли анализ предвзятости ожиданий) и пришли к разделению на 13 наборов с более высоким и 13 наборов с более низким качеством. Хотя оба показателя были значимыми, исследования более высокого качества имели больший показатель, чем исследования более низкого качества (см. таблицу 1). Моссбридж и соавторы (2015) позже подробно ответили на критику их метаанализа, высказанную Шварцкопфом (Schwarzkopf, 2014). Вынужденный выбор. В исследованиях с принудительным выбором возможности угадывания ограничены, и эти возможности известны человеку, например, карты в рандомизированной колоде. Протокол определяет, может ли участник угадывать правильно чаще, чем можно было бы ожидать случайно. Такой дизайн был распространен в середине 20-го века. Хонортон и Феррари (1989) провели мета-анализ исследований предвидения вынужденного выбора, проведенных в период с 1935 по 1987 год 62 исследователями. В таблице 1 приведены результаты анализа для всех 309 экспериментов и для 248 однородных, выявляющие весьма значимые, но очень малые ESS. Они также сообщили, что ES оставался неизменным на протяжении десятилетий, что не было никакой связи между результатами исследования и индексом качества разработки, основанным на восьми критериях (например, заранее спланированный анализ и метод рандомизации), и что эффект картотеки не мог разумно объяснить результаты. Они также определили 17 лучших исследований с отобранными образцами и отзывами от испытания к испытанию, которые дали наибольший эффект по сравнению с любыми другими группами исследований в их базе данных, Z 15,84, ES 0,12. Результаты отобранных участников (основанные на предыдущих показателях) были лучше, чем у их коллег, t(246) 3.16, с. 001 (Honorton & Ferrari, 1989, см. также Baptista et al., 2015). Второй метаанализ экспериментов с принудительным выбором был проведен Штормом, Трессольди и Ди Рисио (2012) по 91 исследованию, проведенному в период с 1987 по 2010 год, и по 72 однородным исследованиям (см. таблицу 1). Они пришли к выводу, что имел место небольшой, но значительный эффект, и нет доказательств того, что результаты могут быть объяснены некачественным дизайном (основанным на шести критериях, включая соответствующую рандомизацию и случайное позиционирование цели) или выборочной отчетностью, и что ESs увеличивался с течением времени. Баптиста и др. (2015) сообщили, что среднее значение ES в исследованиях с отобранными участниками было больше, чем у невыбранных (ES .05 против . ES .008, стр. 001).

Аномальное возмущение

Аномальное возмущение относится к очевидному влиянию намерения на ненаблюдаемые системы, оцениваемому статистически (мета-анализ аномальной силы отсутствует). Исследование дистанционного влияния оценивает эффект намеренных усилий по изменению параметра в удаленной живой системе, не опосредованных известными физическими средствами. Шмидт (2015) обобщил свои метаанализы по трем областям: (а) прямое ментальное взаимодействие в живых системах, такое как измерение электродермальной активности (EDA) получателя, в то время как удаленный агент в произвольное время пытается возбудить или успокоить этого человека; (b) дистанционное наблюдение или изменения в EDA получателя, когда агент смотрит на него / нее через видео в произвольное время из отдельной комнаты; и (c) дистанционная помощь (или фасилитация концентрации внимания), при которой удаленный помощник пытается в произвольное время помочь медитирующему сосредоточиться на цели. Таблица 2 показывает, что все три исследовательские парадигмы поддерживали пси. Шмидт (2015) писал, что аналогичные оценки для трех областей подтверждают друг друга и предполагают одно и то же лежащее в основе явление. Тем не менее, были некоторые различия. Набор данных EDA - прямое ментальное взаимодействие в живых системах не включал четыре исследования с неадекватной рандомизацией, а в оставшемся наборе данных 36 однородных исследований наблюдалась отрицательная корреляция (r .40) между ES и качеством исследования (на основе 17 пунктов, включая адекватную рандомизацию и предварительную регистрацию). Таким образом, исследования были взвешены в соответствии с размером выборки и качеством исследования. Набор данных удаленного наблюдения был однородным (с незначительной корреляцией r .26 между качеством исследования и ES), как и набор данных удаленной помощи, поэтому эти ESS не оценивались по качеству исследования. Исследования бесконтактного исцеления включают так называемую ходатайственную молитву, дистанционное исцеление, рэйки и аналогичные стратегии, которые предполагают воздействие намерения на биологические ткани или целые живые существа, отличные от человека, имеющего намерение. Два предыдущих мета-анализа ходатайственной молитвы, частично перекрывающиеся, пришли к противоположным выводам относительно того, был ли действительный эффект (Hodge, 2007; Masters, Spielmans, & Goodson, 2006). Более всесторонне Роу, Соннекс и Роксбург (2015) провели мета-анализ двух типов исследований: тех, которые относятся к "исследованиям не на людях" (животные, растения и культуры in vitro), и тех, которые касаются "целых людей". Они отметили, что в то время как во второй категории в некоторых исследованиях было бы трудно не учитывать роль эффекта плацебо, результаты для первой категории вряд ли зависели от таких механизмов, как безусловные ожидания. Что касается исследований не на всех людях, Roe et al. (2015) выявили 49 гетерогенных исследований, которые имели значительный взвешенный ES. Взвешивание проводилось без осведомленности о результатах или авторстве и включало такие переменные, как рандомизация распределения лечения и хорошие процедуры маскировки. Поскольку существовали отрицательные корреляции между показателями качества эксперимента и ES, авторы отобрали 22 исследования, которые были оценены как имеющие хороший дизайн. Хотя ES уменьшился, он оставался значительным (см. таблицу 2). Для исследований на людях авторы выделили 57 исследований с адекватной методологией, которые дали значительный результат (см. таблицу 2), но поскольку существовала отрицательная корреляция между качеством дизайна и ЭП, они проанализировали 27 исследований с лучшей методологией, и ЭП остались значимыми (см. таблицу 2). Роу и др. предупрежден, что, поскольку график воронки в ESs предполагает предвзятость публикации (и некоторые авторы не предоставили точных значений вероятности, когда они не были значимыми), к результатам следует относиться с осторожностью. 

Игральная кость. Попытка повлиять на выпадение костей, как правило, в автомате, чтобы избежать возможных манипуляций, была распространенной исследовательской парадигмой, использовавшейся в середине 20-го века. Радин и Феррари (1991) провели мета-анализ 148 исследований, включавших более 2 миллионов бросков костей, в которых участники намеревались повлиять на падение костей, не прикасаясь к ним, и которые дали весьма значительный, но небольшой эффект в ожидаемом направлении (Z 19,68; стр. 01), при этом значения Z уменьшались, а методологические качество улучшается с течением времени. Этот набор данных включает исследования с физическим уклоном в использование более высоких граней кубиков в качестве мишеней, поэтому в таблице 2 показаны значимые, но очень незначительные результаты для 73 исследований после учета этого артефакта, а также для гомогенизированного набора из 59 исследований, указывающие на то, что кубики падали на намеченную грань чаще, чем можно было бы ожидать случайно. Для гомогенизированного набора данных ES не имел отношения к качеству проектирования. Для сравнения, в 31 контрольном исследовании выбранная грань падало не чаще, чем можно было бы ожидать случайно, Z 0,36, p.05. 

Микро-ПК. Беш, Стейнкамп и Боллер (2006) провели метаанализ 380 исследований, посвященных попыткам повлиять на генераторы случайных чисел (ГСЧ). В таблице 2 показаны значительные, но очень небольшие эффекты модели случайных эффектов для набора данных, включающего и исключающего три крупнейших исследования. Хотя 137 контрольных исследований, в которых не было намерения влиять на ГСЧ, не показали значительного отклонения, Z 1.51, стр. 13, авторы пришли к выводу, что результаты могут быть объяснены предвзятостью публикаций, поскольку наблюдалась большая гетерогенность и меньшее количество исследований ниже уровней p .05 и p .01, чем можно было бы ожидать от авторов. шанс. В более позднем повторном анализе данных Беша и др. Варвоглис и Бансел (2015, стр. 274) согласились с тем, что распределение уровней значимости предполагает некоторую предвзятость публикации, но предположили, что для аннулирования результатов потребуется "чрезвычайно большой" и нереалистичный эффект "ящика с файлами". Вместо этого они предположили, что неоднородность данных может быть объяснена талантом (методологическим и, возможно, парапсихологическим) конкретных экспериментаторов и гораздо более высокими, чем в среднем, показателями двух участников набора данных PEAR (Princeton Engineering Anomalies Research), которые предоставили четверть данных с zs 5,6 и 3,4 по сравнению с 0,8 для остальных участников. При неявном аномальном возмущении экспериментатор устанавливает скрытые или вторичные ГСЧ, на которые участники могут влиять без какого-либо необходимого сознательного намерения. Эти исследования частично вдохновили исследовательскую программу, которая проводится уже более 15 лет и известна как Проект глобального сознания (Nelson, 2015). Его предпосылка заключается в том, что события, которые одновременно затрагивают многих людей по всему миру (например, теракты 11 сентября), создают согласованность в человеческом сознании, которая влияет на случайность сети из 65 ГСЧ, расположенных в разных странах. Коллективный вывод RNG из временного окна вокруг таких крупных событий сравнивается со временем, в течение которого такие события не происходят. В таблице 2 представлен анализ 461 события со значительным результатом и значительными оценками на уровне события (Нельсон, 2015, и личное общение, 2016). По своей природе эти данные поступают из одного источника, но данные и анализ доступны по адресу noosphere.princeton.edu/results.html#alldata . Сравнивая все эти метаанализы, можно обнаружить последовательные закономерности. Во-первых, в целом мета-анализы подтвердили гипотезу пси, а те, которые этого не сделали (например, Galak et al., 2012; Milton & Wiseman, 1999), как правило, были заменены альтернативными, более всеобъемлющими метаанализами. Во-вторых, анализы, относящиеся к парадигмам свободного реагирования, имеют самый высокий ESs, варьирующийся от 0,11 до 0,39, причем большинство из них превышают 0,2. Затем следуйте ESs для дистанционного бесконтактного воздействия в диапазоне от 0,10 до 0,26. Значения ESS для исследования принудительного выбора, варьирующиеся от 0,01 до 0,04, примерно на порядок меньше, а значения аномальных возмущений для бросания игральных костей и микропсихокинеза (исключая проект Global Consciousness) также очень малы. В-третьих, отобранные участники, по-видимому, демонстрируют больше пси, чем невыбранные. Что касается последнего пункта, то в наиболее согласованных наборах данных (эксперимент Ганфельда, исследования снов и дистанционный просмотр) часто использовались отобранные участники, и анализы, рассмотренные ранее для эксперимента Ганцфельда, вынужденного выбора и микропсихокинеза, убедительно подтверждают эту практику (об исследованиях с "одаренными" индивидуумами в контролируемых условиях см. Edge, Моррис, Палмер и Раш, 1986). Характеристики, повышающие вероятность успешного прохождения пси-эксперимента, включают веру в то, что человек преуспеет в исследовании, некоторые психологические черты (например, экстраверсию и открытость опыту), ментальную практику, такую как медитация, и предыдущий опыт участия в пси-эксперименте (обзор смотрите в Cardeña & Маркуссон-Клаверц, 2015). В недавнем метаанализе экспериментов с принудительным выбором производительность положительно коррелировала с верой в пси, r .13, p .002, экстраверсией, r .08, p .02 и открытостью опыту, r .12, p .02 (Здренка и Уилсон, 2017). Художники, как правило, набирают больше баллов, чем случайно выбранные испытуемые и другие группы (Holt, Delanoy, & Roe, 2004). Есть доказательства того, что тестирование, когда участник находится в состоянии сознания, отличном от обычного, бодрствующего, способствует повышению пси-эффективности. Две из наиболее успешных парадигм предполагают естественные или индуцированные изменения (например, Ганцфельд, сновидение). В более раннем обзоре Хонортон (1977) сравнил результаты пси-исследований, включающих гипноз, медитацию, индуцированную релаксацию и Ганцфельда, и пришел к выводу, что они дали лучшие результаты, чем можно было бы ожидать случайно, в диапазоне от 1,2 109 до 6 1012 (более свежие обзоры см. Cardeña et al., 2015). Шторм и др. (2010b, стр. 476) сравнили исследования Ганцфельда, другие предполагаемые методы усиления пси, такие как медитация, и те, которые не используют методы усиления пси. У Ганцфельда был самый большой ES (0,14), за ним следовали другие методы усиления (ES 0,11) и исследования без методов (ES 0.03), последний отличается от Ганцфельда (средняя разница 0,17, р. 005). Эффект Ганцфельда может быть обусловлен тем, насколько сильно он изменяет состояние сознания (Маркуссон-Клаверц и Карденья, 2011; Роу, Ходриен и Кирквуд, 2012).

Обсуждение

Этот обзор метаанализов различных исследовательских протоколов поддерживает пси-гипотезу. Анализы удовлетворяют «локальным и глобальным критериям», указанным критиком пси, который требовал воспроизводимости, согласованности эффектов и кумулятивности (Office of Technology Assessment, 1989). Метаанализы, проведенные в исследованиях с использованием разных протоколов и разными исследователями, обеспечивают кумулятивную вертикальную и горизонтальную поддержку пси. Вертикальный в том смысле, что с течением времени различные протоколы продолжали давать положительные результаты, выходящие за рамки того, что можно было бы ожидать случайно, и с возрастающей методологической строгостью; горизонтальной в том смысле, что есть поддержка пси во всех областях исследований. Если бы только один или несколько протоколов из 10 были значимыми, а остальные нет, было бы легче предположить, что подтверждающие результаты могут быть связаны с артефактом. Кроме того, строгость мета-анализов пси со временем возросла и обычно включает оценку возможной выборочной отчетности, качества исследований и т.д. Теперь в статье будут рассмотрены некоторые распространенные критические замечания в отношении пси.

Если пси-феномены реальны, почему не все исследования их воспроизводят?

Принимая во внимание небольшой обнаруженный ES и потенциальные источники изменчивости, включая психологические и, возможно, парапсихологические эффекты экспериментатора (Palmer & Millar, 2015), следует ожидать, что некоторые исследования не будут воспроизведены (см. Barrett, 2015; Lewontin, 1994). По мнению профессора Гарварда Роберта Розенталя (1990),

Учитывая уровни статистической мощности, на которых мы обычно работаем, мы не имеем права ожидать той доли значимых результатов, которую мы обычно ожидаем, даже если в природе существует очень реальный и очень важный эффект. (стр. 16; см. также Utts, 1991)

Ясно, что пси-эффекты не могут быть воспроизведены «по запросу», но чтобы представить этот факт в перспективе, рассмотрим проект «Многие лаборатории», в котором 36 независимых лабораторий пытались воспроизвести 16 психологических исследований, опубликованных в ведущих журналах, и только 34% повторения попадали в доверительные интервалы исходного исследования (Open Science Collaboration, 2015). Были более стабильные результаты, когда повторение было похоже на исходное исследование (Gilbert, King, Pettigrew, & Wilson, 2016), как это было обнаружено в исследованиях Ганцфельда (Bem, Palmer, & Broughton, 2001) и предвидения (Bem et al. , 2015) исследования.

Почему размеры эффекта обычно такие маленькие и как они соотносятся с другими областями?

По сравнению с реальными жизненными обстоятельствами, пси-эксперименты связаны с безличными стимулами, не имеющими большого значения или не имеющими никакого значения, в отличие от предполагаемых пси-феноменов, наблюдаемых в повседневной жизни (например, неожиданная смерть близких людей). Кроме того, кажется, что пси более надежно проявляется только у нескольких человек, поэтому ЭС, вероятно, представляют собой среднее значение больших эффектов отдельных участников и меньших или нулевых эффектов других (см. Harris & Rosenthal, 1988). Что касается сравнения с другими областями, то в своем анализе более 25 000 экспериментов в области социальной психологии Ричард, Бонд и Стоукс-Зута (2003) сообщили о среднем показателе ES 0,21, подобно некоторым мета-анализам в таблицах 1 и 2. ES некоторых пси-протоколов не только сравнима, но и намного больше, чем у клинически рекомендуемого использования аспирина или пропанолола для профилактики сердечных заболеваний (Spencer, 1995; Utts, 1991), и может быть классифицирована как «основанная на доказательствах» при применении критерии клинической практики (см. Haidich, 2010).

Разве значительные эффекты в Пси не вызваны некачественными экспериментами?

Во-первых, большинство рассмотренных мета-анализов контролировались с точки зрения качества и все же выявили значительные эффекты (в исследовании "Предчувствие" на самом деле было обнаружено, что исследования более высокого качества показали лучшие результаты).

Во-вторых, пси-исследования инициировали или разработали строгие процедурные и аналитические стратегии, которые позже были приняты господствующей психологией, и пси-исследования более строгие, например, в использовании замаскированных протоколов, чем психология в целом и другие области (Watt & Nagtegaal, 2004). Кроме того, исследования пси изменили свои процедуры в ответ на внутреннюю и внешнюю критику, примером чего являются эксперименты Ганцфельда.

Анализ, проведенный по заказу Национальной академии наук, пришел к выводу, что альтернативные гипотезы (сенсорная утечка, запись или преднамеренные ошибки, выборочная отчетность, множественный анализ переменных, сбои в рандомизации или статистические ошибки и независимость исследований) не смогли объяснить значительные эффекты в исследованиях Ганцфельда, которые "регулярно отвечают основным требованиям разумного экспериментального замысла" (Harris & Rosenthal, 1988, стр. 53). Тем не менее, некоторые авторы (например, Беш и др., 2006; Rouder et al., 2013) подняли вопрос о возможности того, что подтверждающие данные пси могут быть получены из-за непубликации сбоев в репликации. Невозможно точно определить потенциальный эффект выборочной отчетности, но исследования пси на протяжении десятилетий предпринимали шаги, чтобы уменьшить эту возможность. Например, журналы долгое время поощряли публикацию неповторяющихся материалов (Broughton, 1987). Кроме того, это настолько небольшая область, что большинство исследователей знают, кто что исследует, и могут запросить неопубликованные данные для проведения мета-анализа. Известны также полные наборы данных пси, подтверждающие гипотезу пси (Baptista et al., 2015), и критик пси написал, что выборочная публикация в пси менее очевидна, чем в других областях (Hyman & Honorton, 1986). Кроме того, не следует предполагать, что неудачные попытки тиражирования не представляются для публикации, в то время как поддерживающие эксперименты представляются. Например, критики пси поспешили опубликовать свои неудачные попытки воспроизвести исследования Бёма, но не соответствующие эксперименты в своей базе данных (dbem, 2012; Ritchie, Wiseman, & French, 2012). Также были исследования, поддерживающие пси, которые не были представлены, потому что они были проведены скептиками (Sheldrake, 2015), или исследователь считал, что уже имеется достаточно доказательств в пользу пси (Bem, personal communication, 2016). Эффект выборочной публикации сокращает оба пути, и при статистической оценке в рассмотренных мета-анализах не было обнаружено эффекта ящика стола, объясняющего результаты, за спорными исключениями микро-ПК и бесконтактного лечения. Что касается других сомнительных исследовательских практик (QRP), таких как “p-взлом”, хотя одно исследование показало, что они широко распространены в психологии (Джон, Левенштейн и Прелек, 2012), другое показало, что эти результаты, вероятно, были завышены из-за того, как были сформулированы вопросы (Фидлер и Шварц, 2016).. Недавнее моделирование экспериментальных данных пси с наихудшим сценарием QRP все же нашло поддержку гипотезе пси (Бирман, Споттисвуд и Биджл, 2016), и исследователи psi обсуждали QRP за десятилетия до нынешних дебатов (Управление оценки технологий, 1989). Парапсихология также предприняла шаги по снижению потенциального QRP в этой области путем предварительной регистрации в psi research (Watt & Kennedy, 2015, 2017) и создания реестра открытых данных (https://www.spr.ac.uk/publications/psi-opendata ). Аргумент об "исключительных заявлениях, требующих исключительных доказательств", хотя и часто приводимый, проблематичен по многим причинам. Они включают в себя тот факт, что многие явления, которые мы в настоящее время не считаем "исключительными" (например, электричество), ранее в истории считались экстраординарными, если не невозможными, и требование о "исключительных доказательствах" могло помешать их принятию. Затем возникает проблема определения критериев "исключительных свидетельств", которые менялись с течением времени, в соответствии с текущим предлагаемым стандартом (предварительная байесовская оценка феномена пси Вагенмейкера и др. [2011], равная 1020), которая практически не поддается фальсификации. Деминг (2016) пришел к выводу, что в науке не существует двух разных типов доказательств, и критикует неправильное использование аргумента для "подавления инноваций и поддержания ортодоксальности" (стр. 1319). Как заявил профессор статистики Корнелла (и пси-скептик) Джоэл Гринхаус (1991), "парапсихологи не должны придерживаться иного стандарта доказательств в поддержку своих выводов, чем другие ученые" (стр. 388). Дополнительным моментом является то, что существует согласованность между метаанализами и описательными исследованиями пси-феноменов. В обоих случаях осознание предполагаемых пси-феноменов часто включает изменения в сознании и заметные эмоциональные стимулы. Однако не следует преувеличивать положительные стороны пси, поскольку наши знания о нем далеки от удовлетворительных, а научные выводы носят предварительный характер. Уровень тиражирования, хотя и сопоставимый с другими областями, оставляет желать лучшего, ESS невелики, и теории нуждаются в дальнейшей разработке и тестировании.

Предложения по будущим исследованиям

Пси-исследования можно разделить на исследования, которые в основном связаны с оценкой того, существует ли пси-эффект с самого начала (ориентированные на доказательство), и те, которые предполагают пси и стремятся понять его природу (ориентированные на процесс; Стэнфорд, 1974). Рекомендации для исследований, ориентированных на процесс, следующие: (а) Исследуйте психологические и нейрокогнитивные характеристики людей, которые хорошо справляются с контролируемыми исследованиями. (б) разработать неосознаваемые показатели пси, основываясь на многообещающих результатах исследований предчувствий и имплицитных аномальных когнитивных способностей. (c) проводить систематические исследования естественных случаев предполагаемого пси в повседневной жизни. (d) разработать и протестировать стратегии, которые могли бы повысить способность хорошо выполнять пси-исследования, например, с помощью новых процедур, вызывающих специфические изменения сознания. (e) проанализируйте характеристики исследовательских сессий/испытаний, в которых люди добились успеха. (f) продолжить изучение черт характера и практики исследователей, которые, как правило, добиваются успеха в своих экспериментах. Что касается исследований, ориентированных на доказательство: (а) Используйте уже существующие репозитории проектов и избегайте QRP, которые ставят результаты под сомнение. Это не означает, что случайные эффекты следует игнорировать, но что они должны быть помечены как таковые. (b) провести исследования, обладающие достаточной мощностью, с учетом ESs для данного конкретного протокола. Однако один важный аспект заключается в том, чтобы сделать это таким образом, чтобы исследование не стало настолько утомительным для экспериментаторов и/или участников, что мотивация снизилась. (c) Разработать и протестировать процедуры, которые приближаются к характеристикам известных пси в реальной жизни (например, Sheldrake, 2015). (d) Разработать междисциплинарные протоколы с исследователями, которые, по крайней мере, открыты для реальности пси. Исследователи, которые уже убеждены в том, что пси невозможен, скорее всего, будут обескураживать участников (см. Schlitz, Wiseman, Watt, & Radin, 2006). (e) провести перспективный метаанализ и стандартизировать процедуры с учетом последних изменений (Трессольди и Уттс, 2015, Уттс был президентом Американской статистической ассоциации в 2016 году). (f) разрабатывать поддающиеся фальсификации теории для руководства исследованиями. (g) поместить пси в более широкие области, такие как продолжающееся изучение общих характеристик сознания/разума. Эти предложения вряд ли будут иметь большой эффект без хорошей инфраструктуры для поддержки программных, хорошо финансируемых исследований и теорий, и серьезные начинания следует ценить, а не наказывать. Также следует внести изменения в редакционную политику некоторых журналов, с тем чтобы позиция по умолчанию заключалась не в автоматическом отклонении статей по psi, а в том, чтобы они оценивались по их собственным достоинствам знающими и открытыми рецензентами. Это было бы в духе Уильяма Джеймса и других основателей психологии, целью которых было создание всеобъемлющей и открытой дисциплины (Cardeña, Lynn, & Krippner, 2017). История науки показывает, что прежние уверенности были сметены новыми открытиями и теориями. Этот обзор эмпирической поддержки пси-феноменов должен побудить заинтересованных психологов обратиться к первоисточникам, их критике (например, Wiseman, 2010), а также к ответам на эту критику (например, Baptista & Derakhshani, 2014: Utts, 1991). После тщательного изучения этой области некоторые читатели, возможно, убедятся, как это сделал выдающийся нейробиолог Калифорнийского университета Джеймс Х. Фэллон (2015), что в своих лучших проявлениях пси-исследования демонстрируют “методологическое совершенство” (стр. xii) и многообещающие результаты.

American Psychologist - American Psychological Association

The Experimental Evidence for Parapsychological Phenomena: A Review 

Etzel Cardeña

Lund University 

This article presents a comprehensive integration of current experimental evidence and theories about so-called parapsychological (psi) phenomena. Throughout history, people have reported events that seem to violate the common sense view of space and time. Some psychologists have been at the forefront of investigating these phenomena with sophisticated research protocols and theory, while others have devoted much of their careers to criticizing the field. Both stances can be explained by psychologists’ expertise on relevant processes such as perception, memory, belief, and conscious and nonconscious processes. This article clarifies the domain of psi, summarizes recent theories from physics and psychology that present psi phenomena as at least plausible, and then provides an overview of recent/updated meta-analyses. The evidence provides cumulative support for the reality of psi, which cannot be readily explained away by the quality of the studies, fraud, selective reporting, experimental or analytical incompetence, or other frequent criticisms. The evidence for psi is comparable to that for established phenomena in psychology and other disciplines, although there is no consensual understanding of them. The article concludes with recommendations for further progress in the field including the use of project and data repositories, conducting multidisciplinary studies with enough power, developing further nonconscious measures of psi and falsifiable theories, analyzing the characteristics of successful sessions and participants, improving the ecological validity of studies, testing how to increase effect sizes, recruiting more researchers at least open to the possibility of psi, and situating psi phenomena within larger domains such as the study of consciousness. 

Keywords: parapsychology, psychical research, psi, meta-analysis, anomalous cognition 

Professors Bernard Carr, David Presti, and Brian Josephson offered helpful feedback on the section on physics. Sophie Reijman, Ph. D., provided, as always, abundant support and sage editorial advice. Correspondence concerning this article should be addressed to Etzel Cardeña, Department of Psychology, Center for Research on Consciousness and Anomalous Psychology (CERCAP), Lund University, P.O. Box 213, SE-221 00, Lund, Sweden. E-mail: etzel.cardena@psy.lu.se

People in all walks of life have reported events that seem to violate the current common sense view of space and time, from dreams that seem to ostensibly predict a noninferable, dramatic event, to the more mundane assertion by a former prime minister of Sweden that he can sense when his wife is about to call him (Thunberg, 2006). In various surveys, majorities of respondents have endorsed a belief in such phenomena, which may have a noticeable impact on their lives (Watt & Tierney, 2014). In the last few years, parapsychology (psi) research has appeared in major psychology journals (e.g., Bem, 2011; Storm, Tressoldi, & Di Risio, 2010a, 2010b), and comprehensive reviews of the evidence for and against psi have been published (Cardeña, Palmer, & Marcusson-Clavertz, 2015; May & Marwaha, 2015), but no recent integration of current theories and evidence has been published. Some psychologists have been at the forefront of producing supportive research and theory; others have devoted much of their careers to criticizing the field. Both stances can be explained by psychologists’ expertise on relevant processes such as perception, memory, belief, and conscious and nonconscious processes. However, many psychologists probably lack solid knowledge of the area. An informed psi skeptic wrote, “Most psychologists could reasonably be described as uninformed skeptics—a minority could reasonably be described as prejudiced bigots—where the paranormal is concerned” (French, 2001, p. 7). It is thus important to have an overview and discussion of the research and theory on the topic. This article will (a) introduce the domain of psi research; (b) discuss relevant theoretical frameworks from physics, psychology, and evolutionary theory; (c) review recent/updated meta-analyses in the field; and (d) provide guidelines for future research. 

The Domain of Psi Research

From the founding in 1882 of the Society for Psychical Research, research on psi has used or even developed scientific practices, with the aim to “examine without prejudice or prepossession” the nature of these phenomena. Parapsychology can be defined as the study of purported psi phenomena using the scientific method, and the Parapsychological Association, the professional association of the field, has been an affiliate of the American Association for the Advancement of Sciences (the world’s largest general scientific society) since 1969. Psi typically includes two major areas: (1) what used to be called extrasensory perception, or ESP, and (2) psychokinesis, or PK. ESP includes purported telepathy (being affected by someone’s thoughts or emotions, unmediated by the senses or logical inference, such as guessing more accurately than would be expected by chance who sends you an e-mail unexpectedly), clairvoyance (obtaining information about a distant state of affairs, unmediated by the senses or logical inference, such as in remote viewing (RV) in which someone accurately describes details of a place chosen at random by someone else), precognition/presentiment (being affected by an event taking a place in the future that could not have been foreseen, as in dreaming about planes crashing against tall buildings the night before 9/11), and retrocognition (having noninferable knowledge about a past event). ESP is a misleading term because it suggests perception as the mediating mechanism, although few if any psi researchers nowadays assume this to be the case. Furthermore, the distinction among these phenomena is a function of how they are tested or considered rather than of different mechanisms. Examples labeled as clairvoyance could also be considered as telepathy, and both of them could be subsumed under precognition, because someone at some point in the future will find out that information. The term anomalous cognition will be used in this article (Cardeña et al., 2015; May, Utts, & Spottiswoode, 1995). PK refers to putative direct action of mental events (e.g., intention) on physical objects, unmediated by muscular or indirect mechanical activity. There is macropsychokinesis (or anomalous force), an effect on observable objects such as a table levitating without any apparent mechanical explanation, and micropsychokinesis (or anomalous perturbation), an effect on small, unobservable events, such as mentally affecting the output of a random number generator that otherwise produces random outputs. Some psi researchers study the possibility of consciousness surviving death, including studies of children who spontaneously report information about a past life to which neither they or those close to them apparently had access (Mills & Tucker, 2015), but which have also been interpreted as examples of anomalous cognition rather than of survival (Sudduth, 2009). Both descriptive and experimental approaches can be employed to evaluate psi phenomena. At its inception, psychology and parapsychology were not clearly distinct disciplines, and foundational figures of the former also supported the latter (Cardeña, 2015a; Sommer, 2013. They include Bekhterev, Hans Berger (inventor of the electroencephalogram), Binet, Fechner, Sigmund Freud, Luria, Ramón y Cajal, and American Psychological Association (APA) presidents William James and Gardner Murphy. More recently, faculty from top-ranked universities such as Harvard, Princeton, and Stanford, including a past APA president, endorsed continuing research on psi (Cardeña, 2014). Parapsychology has also contributed to methods and subject areas later integrated into psychology, among them the first use of randomization along with systematic use of masking procedures (Hacking, 1988); the first comprehensive use of meta-analysis, in 1940 (Gupta & Agrawal, 2012); study preregistration since 1976 (Johnson, 1976); and pioneering contributions to the psychology of hallucinations, eyewitness reports, and dissociative and hypnotic phenomena (for a review, see Hövelmann, 2015).

Psi Phenomena and Physics Theories

Because psi phenomena are sometimes assumed a priori to violate physics principles, three common objections will be discussed, namely that (1) they violate the “laws of nature”; (2) if accepted, they would invalidate scientific achievements; and (3) there are no theories to account for them. What is often meant by psi critics as violations of the laws of nature involves assumptions about an event not being able to affect another at a distance without some mediating form of known energy, future events being unable to affect previous ones, and mental events not having direct effects on other than the organism privy to them. However, quantum mechanics (QM) and Einstein’s theory of relativity have depicted a reality that differs substantially from commonsensical assumptions. Nobel laureate and pioneer of molecular biology Max Delbrück (1986) expressed it so: “Modern science . . . has forced us to abandon absolute space and time, determinism, and the absolute object” (p. 279).

Nonlocality

In his interpretation of QM (and experts differ on how to interpret it, e.g., Schlosshauer, Kofler, & Zeilinger, 2013), the eminent physicist Bernard d=Espagnat (1979, 2006) discussed the implications of experiments showing that measuring/observing the property of a particle, such as its spin, instantaneously determines that of another particle entangled with it, no matter how distant. Entanglement means that the quantum states of such particles are not independent but part of a system, which can be produced in different ways. D’Espagnat concluded that such experiments falsify the local realist theory that effects cannot propagate faster than light and that objects far apart in space are relatively independent. For him, the world is not made of separate “material” objects embedded in space-time, but of a nonseparable, indivisible field, a “veiled reality,” with which consciousness interacts. He concluded that the implications of QM and “transcendentalism-inclined thinkers” (d’Espagnat, 2006, p. 429) have points in common, as did renowned physicist David Bohm (1986) in his theory of the implicate order or guiding field, which he applied to psi phenomena. Scientific American journalist George Musser (2015) also supported a nonlocal interpretation of QM and considered space “a doomed concept” (p. 125). He also described how effects violating assumptions of locality do not occur exclusively at the particle but also at the cosmic level (and at the mesolevel of living beings; see Lambert et al., 2013). Along these lines, Princeton physics philosopher Hans Halvorson concluded that a form of superentanglement links every aspect of everything in the universe (Musser, 2015, p. 139). In principle, thus, psi phenomena—such as a sudden death affecting a loved one at another location—are consistent with a nonlocal view of the universe. Furthermore, as compared with classical physics, which depicts a universe where everything is determined by previous causes, QM proposes that before there is a collapse of the quantum wave function by some type of measurement, objects are only probability functions (Musser, 2015). In parapsychology, observational theories propose that psi experiments exploit the indeterminacy of a system, which may become slightly biased by the intention of an observer (Millar, 2015), or as Stapp (2017) put it, by “relevant conditions that include the experienced emotions of biological agents” (p. 106).

Time 

Einstein’s theories of time and the ensuing experiments demonstrated that objectively measured time and space are not absolute and depend on such variables as the position and speed of the observers and the gravitational field. For instance, events that are still in the future of a slow-moving individual may have already occurred to a faster moving one; furthermore, in the special relativity block universe theory of time, past, present, and future coexist simultaneously although we experience only the present (Davies, 2002). Despite our typical perception of time as only an ever-receding series of moments, experiments on quantum retrocausality (or backward causation) suggest that future events may affect previous ones. For example, measuring the spin of a particle, which collapses its probabilistic wave function into a determinate value, seems to retroactively determine the spin of a delayed photon entangled with it. Physicist Daniel Sheehan (2011, 2015) concluded that experiments in physics and psi support retrocognitive effects, and physicist and parapsychologist Edwin May has developed a theory in which signals from a future space-time point, such as having eventual knowledge of the target of an experiment, may affect previous cortical processes of those trying to guess it (e.g., Marwaha & May, 2016). An alternative explanation is that consciousness may bias a future event (Stapp, 2017).

Consciousness/Sentience 

One of the interpretations of QM requires that the measurement that makes a wave function of probabilities collapse into a determinate outcome be made by a sentient observer (Stapp, 2017). Consistent with a causal role for sentience, Delbrück (1986) criticized “the Cartesian cut between mind and matter” (p. 279), and cognitive psychologist Max Velmans (2000) also discussed the reasons why a hard distinction between “objective” and “subjective” phenomena is misguided. Along these lines, a professor of cosmology wrote that “the materialist position in physics appears to rest on shaky metaphysical ground” (Frank, 2017, quoted from the subtitle) and questioned the materialist stance in the neurosciences to explain consciousness. Renowned philosopher of mind Thomas Nagel (2012) concluded that the explanatory gap between neurochemical processes and mental experiences is difficult to resolve from a materialist, evolutionary perspective and that reality is not reducible to material, mental, or functional realms, but subsumes them all. Princeton physicist Freeman Dyson (1988, p. 297) ascribed different levels of mind from the particle to the cosmic levels, and Velmans (2000) concluded that a continuous model of sentience is more parsimonious than one proposing that mentality just emerges from matter at some level of complexity. To add eminent neuroscientists to those who endorse nonmaterialist views of mind, Christof Koch, an earlier collaborator of arch-reductionist Francis Crick (Crick & Koch, 1990), concluded with Giulio Tononi that consciousness is a fundamental property of information in complex entities (Tononi & Koch, 2015, see also Dyson, 1988; Kelly, 2015). But how might “mental” events interact with “physical” ones, assuming that they differ ontologically? University of London professor of mathematics and cosmology Bernard Carr (2015) has described recent hyperspatial or hyperdimensional approaches that posit additional dimensions beyond the temporal and three-spatial ones. He proposes that events that seem to be distant in our three-dimensional space may be adjacent in a hyperdimensional one, and that the dichotomy between mind and matter of common sense is resolved by a hyperdimensional “transcendental field” in which mental phenomena can have causal effects. Lawrence Livermore National Laboratory physicist Henry P. Stapp (2017, p. 65) has developed a “realistically construed orthodox quantum mechanics” model in which conscious intentions can produce a small bias on quantum processes, and indeed research has shown significant small effects of intention on photon wave patterns (Radin, Michel, & Delorme, 2016). The above views do not “prove ” that psi phenomena exist but makes them plausible, and some physicists have proposed specific theories for them. They are also a response to psychologists who state that they psi phenomena are impossible (“Parapsychologists believe in ‘impossible’ things,” Alcock, 2010, p. 29; “(psi) conflicts with what we know to be true about the world,” Wagenmakers, Wetzels, Borsboom, & Van der Maas, 2011, p. 46).

Psychological and Evolutionary Theories of Psi 

Two psychological theories, psi-mediated instrumental response (PMIR; Stanford, 2015) and first-sight theory (Carpenter, 2012), seek to integrate psi with psychological and evolutionary theories. Although varying in details, both propose that psi information continuously, although usually nonconsciously, impinges on mental processes and may serve adaptive and/or personal inclinations. PMIR has been the basis for studies in which rewarding psi tasks embedded within nonpsi experiments were found to affect performance in experiments (see section on implicit anomalous cognition below). A premise of PMIR is that an organism may respond to events outside of its sensory reach if it would respond to them if they were perceivable, such as avoiding an unperceivable dangerous situation, and there is a motivational component to what the organism will likely attend to depending on its particular dispositions and schemata (Stanford, 2015). Similarly, according to the first-sight model: (a) psi is not limited by the commonsensical view of time and space and is fundamental to all organisms, and (b) it mostly operates nonconsciously but may affect consciousness and action in accordance with the organism’s dispositions (Carpenter, 2012). There are also explanations of why alterations of consciousness have been found to relate to psi. According to the “noise reduction” theory, psi information is subtle and likely to remain nonconscious in the midst of the overwhelming information provided by the senses and bodily actions unless these inputs are reduced (Honorton, 1977). Thus, procedures that reduce these stimuli—such as meditation, hypnosis, and ganzfeld—should facilitate awareness of psi (see the sections on ganzfeld and dream research below). Besides restriction of sensory input, alterations in consciousness may make awareness of psi more likely by reducing critical thought and stimulating a sense of interconnectedness (Cardeña, 2010). Psi has also been discussed from an evolutionary perspective. According to Broughton (2015), psi should be seen in the larger context of biological processes including brain functioning and evolution. He stated that psi is a correlation between future and previous events that could have been maintained even providing as little as a 1% fitness advantage. This small effect could subtly affect decisions through hunches and similar mechanisms, consistent with the small effects found in research. Research and observations in nature support the existence of psi in other species (Safina, 2015; Sheldrake, 2015). As to statements such as the one by a cognitive scientist that accepting psi phenomena would “send all of science as we know it crashing to the ground” (Hofstadter, 2011, para. 9) the most sensible answer is that psi phenomena are compatible with some interpretations by eminent physicists and manifest small effects that in no way invalidate the accomplishments of current science (Stapp, 2017). The Office of Technology Assessment (1989) report concluded that it is important to find out how psi can obtain “a fairer hearing across a broader spectrum of the scientific community, so that emotionality does not impede objective assessment of experimental results” (p. 337).

Summary of Meta-Analyses on Psi

This section summarizes recent or updated comprehensive meta-analyses of psi research found through a recent comprehensive anthology that reviewed meta-analyses in the field (Cardeña et al., 2015), contacts with parapsychology researchers, and an additional literature search. The latter used two databases, PsycInfo and Medline, without language or year restriction, using metaanalysis OR metaanalysis OR meta analysis as keywords, and the following as subject words: parapsychology, psi, telepathy, clairvoyance, precognition, psychokinesis, PK, anomalous healing, and intercessory prayer. The search produced about 20 nonoverlapping items, many of them not meta-analyses but comments about them. All comprehensive recent/updated meta-analyses found are discussed below along with more limited but relevant ones. Although meta-analyses have limitations that may affect their results (e.g., a potential publication bias), they contribute to knowledge of established and contentious areas (Chan & Arvey, 2012). The primary sources in the meta-analyses reviewed here include alternative and comprehensive analyses and evaluate variables that might have impacted the data, including the design quality and homogeneity of the studies, and potential publication biases. Tables 1 and 2 include statistics for complete and homogenized (sometimes after trimming 10% of extreme results in heterogeneous data sets) meta-analyses when available.

Anomalous Cognition 

In anomalous cognition research, participants “guess” a randomly chosen target from a known (e.g., a set of cards) or unknown (e.g., a film clip from a large sample) set without information from the senses or logical inference. It includes two main models of research: free response and forced choice (for a review of safeguards commonly used to avoid confounds such as sensory leakage and judging bias see Palmer, 2015a). Free response. In free-response studies, the target that the masked raters will evaluate is not part of a set known to them such as a deck of cards, but of a large or undetermined dataset, such as a photo or film clip from an unknown large or open set (e.g., the stimuli may come from a pool of dozens of clips including animated, documentary, or feature films, or a location chosen at random). Various types of free-response protocols have been studied. Ganzfeld is a German term for “whole field.” In psi research, it refers to a procedure in which the participant sits in a comfortable chair and listens to physical relaxation instructions and exposure to white or pink noise (unpatterned random frequencies, similar to the sound between radio stations), with two acetate ovals covering the eyes in front of which red light bulbs produce the effect of shapeless redness. The participant’s task is to become aware of an unknown image or clip chosen randomly, which might be shown simultaneously in a distant computer with nobody watching it (clairvoyance), someone watching it (telepathy), or is chosen after the participant makes a selection (precognition). The psi ganzfeld technique is based on the “noise reduction” theory mentioned above. Research on ganzfeld has been meta-analyzed repeatedly and is the most consistently supportive database for psi of the last few decades. The methodological development of ganzfeld research followed a joint communiqué by psi-critic Ray Hyman and psi-proponent Charles Honorton (Hyman & Honorton, 1986) on how to conduct the experiments. The most recent and comprehensive meta-analyses of the database by Storm et al. (2010b) and Williams (2011) supported a psi effect. An earlier and more limited meta-analysis by Milton and Wiseman (1999) did not find a significant effect, but had they used the (apparently indicated) exact binomial test, it would have (Storm et al., 2010b, p. 473). Table 1 shows the meta-analyses for (a) the aggregation of a comprehensive previous database (Storm & Ertel, 2001) with the newer database and for (b) the newer database alone (Storm et al., 2010b) for all studies, along with analyses for (c) the aggregation of all homogeneous combined studies and for (d) the homogeneous newer database, for which an outlier with a very high supportive z score was excluded. For the latter, selected participants (based on previous experience with the protocol and/or traits associated with psi performance such as being a meditator) had a bigger effect size, ES  0.26, than their counterparts, ES  0.05, t(27)  3.44, p  .002. Williams (2011) reported that in ganzfeld participants guess around 31% of the time the correct target out of four choices presented in random order, when mean chance expectation would be 25%. Hyman (2010) criticized the Storm et al. meta-analysis, claiming that meta-analyses should be conducted prospectively and that psi cannot be shown on demand. He also described a ganzfeld study that did not replicate the effect, although he disregarded others that did. Storm et al. (2010a) responded that other accepted phenomena in science cannot be produced on demand, and that retrospective metaanalyses are routinely used in science. Rouder, Morey, and Province (2013) conducted a Bayesian probability analysis of the newer Storm et al. dataset excluding studies that had used manual instead of computerized randomization. They concluded that the Bayesian factor decreased from 6 billion to 1 to circa 330 to 1, but that because of a lack of a plausible mechanism and the possibility of unpublished replication failures, the meta-analysis did not support psi. They added, however, that the degree of evidence was “greater than that provided in many routine studies in cognition” (p. 245). Storm, Tressoldi, and Utts (2013) conducted a Bayesian analysis not excluding studies that had used random tables, as Rouder et al. (2013) had done, and concluded that their results did support a psi effect. Baptista, Derakhshani, and Tressoldi (2015) conducted additional analyses on the ganzfeld data that ratified a psi effect and rectified general claims that (a) when ganzfeld study quality goes up, ES goes down (actually, the opposite seemed to be the case), (b) ES had decreased in more recent studies (it has not), (c) psi generally declines in the course of a long study (it does not), and (d) a file-drawer analysis of a reasonable number of unreported nonsignificant results would annul the significant results (it does not). In implicit anomalous cognition studies, volunteers respond to a psychological task, with a hidden psi aspect to it. As an example, in one study, participants were part of a research dyad and one of them had to indicate esthetic preference for Kanji Japanese characters. Unbeknownst to them, they were being tested for a psi target selected randomly. When participants chose the psi character target, their research partners did a more pleasant task than those whose partners did not select the psi target (Watt & Nagtegaal, 2000). The outcome variable was whether participants chose the target more often than would be expected by chance. Although there has not been a meta-analysis of these studies, Palmer (2015b, p. 227) concluded in a review that studies with a hidden reward had more significant outcomes than would be expected by chance. Related to this paradigm, studies designed by Cornell psychologist Daryl Bem (2011) tested the hypothesis that a future stimulus might have a retroactive influence on a previous response. Bem took mainstream priming studies, in which a preceding word or image affects an ensuing response, and “time-reversed” them so that the word or image is presented after the response of the volunteer. For instance, one of his tasks evaluated whether a valence consistent or inconsistent word affects the response time of a preceding image. Bem (2011) reported on nine different protocols with more than 1,000 participants and found that all but one of them was independently significant and that the mean ES was significant (the analyses were one-tailed, but they would have remained significant with two-tailed tests). Thus, the results supported the interpretation that a stimulus occurring later may influence a previous response more often than would be expected by chance. Bem’s studies, published in a major psychology journal, caused a storm of commentaries (Cardeña, 2015b). A metaanalysis of two of Bem’s experiments, along with attempted replications by the authors of the article and by other investigators, concluded that a Bayesian analysis showed no psi effect (Galak, LeBoeuf, Nelson, & Simmons, 2012). Table 1 shows a larger a meta-analysis of all replication attempts until then, 90 experiments from 33 laboratories at the time of publication (Bem, Tressoldi, Rabeyron, & Duggan, 2015). The overall effect was significant (as was a Bayesian analysis), and the ES for the complete database and the independent replications (excluding Bem’s experiments, P-curve analysis  0.24) were similar. The authors report that hundreds of unpublished experiments with low ES would be required to annul the significant results of their meta-analysis. The authors also classified the replications into two groups: five protocols involving automatic, “fastthinking” unconscious processing and two protocols involving “slow-thinking,” deliberative processing (cf. Kahneman, 2011). All the significant results belonged to the “fast-thinking” group and the most successful one used erotic stimuli, in general agreement with the theories reviewed earlier that posit psi as a mostly nonconscious process geared to future reinforcers. The two “slowthinking,” deliberative protocols were not singly or jointly significant. Table 1 shows the cumulative results divided by categories. In everyday life, ostensible anomalous cognition often occurs during dreams (Kelly & Tucker, 2015). The first comprehensive analysis of controlled studies was carried out by Yale psychologist Irvin Child (1985) on the dream psi studies conducted at the Maimonides Medical Center sleep lab. This protocol involved waking up (usually selected) participants after they had been in a REM sleep stage, which is strongly associated to dreaming, and querying them for their dream content. The task of the participant was to dream about an unknown image chosen at random by the researchers either while participants slept or at a later time. Child reported that in 20 out of 25 experiments the dream content on average had been correctly matched (blindly) to the target directly or on the top half of a binary division of multiple choices at a better than chance level, with a probability against chance of 1.46  108 . Radin (2006) estimated that the target had been judged to be on the top half of the distribution a highly significant 63% of the times (50% being mean chance expectation). After the Maimonides program, most researchers have relied on dream diaries, which produce much poorer dream recollection than REM awakenings, rather than on studies in sleep labs, which are far more demanding. Storm et al. (2017) metaanalyzed the Maimonides and post-Maimonides studies. Table 1 includes the analysis for all and a homogeneous set, showing support of the psi hypothesis. They also report increased design rigor across time, and no association between study quality (rated blindly according to seven criteria including appropriate randomization, good masking, and so on) and ES. They also conducted a Bayesian analysis that confirmed their results. Their meta-analysis includes a large, wellcontrolled study by Watt (2014) in which independent, masked judges matched at better than chance level dream reports to the film clip that participants later saw. When alerted to a potential effect of dropouts from the study, Watt reanalyzed her data and still found a significant effect for her planned test (p  .04; Watt & Valášek, 2015).

RV (remote viewing) is a technique in which an individual describes a place, chosen at random, where a sender is located at the present or at a future time (there may also be just a location chosen without any observer there). Afterward the description is used to select the target among different possibilities. Associative RV is a type of precognitive RV in which the participant tries to guess a target to be selected in the future, and which may be associated with a particular event, for instance a change in the stock market. Table 1 shows Baptista et al.’s (2015) summary of the available data (the dataset for Milton, 1997, is homogeneous after deleting three studies). The confidence intervals of the data sets are of a similar magnitude and do not include 0.00, which would indicate no effect. The analyst for the first two data sets (Stanford Research Institute and Science Applications International Corporation; Utts, 1996) wrote that RV volunteers who had participated in previous research exhibited a greater ES (0.38) than novices (0.16). The psi skeptic Hyman (1995) concluded that the Science Applications International Corporation experiments were “well-designed and the investigators have taken pains to eliminate the known weaknesses in previous parapsychological research ...I cannot provide suitable candidates for what flaws, if any, might be present.” Nonetheless, objections have been raised to the Dunne and Jahn (2003) database for sampling without replacement and not always selecting the targets randomly, but even if that dataset is eliminated the overall effect remains significant (Baptista et al., 2015). In presentiment research, physiological activity preceding an unpredictable stimulus is hypothesized to anticipate the response that follows it, for instance that the preceding skin conductance to emotionally-charged stimuli will differ from that of neutral stimuli, interspersed randomly. Mossbridge, Tressoldi, and Utts (2012) meta-analyzed relevant studies published between 1978 and 2010. Table 1 shows that the overall ES for a physiological response preceding the stimulus was significant. The authors also conducted a masked preanalysis evaluation of the quality of the studies (according to level of peer review, type of random number generator, and whether an analysis of expectation bias had been conducted), and arrived at a division of 13 higher and 13 lower quality sets. Although both ESs were significant, the higher quality studies had a bigger ES than the lower quality ones (see Table 1). Mossbridge and collaborators (2015) later responded point-by-point to the criticisms of their meta-analysis raised by Schwarzkopf (2014). Forced choice. In forced-choice studies, the guessing possibilities are finite and the possibilities are known by the person, for instance cards in a randomized deck. The protocol measures whether the participant can guess correctly more often than would be expected by chance. This was a common design in the middle of the 20th century. Honorton and Ferrari (1989) conducted a meta-analysis of forced choice precognition research conducted between 1935 and 1987 by 62 investigators. Table 1 shows the analyses for all of 309 experiments and for the 248 homogeneous ones, revealing highly significant but very small ESs. They also reported that the ES had remained constant through the decades, that there was no relation between study outcome and an index of design quality based on eight criteria (e.g., preplanned analysis and randomization method), and that a file-drawer effect could not reasonably explain away the results. They also identified the 17 best studies, with selected samples and trial-by-trial feedback, which produced the largest effect of any other groups of studies in their database, Z  15.84, ES  0.12. The results of selected participants (based on prior performance) were better than those of their counterparts, t(246)  3.16, p  .001 (Honorton & Ferrari, 1989, see also Baptista et al., 2015). A second meta-analysis of forced-choice experiments was carried out by Storm, Tressoldi, and Di Risio (2012) on 91 studies conducted between 1987 and 2010, and on 72 homogeneous studies (see Table 1). They concluded that there was a small but significant effect, and no evidence that the results could be explained by low-quality designs (based on six criteria including appropriate randomization and random target positioning) or selective reporting, and that ESs had increased across time. Baptista et al. (2015) reported that the mean ES of the studies with selected participants was larger than that of unselected ones (ES  .05 vs. ES  .008, p  .001). 

Anomalous Perturbation

Anomalous perturbation refers to the ostensible influence of intention on nonobservable systems, evaluated statistically (there are no meta-analyses of anomalous force). Remote influence research evaluates the effect of intentional efforts to change a parameter in a distant living system, unmediated by known physical means. Schmidt (2015) summarized his meta-analyses of three areas: (a) direct mental interaction in living systems, such as measuring the electrodermal activity (EDA) of a receiver while a distant agent is, at random times, trying to make that person aroused or calm; (b) remote staring, or changes in the EDA of a receiver as an agent looks at him/her through video at random times from a separate room; and (c) remote helping (or attention-focusing facilitation), in which a remote helper tries at random times to help a meditator focus on a target. Table 2 shows that all three research paradigms were supportive of psi. Schmidt (2015) wrote that the similar ES for the three areas validate each other and suggest the same underlying phenomenon. Nonetheless, there were some differences. The EDA– direct mental interaction in living systems dataset did not include four studies with inadequate randomization, and in the remaining 36 homogeneous studies dataset, there was a negative correlation (r  .40) between ES and quality of study (based on 17 items includ ing adequate randomization and preregistration). Thus, studies were weighed according to sample size and quality of the study. The remote staring dataset was homogeneous (with a nonsignificant correlation r  .26 between study quality and ES), as was the remote helping dataset, so those ESs were not weighed by study quality. Noncontact healing studies include what has been called intercessory prayer, distance healing, reiki, and similar strategies that posit an effect of intention on biological tissues or whole living beings other than the person having the intention. Two previous meta-analyses on intercessory prayer, partly overlapping, came to opposite conclusions as to whether there was a valid effect (Hodge, 2007; Masters, Spielmans, & Goodson, 2006). More comprehensively, Roe, Sonnex, and Roxburgh (2015) meta-analyzed two types of studies: those relating to “nonwhole human studies” (animals, plants, and in vitro cultures) and those to “whole humans.” They pointed out that whereas in the second category it would be difficult in some studies to discount the role of a placebo effect, the results for the first category were unlikely to depend on such mechanisms as unconditioned expectancies. For the nonwhole human studies, Roe et al. (2015) identified 49 heterogeneous studies, which had a significant weighted ES. Weighing was carried out without awareness of results or authorship and included such variables as treatment allocation randomization and good masking procedures. Because there were negative correlations between indices of experimental quality and ES, the authors selected the 22 studies rated as having good designs. Although the ES diminished, it remained significant (see Table 2). For research on humans, the authors identified 57 studies with adequate methodology, which produced a significant result (see Table 2), but because there was a negative correlation between design quality and ES, they analyzed the 27 studies with better methodology, and the ES remained significant (see Table 2). Roe et al. warned that because the funnel plot of the ESs suggest publication bias (and some authors did not provide exact probability values when not significant), results should be taken cautiously. Dice. Trying to affect the fall of dice, typically in a machine to avoid possible manipulation, was a common research paradigm used in the mid-20th century. Radin and Ferrari (1991) meta-analyzed 148 studies involving more than 2 million dice throws, in which participants intended to affect the fall of dice without touching them, and which produced a highly significant but small effect in the expected direction (Z  19.68; p .01), with Z values decreasing and methodological quality improving over time. This dataset includes studies with a physical bias of using higher dice faces as targets, so Table 2 shows significant but very small results for 73 studies after controlling for this artifact, as well as for a homogenized set of 59 studies, indicating that the dice fell more often on the face intended than would be expected by chance. For the homogenized dataset, ES did not relate to design quality. In comparison, in the 31 control studies the selected face did not fall more often than would be expected by chance, Z  0.36, p  .05. Micro-PK. Bösch, Steinkamp, and Boller (2006) metaanalyzed 380 studies on attempts to affect random number generators (RNGs). Table 2 shows significant but very small effects for a random-effects model on a dataset including and excluding the three largest studies. Although the 137 control studies in which there was no intention to affect the RNGs did not show a significant deviation, Z  1.51, p  .13, the authors concluded that the results might be explained by publication bias because there was great heretogeneity and fewer studies below p .05 and p .01 levels than would be expected by chance. In a later reanalysis of the Bösch et al. data, Varvoglis and Bancel (2015, p. 274) concurred that the distribution of significance levels suggested some publication bias, but posited that an “extremely large” and unrealistic file drawer effect would be required to annul the results. They proposed instead that the data heterogeneity could be explained by the talent (methodological and perhaps parapsychological) of particular experimenters and the far better than average performance of two participants in the PEAR (Princeton Engineering Anomalies Research) dataset, who contributed a quarter of the data with zs of 5.6 and 3.4 as compared with 0.8 for the remaining participants. In implicit anomalous perturbation, the experimenter sets hidden or secondary RNGs to be influenced by participants without any necessary conscious intention. These studies partially inspired a research program, having been conducted now for more than 15 years, known as The Global Consciousness Project (Nelson, 2015). Its premise is that events that simultaneously impact many people throughout the world (e.g., the 9/11 attacks) create a coherence in human consciousness that affects the randomness of a network of 65 RNGs located in various countries. The collective RNG output from a time window around such major events is compared with times in which no such events occur. Table 2 shows the analysis of 461 events, with a significant result and a sizable ES at the level of the event (Nelson, 2015, and personal communication, 2016). By their nature, these data come from a single source, but data andanalysesareaccessibleatnoosphere.princeton.edu/results .html#alldata. Comparing all of these meta-analyses, there are consistent patterns. First, overall the meta-analyses have been supportive of the psi hypothesis, with those that have not (e.g., Galak et al., 2012; Milton & Wiseman, 1999) generally superseded by alternative, more comprehensive metaanalyses. Second, the analyses relating to free-response paradigms have the highest ESs, ranging from 0.11 to 0.39, with most over 0.2. Then follow ESs for remote, noncontact influence, ranging from 0.10 to 0.26. The ESs for forcedchoice research, ranging from 0.01 to 0.04, are about one order of magnitude smaller and the anomalous perturbation ESs for dice and micro-PK (excluding the Global Consciousness Project) are also very small. Third, selected participants seem to evidence more psi than nonselected ones. With respect to the last point, the most consistent data sets (ganzfeld, dream studies, and RV) have often used selected participants, and the analyses reviewed earlier for ganzfeld, forced choice, and micro-PK strongly support this practice (for research with “gifted” individuals under controlled conditions, see Edge, Morris, Palmer, & Rush, 1986). Characteristics shown to increase the likelihood of performing well in a psi experiment include a belief that one will do well in the study, some psychological traits (e.g., extraversion and openness to experience), a mental practice such as meditation, and previous experience in a psi experiment (for a review, see Cardeña & Marcusson-Clavertz, 2015). In a recent meta-analysis on forced-choice experiments, performance correlated positively with belief in psi, r  .13, p  .002, extraversion, r  .08, p  .02, and openness to experience, r  .12, p  .02 (Zdrenka & Wilson, 2017). Artists tend to score better than chance and other groups (Holt, Delanoy, & Roe, 2004). There is evidence that testing while a participant is in a different state of consciousness than the ordinary, waking one is conducive to psi performance. Two of the more successful paradigms involve naturally occurring or induced alterations (i.e., ganzfeld, dreaming). In an earlier review, Honorton (1977) compared performance in psi studies involving hypnosis, meditation, induced relaxation, and ganzfeld and concluded that they produced better results than would be expected by chance, ranging from 1.2  109 to 6  1012 (for more recent reviews, see Cardeña et al., 2015). Storm et al. (2010b, p. 476) compared research with ganzfeld, other purported psi-enhancing techniques such as meditation, and those not using psi-enhancing techniques. Ganzfeld had the largest ES (0.14), followed by other enhancing techniques (ES  0.11) and studies without techniques (ES  0.03), the last one differing from ganzfeld (ES mean difference  0.17, p  .005). The effect of ganzfeld may be mediated by how much it alters the state of consciousness (Marcusson-Clavertz & Cardeña, 2011; Roe, Hodrien, & Kirkwood, 2012).

Discussion

This overview of meta-analyses of various different research protocols supports the psi hypothesis. The analyses satisfy the “local and global criteria” specified by a critic of psi who demanded replicability, consistency of effects, and cumulativeness (Office of Technology Assessment, 1989). The meta-analyses, conducted on studies using different protocols and by different researchers, provide cumulative vertical and horizontal support of psi. Vertical in the sense that across time different protocols have continued to produce positive results beyond what would be expected by chance, and with increasing methodological rigor; horizontal in the sense that there is support for psi across research areas. If only one or a few protocols out of 10 were significant and the rest were not, it would be easier to speculate that the supportive results might be due to an artifact. In addition, the rigor of the psi meta-analyses has increased with time and typically include evaluation of possible selective reporting, quality of studies, and so on. The article will now consider some common criticisms of psi.

If Psi Phenomena Are Real, Why Do Not All Studies Replicate Them?

Considering the small ES found and potential sources of variability, including psychological and perhaps parapsychological experimenter effects (Palmer & Millar, 2015), one should expect some studies not to replicate (cf. Barrett, 2015; Lewontin, 1994). As Harvard professor Robert Rosenthal (1990) opined,

Given the levels of statistical power at which we normally operate, we have no right to expect the proportion of significant results that we typically do expect, even if in nature there is a very real and very important effect. (p. 16; see also Utts, 1991)

Clearly, psi effects cannot be replicated “on demand,” but to put this fact in perspective, consider the “Many Labs” project, in which 36 independent laboratories attempted to replicate 16 psychology studies published in top journals, and only 34% of the replications fell within the confidence intervals of the original study (Open Science Collaboration, 2015). There were more consistent results when the replication was similar to the original study (Gilbert, King, Pettigrew, & Wilson, 2016), as has been found in ganzfeld (Bem, Palmer, & Broughton, 2001) and precognition (Bem et al., 2015) research.

Why Are the Effect Sizes Typically So Small and How Do They Compare to Other Areas?

As compared with real-life circumstances, psi experiments involve impersonal stimuli of little or no consequence, in contrast with reputed psi phenomena observed in everyday life (e.g., unexpected deaths of close people). Furthermore, psi seems to be more reliably manifested by only a few people, so the ESs are probably the average of larger effects of selected participants and smaller to null effects of others (cf. Harris & Rosenthal, 1988). As far as a comparison to other areas, in their analysis of more than 25,000 social psychology experiments, Richard, Bond, and Stokes-Zoota (2003) reported an average ES  0.21, similar to some of the meta-analyses in Tables 1 and 2. The ES of some psi protocols is not only comparable but much larger than those of the clinically recommended uses of aspirin or propanolol to prevent heart conditions (Spencer, 1995; Utts, 1991) and would be classified as “evidence-based” applying the criteria of clinical practice (cf. Haidich, 2010).

Aren’t the Significant Effects in Psi Produced by Low-Quality Experiments?

First, most of the meta-analyses reviewed controlled for quality and still found significant effects (the presentiment one actually found that higher quality studies fared better).

Second, psi research has initiated or developed rigorous procedural and analytical strategies that mainstream psychology adopted later, and psi research is more rigorous in, for instance, using masked protocols, than psychology in general and other fields (Watt & Nagtegaal, 2004). Also, psi research has changed its procedures in response to internal and external criticisms, as exemplified by ganzfeld research.

An analysis commissioned by the National Academy of Sciences concluded that alternative hypotheses (sensory leakage, recording or intentional errors, selective reporting, multiple analyses of variables, failures in randomization or statistical errors, and independence of studies) failed to explain away the significant effects in ganzfeld studies, which “regularly meet the basic requirements of sound experimental design” (Harris & Rosenthal, 1988, p. 53). Nonetheless, some authors (e.g., Bösch et al., 2006; Rouder et al., 2013) have raised the possibility that supportive psi data could be due to nonpublication of failures to replicate. It is impossible to accurately know the potential effect of selective reporting, but psi research has taken steps for decades to reduce this possibility. For example, publication of nonreplications has been encouraged by journals for a long time (Broughton, 1987). In addition, this is such a small field that most researchers know who is researching what and can inquire about unpublished data to conduct meta-analyses. There are also known complete psi data sets that support the psi hypothesis (Baptista et al., 2015), and a psi critic wrote that selective publication is less evident in psi than in other areas (Hyman & Honorton, 1986). Furthermore, it should not be assumed that failures to replicate are not submitted for publication, whereas supportive experiments are. For instance, psi critics rushed to publish their failures to replicate Bem’s studies but not the supportive experiments in their database (dbem, 2012; Ritchie, Wiseman, & French, 2012). There have also been studies supportive of psi not submitted because they were conducted by skeptics (Sheldrake, 2015), or the researcher thought that there was already enough evidence for psi (Bem, personal communication, 2016). The selective publication effect cuts both ways and, when statistically evaluated in the reviewed meta-analyses, a file drawer effect has not been found to explain away the results, with the arguable exceptions of micro-PK and noncontact healing. With regard to other questionable research practices (QRPs) such as “p hacking,” although one study showed that they were rampant in psychology (John, Loewenstein, & Prelec, 2012), another found that those results were probably inflated by the way the questions were phrased (Fiedler & Schwarz, 2016). A recent simulation of experimental psi data with a worst-case QRP scenario still found support for the psi hypothesis (Bierman, Spottiswoode, & Bijl, 2016), and psi researchers discussed QRP decades before the current debate (Office of Technology Assessment, 1989). Parapsychology has also taken steps to decrease potential QRP in the field through preregistration for psi research (Watt & Kennedy, 2015, 2017) and an open data registry (https://www.spr.ac.uk/publications/psi-opendata). The argument about “exceptional claims requiring exceptional evidence,” although often adduced, is problematic for many reasons. They include the fact that many phenomena that we do not currently consider “exceptional” (e.g., electricity) were considered extraordinary if not impossible earlier in history and a requirement for “exceptional evidence” might have prevented them from becoming accepted. Then there is the problem of defining the criteria for “exceptional evidence,” which have varied across time, to a current proposed standard (Wagenmakers et al.’s [2011] prior Bayesian estimate for psi phenomena of 1020) that is virtually unfalsifiable. Deming (2016) concluded that there are not two different types of evidence in science and criticizes the misuse of the argument to “suppress innovation and maintain orthodoxy” (p. 1319). As Cornell professor in statistics (and psi skeptic) Joel Greenhouse (1991) stated, “parapsychologists should not be held to a different standard of evidence to support their findings than other scientists” (p. 388). An additional point is that there is consistency across the meta-analyses and with descriptive research on psi phenomena. In both, awareness of putative psi phenomena often involves alterations in consciousness and salient emotional stimuli. The positive case for psi, however, should not be overstated because our knowledge of it is far from satisfactory and scientific conclusions are tentative. The level of replication, although comparable to other areas, leaves much to be desired, the ESs are small, and theories need to be developed and tested further.

Suggestions for Future Research

Psi research can be divided into studies that are mostly concerned with evaluating whether there is a psi effect to begin with (proof-oriented), and those that assume psi and seek to understand its nature (process-oriented; Stanford, 1974). Recommendations for process-oriented research are:  (a) Investigate the psychological and neurocognitive characteristics of people who perform well in controlled research. (b) Develop nonconscious measures of psi, following the promising results of presentiment and implicit anomalous cognition research. (c) Conduct systematic research on naturally occurring instances of reputed psi in everyday life. (d) Develop and test strategies that might increase the ability to perform well in psi studies, for instance, through new procedures to elicit specific alterations of consciousness. (e) Analyze the characteristics of the research sessions/trials in which people were successful. (f) Investigate further the traits and practices of researchers who tend to be successful in their experiments. With regard to proof-oriented research: (a) Use the project repositories already in existence and avoid QRP that place findings in doubt. This does not mean that serendipitous effects should be disregarded, but that they should be labeled as such. (b) Conduct studies that have enough power considering the ESs for that specific protocol. One important aspect, though, is to do it in such a way that the research does not become so tedious to experimenters and/or participants that the motivation goes down. (c) Develop and test procedures that approximate the characteristics of reputed psi in real life (e.g., Sheldrake, 2015). (d) Develop multidisciplinary protocols with researchers who are at least open to the reality of psi. Researchers who are already convinced that psi is impossible are likely to discourage participants (cf. Schlitz, Wiseman, Watt, & Radin, 2006). (e) Conduct prospective meta-analyses and standardize procedures following recent developments (Tressoldi & Utts, 2015, Utts was the 2016 president of the American Statistical Association). (f) Develop falsifiable theories to guide research. (g) Situate psi within larger domains such as the ongoing study of the general characteristics of consciousness/mind. These proposals are unlikely to have much effect without a good infrastructure to support programmatic, well-funded research and theory, and serious endeavors should be valued rather than penalized. There should also be a change in the editorial policy of some journals so that the default position is not to automatically reject papers on psi but to have them evaluated on their own merits by knowledgeable and open reviewers. This would be in the spirit of William James and other founders of psychology, whose goal was to have a comprehensive and open discipline (Cardeña, Lynn, & Krippner, 2017). The history of science shows that earlier certainties have been swept away by new findings and theories. This review of the empirical support for psi phenomena should make interested psychologists consult primary sources, their critiques (e.g., Wiseman, 2010), but also the responses to those critiques (e.g., Baptista & Derakhshani, 2014: Utts, 1991). After a careful investigation of the field, some readers might become convinced, as did the distinguished University of California neuroscientist James H. Fallon (2015) that at its best, psi research exhibits “methodological excellence” (p. xii) and promising results.

References 

Alcock, J. (2010). Attributions about impossible things. In S. Krippner & H. L. Friedman (Eds.), Debating psychic experience: Human potential or human illusion? Santa Barbara, CA: Praeger. Baptista, J., & Derakhshani, M. (2014). Beyond the coin toss: Examining Wiseman’s criticisms of parapsychology. Journal of Parapsychology, 78, 56 –79. Baptista, J., Derakhshani, M., & Tressoldi, P. E. (2015). Explicit anomalous cognition: A review of the best evidence in ganzfeld, forced choice, remote viewing and dream studies. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 192–214). Jefferson, NC: McFarland. Barrett, L. F. (2015, September 1). Psychology is not in crisis. Retrieved from http://www.nytimes.com/2015/09/01/opinion/psychology-is-notin-crisis.html?_r0 Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100, 407– 425. http://dx.doi.org/10.1037/ a0021524 Bem, D. J., Palmer, J., & Broughton, R. S. (2001). Updating the Ganzfeld database: A victim of its own success? Journal of Parapsychology, 65, 207–218. Bem, D., Tressoldi, P., Rabeyron, T., & Duggan, M. (2015). Feeling the future: A meta-analysis of 90 experiments on the anomalous anticipation of random future events (version 2). F1000 Research, 4, 1188. Bierman, D., & Rabeyron, T. (2013). Can psi research sponsor itself? Simulations and results of an automated ARV-casino experiment. Presented at the 56th Annual Convention of the Parapsychological Association in Viterbo, Italy, August. Bierman, D. J., Spottiswoode, J. P., & Bijl, A. (2016). Testing for questionable research practices in a meta-analysis: An example from experimental parapsychology. PLoS ONE, 11, e0153049. http://dx.doi.org/10 .1371/journal.pone.0153049 Bohm, D. (1986). A new theory of mind and matter. Journal of the American Society for Psychical Research, 80, 113–135. Bösch, H., Steinkamp, F., & Boller, E. (2006). Examining psychokinesis: The interaction of human intention with random number generators—A meta-analysis. Psychological Bulletin, 132, 497–523. http://dx.doi.org/ 10.1037/0033-2909.132.4.497 Broughton, R. S. (1987). Publication policy and the Journal of Parapsychology. Journal of Parapsychology, 51, 21–32. Broughton, R. S. (2015). Psi and biology: An evolutionary perspective. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 139 –148). Jefferson, NC: McFarland. Cardeña, E. (2010). A look at the potential future of parapsychology with help from a regression to the hypnotic past. Journal of Parapsychology, 74, 15–30. Cardeña, E. (2014). A call for an open, informed study of all aspects of consciousness. Frontiers in Human Neuroscience, 8, 17. http://dx.doi .org/10.3389/fnhum.2014.00017 Cardeña, E. (2015a). Eminent people interested in psi. Retrieved from http://psi-encyclopedia.spr.ac.uk/articles/eminent-people-interested-ps Cardeña, E. (2015b). The unbearable fear of psi: On scientific censorship in the 21st century. Journal of Scientific Exploration, 29, 601– 620. Cardeña, E., Lynn, S. J., & Krippner, S. (2017). The psychology of anomalous experience: A rediscovery. Psychology of Consciousness, 4, 4 –22. http://dx.doi.org/10.1037/cns0000093

Cardeña, E., & Marcusson-Clavertz, D. (2015). States, traits, beliefs, and psi. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 110 –124). Jefferson, NC: McFarland. Cardeña, E., Palmer, J., & Marcusson-Clavertz, D. (2015). Parapsychology: A handbook for the 21st century. Jefferson, NC: McFarland. Carpenter, J. (2012). First sight: ESP and parapsychology in everyday life. Lanham, MD: Rowman & Littlefield. Carr, B. (2015). Higher dimensions of space and time and their implications for psi. In E. C. May & S. B. Marwaha (Eds.), Extrasensory perception: Support, skepticism, and science. Vol. 2: Theories of psi (pp. 21– 61). Santa Barbara, CA: Praeger. Chan, M. E., & Arvey, R. D. (2012). Meta-analysis and the development of knowledge. Perspectives on Psychological Science, 7, 79 –92. http:// dx.doi.org/10.1177/1745691611429355 Child, I. (1985). Psychology and anomalous observation: The question of ESP in dreams. American Psychologist, 40, 1219 –1230. http://dx.doi .org/10.1037/0003-066X.40.11.1219 Crick, F., & Koch, C. (1990). Towards a neurobiological theory of consciousness. Seminars in Neuroscience, 2, 263–275. Davies, P. (2002). That mysterious flow. Scientific American, 287, 40 – 47. http://dx.doi.org/10.1038/scientificamerican0902-40 dbem. (2012, March 15). Bem’s response to Ritchie, Wiseman, and French [Comment]. Retrieved from http://journals.plos.org/plosone/article/ comment?idinfo:doi/10.1371/annotation/02eae6d6-af7f-41d8-b2b3- b6d32fdce7a6 Delbrück, M. (1986). Mind from matter? Palo Alto, CA: Blackwell Scientific Publications. Deming, D. (2016). Do extraordinary claims require extraordinary evidence? Philosophia, 44, 1319 –1331. http://dx.doi.org/10.1007/s11406- 016-9779-7 d’Espagnat, B. (1979, November). The quantum theory and reality. Scientific American, 251, 158 –181. http://dx.doi.org/10.1038/ scientificamerican1179-158 d’Espagnat, B. (2006). On physics and philosophy. Princeton, NJ: Princeton University Press. Dunne, B. J., & Jahn, R. G. (2003). Information and uncertainty in remote perception research. Journal of Scientific Exploration, 17, 217–241. Dyson, F. (1988). Infinite in all directions. London, United Kingdom: Penguin. Edge, H. L., Morris, R. L., Palmer, J., & Rush, J. H. (1986). Foundations of parapsychology: Exploring the boundaries of human capability. London, United Kingdom: Routledge & Kegan. Fallon, J. H. (2015). Foreword. In E. C. May & S. B. Marwaha (Eds.), Extrasensory perception: Support, skepticism, and science. Vol. 1: History, controversy, and research (pp. ix–xv). Santa Barbara, CA: Praeger. Fiedler, K., & Schwarz, N. (2016). Questionable research practices revisited. Social Psychological & Personality Science, 7, 45–52. http://dx.doi .org/10.1177/1948550615612150 Frank, A. (2017, March 15). Minding matter: The closer you look, the more the materialist position in physics appears to rest on shaky metaphysical ground. Retrieved from https://aeon.co/essays/materialism-alonecannot-explain-the-riddle-of-consciousness French, C. (2001). Weird science at Goldsmiths. Skeptic, 14, 7– 8. Galak, J., Leboeuf, R. A., Nelson, L. D., & Simmons, J. P. (2012). Correcting the past: Failures to replicate . Journal of Personality and Social Psychology, 103, 933–948. http://dx.doi.org/10.1037/a0029709 Gilbert, D. T., King, G., Pettigrew, S., & Wilson, T. D. (2016). Comment on “Estimating the reproducibility of psychological science.” Science, 351, 1037–1038. http://dx.doi.org/10.1126/science.aad7243 Greenhouse, J. B. (1991). Comment: Parapsychology—On the margins of science. Statistical Science, 6, 386 –389. http://dx.doi.org/10.1214/ss/ 1177011581

Gupta, M., & Agrawal, A. (2012). A comprehensive review on systematic and meta-analysis methods. International Journal of Pharmacology & Life Sciences, 3, 1470 –1474. Hacking, I. (1988). Telepathy: Origins of randomization in experimental design. Isis, 79, 427– 451. http://dx.doi.org/10.1086/354775 Haidich, A. B. (2010). Meta-analysis in medical research. Hyppokratia, 14, 29 –37. Harris, M. J., & Rosenthal, R. (1988). Interpersonal expectancy effects and human performance. Washington, DC: National Academy Press. Hodge, D. R. (2007). A systematic review of the empirical literature on intercessory prayer. Research on Social Work Practice, 17, 174 –187. http://dx.doi.org/10.1177/1049731506296170 Hofstadter, D. (2011, January 7). A cutoff for craziness. The New York Times. Retrieved from https://www.nytimes.com/roomfordebate/2011/ 01/06/the-esp-study-when-science-goes-psychic/a-cutoff-for-craziness Holt, N. J., Delanoy, D. L., & Roe, C. A. (2004). Creativity, subjective paranormal experiences and altered states of consciousness. In S. Schmidt (Program chair), 2004 Proceedings of the Parapsychological Association Convention (pp. 433– 436). Columbus, OH: Parapsychological Association. Honorton, C. (1977). Psi and attentional internal states. In B. B. Wolman (Ed.), Handbook of parapsychology (pp. 435– 472). Jefferson, NC: McFarland. Honorton, C., & Ferrari, D. C. (1989). “Future telling”: A meta-analysis of forced-choice precognition experiments, 1935–1987. Journal of Parapsychology, 53, 281–308. Hövelmann, G. H. (2015). On the usefulness of parapsychology for science at large. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 389 –398). Jefferson, NC: McFarland. Hyman, R. (1995). Evaluation of program on anomalous mental phenomena. Retrieved from http://www.ics.uci.edu/~jutts/hyman.html Hyman, R. (2010). Meta-analysis that conceals more than it reveals: Comment on Storm et al. (2010). Psychological Bulletin, 136, 486 – 490. http://dx.doi.org/10.1037/a0019676 Hyman, R., & Honorton, C. (1986). A joint communiqué: The psi ganzfeld controversy. Journal of Parapsychology, 50, 350 –364. John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23, 524 –532. http://dx.doi.org/10.1177/ 0956797611430953 Johnson, M. (1976). On publication policy regarding non-significant results. European Journal of Parapsychology, 1, 1–5. Kahneman, D. (2011). Thinking, fast and slow. New York, NY: Farrar, Strauss and Giroux. Kelly, E. F. (2015). Parapsychology in context: The big picture. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 40 – 41). Jefferson, NC: McFarland. Kelly, E. W., & Tucker, J. B. (2015). Research methods with spontaneous case studies. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 63–76). Jefferson, NC: McFarland. Lambert, N., Chen, Y.-N., Cheng, Y.-C., Li, C.-M., Chen, G.-Y., & Nori, F. (2013). Quantum biology. Nature Physics, 9, 10 –18. Lewontin, R. (1994). A rejoinder to William Wimsatt. In J. Chandler, A. I. Davidson, & H. D. Harootunian (Eds.), Questions of evidence: Proof, practice, and persuasion across the disciplines (pp. 504 –509). Chicago, IL: University of Chicago Press. Marcusson-Clavertz, D., & Cardeña, E. (2011). Hypnotizability, alterations in consciousness, and other variables as predictors of performance in a ganzfeld psi task. Journal of Parapsychology, 75, 235–259. Marwaha, S. B., & May, E. C. (2016). Precognition: The only form of psi? Journal of Consciousness Studies, 23, 76 –100.

Masters, K. S., Spielmans, G. I., & Goodson, J. T. (2006). Are there demonstrable effects of distant intercessory prayer? A meta-analytic review. Annals of Behavioral Medicine, 32, 21–26. http://dx.doi.org/10 .1207/s15324796abm3201_3 May, E. C., & Marwaha, S. B. (2015). Extrasensory perception: Support, skepticism, and science (Vols. 1–2). Santa Barbara, CA: Praeger. May, E. C., Utts, J. M., & Spottiswoode, J. P. (1995). Decision augmentation theory: Toward a model of anomalous mental phenomena. Journal of Parapsychology, 59, 195–220. Millar, B. (2015). Quantum theory and parapsychology. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 165–180). Jefferson, NC: McFarland. Mills, A., & Tucker, J. B. (2015). Reincarnation: Field studies and theoretical issues today. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 314 –326). Jefferson, NC: McFarland. Milton, J. (1997). Meta-analysis of free-response ESP studies without altered states of consciousness. Journal of Parapsychology, 61, 279 – 319. Milton, J., & Wiseman, R. (1999). Does psi exist? Lack of replication of an anomalous process of information transfer. Psychological Bulletin, 125, 387–391. http://dx.doi.org/10.1037/0033-2909.125.4.387 Mossbridge, J., Tressoldi, P., & Utts, J. (2012). Predictive physiological anticipation preceding seemingly unpredictable stimuli: A metaanalysis. Frontiers in Psychology, 3, 390. http://dx.doi.org/10.3389/ fpsyg.2012.00390 Mossbridge, J., Tressoldi, P., Utts, J., Ives, J. A., Radin, D., & Jonas, W. B. (2015). We did see this coming: Response to, We should have seen this coming, by D. Sam Schwarzkopf. arXiv:1501.03179 [q-bio.NC]. Musser, G. (2015). Spooky action at a distance. New York, NY: Scientific American/FSG. Nagel, T. (2012). Mind and cosmos: Why the materialist neo-Darwinian conception of nature is almost certainly false. Oxford, United Kingdom: Oxford University Press. http://dx.doi.org/10.1093/acprof:oso/ 9780199919758.001.0001 Nelson, R. D. (2015). Implicit physical psi: The global consciousness project. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 282–292). Jefferson, NC: McFarland. Office of Technology Assessment. (1989). Report of a workshop on experimental parapsychology. Journal of the American Society for Psychical Research, 83, 317–339. Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349. http://dx.doi.org/10.1126/science .aac4716 Palmer, J. (2015a). Experimental methods in anomalous cognition and anomalous perturbation research. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 49 – 62). Jefferson, NC: McFarland. Palmer, J. (2015b). Implicit anomalous cognition. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 215–229). Jefferson, NC: McFarland. Palmer, J., & Millar, B. (2015). Experimenter effects in parapsychology research. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 293–300). Jefferson, NC: McFarland. Radin, D. (2006). The conscious universe. San Francisco, CA: HarperEdge. Radin, D., & Ferrari, D. C. (1991). Effects of consciousness on the fall of dice: A meta-analysis. Journal of Scientific Exploration, 5, 61– 83. Radin, D., Michel, L., & Delorme, A. (2016). Psychophysical modulation of fringe visibility in a distant double-slit optical system. Physics Essays, 29, 14 –22. http://dx.doi.org/10.4006/0836-1398-29.1.014

Richard, F. D., Bond, C. F., Jr., & Stokes-Zoota, J. J. (2003). One hundred years of social psychology quantitatively described. Review of General Psychology, 7, 331–363. http://dx.doi.org/10.1037/1089-2680.7.4.331 Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the future: Three unsuccessful attempts to replicate Bem’s ‘retroactive facilitation of recall’ effect. PLoS ONE, 7, e33423. http://dx.doi.org/10.1371/journal .pone.0033423 Roe, C. A., Hodrien, A., & Kirkwood, L. (2012). Comparing remote viewing and ganzfeld conditions in a precognition task. In C. S. Alvarado (Program chair), Parapsychological Association 55th Annual Convention: Abstracts of presented papers (pp. 36 –38). Columbus, OH: Parapsychological Association. Roe, C. A., Sonnex, C., & Roxburgh, E. C. (2015). Two meta-analyses of noncontact healing studies. EXPLORE: The Journal of Science and Healing, 11, 11–23. http://dx.doi.org/10.1016/j.explore.2014.10.001 Rosenthal, R. (1990). Replication in behavioral research. Journal of Social Behavior and Personality, 5, 1–30. Rouder, J. N., Morey, R. D., & Province, J. M. (2013). A Bayes factor meta-analysis of recent extrasensory perception experiments: Comment on Storm, Tressoldi, and Di Risio (2010). Psychological Bulletin, 139, 241–247. http://dx.doi.org/10.1037/a0029008 Safina, C. (2015). Beyond words: What animals think and feel. New York, NY: Henry Holt. Schlitz, M., Wiseman, R., Watt, C., & Radin, D. (2006). Of two minds: Sceptic-proponent collaboration within parapsychology. British Journal of Psychology, 97, 313–322. http://dx.doi.org/10.1348/000712605X80704 Schlosshauer, M., Kofler, J., & Zeilinger, A. (2013). A snapshot of foundational attitudes toward quantum mechanics. Studies in History and Philosophy of Science Part B: Studies in History and Philosophy of Modern Physics, 44, 222–230. http://dx.doi.org/10.1016/j.shpsb.2013.04 .004 Schmidt, S. (2015). Experimental research on distant intention phenomena. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 244 –257). Jefferson, NC: McFarland. Schwarzkopf, D. S. (2014). We should have seen this coming. Frontiers in Human Neuroscience, 8, 332. Sheehan, D. P. (2011). Quantum retrocausation: Theory and experiment (AIP Conference Proceedings, Vol. 1408). Melville, NY: American Institute of Physics. Sheehan, D. P. (2015). Remembrance of things future: A case for retrocausation and precognition. In E. C. May & S. B. Marwaha (Eds.), Extrasensory perception: Support, skepticism, and science (pp. 85–109). Santa Barbara, CA: Praeger. Sheldrake, R. (2015). Psi in everyday life: Nonhuman and human. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 350 –363). Jefferson, NC: McFarland. Sommer, A. (2013). Crossing the boundaries of mind and body: Psychical research and the origins of modern psychology (Doctoral dissertation). University College, London, London, United Kingdom. Spencer, B. (1995). Correlations, sample size, and practical significance: A comparison of psychological and medical investigations. The Journal of Psychology, 129, 469 – 475. http://dx.doi.org/10.1080/00223980.1995 .9914982 Stanford, R. G. (1974). Concept and psi. In W. G. Roll, R. L. Moris, & J. D. Morris (Eds.), Research in parapsychology 1973 (pp. 137–162). Metuchen, NJ: Scarecrow. Stanford, R. G. (2015). Psychological concepts of psi function: A review and constructive critique. In E. Cardeña, J. Palmer, & D. MarcussonClavertz (Eds.), Parapsychology: A handbook for the 21st century (pp. 94 –109). Jefferson, NC: McFarland. Stapp, H. P. (2017). Quantum theory and free will. New York, NY: Springer. http://dx.doi.org/10.1007/978-3-319-58301-3

Storm, L., & Ertel, S. (2001). Does psi exist? Comments on Milton and Wiseman’s (1999) meta-analysis of ganzfeld research. Psychological Bulletin, 127, 424 – 433. http://dx.doi.org/10.1037/0033-2909.127.3.424 Storm, L., Sherwood, S. J., Roe, C. A., Tressoldi, P. E., Rock, A. J., & Di Risio, L. (2017). On the correspondence between dream content and target material under laboratory conditions: A meta-analysis of dreamESP studies, 1966 –2016. International Journal of Dream Research: Psychological Aspects of Sleep and Dreaming, 10, 2, 120 –140. http:// dx.doi.org/10.11588/ijodr.2017.2.34888 Storm, L., Tressoldi, P. E., & Di Risio, L. (2010a). A meta-analysis with nothing to hide: Reply to Hyman (2010). Psychological Bulletin, 136, 491– 494. http://dx.doi.org/10.1037/a0019840 Storm, L., Tressoldi, P. E., & Di Risio, L. (2010b). Meta-analysis of free-response studies, 1992–2008: Assessing the noise reduction model in parapsychology. Psychological Bulletin, 136, 471– 485. http://dx.doi .org/10.1037/a0019457 Storm, L., Tressoldi, P. E., & Di Risio, L. (2012). Meta-analysis of ESP studies, 1987–2010: Assessing the success of the forced-choice design in parapsychology. Journal of Parapsychology, 76, 243–273. Storm, L., Tressoldi, P. E., & Utts, J. (2013). Testing the Storm et al. (2010) meta-analysis using Bayesian and frequentist approaches: Reply to Rouder et al. (2013). Psychological Bulletin, 139, 248 –254. http://dx .doi.org/10.1037/a0029506 Sudduth, M. (2009). Super-psi and the survivalist interpretation of mediumship. Journal of Scientific Exploration, 23, 167–193. Thunberg, I. (2006). Anitra och jag har telepatisk kontakt [Anita and I have telepathic contact]. Expressen. Retrieved from http://www.expressen.se/ nyheter/anitra-och-jag-har-telepatisk-kontakt/ Tononi, G., & Koch, C. (2015). Consciousness: Here, there and everywhere? Philosophical Transactions of the Royal Society of London: Series B, Biological Sciences, 370, 20140167. http://dx.doi.org/10.1098/ rstb.2014.0167 Tressoldi, P. E., & Utts, J. (2015). Statistical guidelines for empirical studies. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology. A handbook for the 21st century (pp. 83–93). Jefferson, NC: McFarland. Utts, J. M. (1991). Replication and meta-analysis in parapsychology. Statistical Science, 6, 363–378. http://dx.doi.org/10.1214/ss/ 1177011577 Utts, J. (1996). An assessment of the evidence for psychic functioning. Journal of Scientific Exploration, 10, 3–30. Varvoglis, M., & Bancel, P. A. (2015). Micro-psychokinesis. In E. Cardeña, J. Palmer, & D. Marcusson-Clavertz (Eds.), Parapsychology A handbook for the 21st century (pp. 266 –281). Jefferson, NC: McFarland. Velmans, M. (2000). Understanding consciousness. London, United Kingdom: Routledge. http://dx.doi.org/10.4324/9780203465028 Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100, 426 – 432. http://dx.doi.org/10.1037/ a0022790 Watt, C. (2014). Precognitive dreaming: Investigating anomalous cognition and psychological factors. Journal of Parapsychology, 78, 115–125. Watt, C., & Kennedy, J. E. (2015). Lessons from the first two years of operating a study registry. Frontiers in Psychology, 6, 173. http://dx.doi .org/10.3389/fpsyg.2015.00173 Watt, C. A., & Kennedy, J. E. (2017). Options for prospective metaanalysis and introduction of registration-based prospective metaanalysis. Frontiers in Psychology, 7, 2030. http://dx.doi.org/10.3389/ fpsyg.2016.02030 Watt, C., & Nagtegaal, M. (2000). Luck in action? Belief in good luck, psi-mediated instrumental response, and games of chance. Journal of Parapsychology, 64, 33–50. Watt, C., & Nagtegaal, M. (2004). Reporting of blind methods: An interdisciplinary survey. Journal of the Society for Psychical Research, 68, 105–114. Watt, C., & Tierney, I. (2014). Psi-related anomalous experiences. In E. Cardeña, S. J. Lynn, & S. Krippner (Eds.), Varieties of anomalous experience: Examining the scientific evidence (2nd ed.; pp. 241–272). Washington, DC: American Psychological Association. Watt, C., & Valášek, M. (2015). Postscript to Watt (2014) on precognitive dreaming: Investigating anomalous cognition and psychological factors. Journal of Parapsychology, 79, 105–107. Williams, B. J. (2011). Revisiting the ganzfeld ESP debate: A basic review and assessment. Journal of Scientific Exploration, 25, 639 – 661. Wiseman, R. (2010). “Head I win, tail you lose”: How parapsychologists nullify null results. Skeptical Inquirer, 34, 36 –39. Zdrenka, M., & Wilson, M. S. (2017). Individual difference correlates of psi performance in forced-choice precognition experiments: A metaanalysis. Journal of Parapsychology, 81, 9 –32.