Vakaların %50'sinden fazlasında psikolojik çalışmaların yanlış olduğu bulundu

2024 Yazar: Seth Attwood | [email protected]. Son düzenleme: 2023-12-16 16:18

Güven oluşturan ve stres hormonlarını azaltan "güçlü duruşlar" vardır. İnsanlar ellerinde bir bardak sıcak içecek tuttuklarında etraflarındakilere daha dostça davranırlar. İrade, ayartmaya karşı koyduğumuzda harcadığımız bir kaynaktır. Ödülü erteleme yeteneği, çocuğun gelecekteki başarısını belirler.

Bu ifadeler birbirine çok benziyor: arkalarında iyi bilinen psikolojik araştırmalar, popüler bilim çok satanlar, popüler dergilerde köşe yazıları ve TED konuşmaları var.

Ayrıca ortak bir noktaları daha var: hepsinin yanlış olduğu ortaya çıktı.

Tekrarlanabilirlik krizi, bilimin tüm alanlarında şüphe uyandırdı. Medyada geniş çapta alıntılanan sonuçların çoğu artık abartılı veya yanlış olarak kabul ediliyor. Bilim adamları hem klasik hem de yeni psikolojik deneyleri tekrarlamaya çalıştıklarında, sonuçlar şaşırtıcı bir şekilde tutarlıydı; vakaların yaklaşık yarısı başarılı, diğer yarısı başarısız oldu.

Kriz nihayet 2015'te Brian Nosek liderliğindeki bilim adamlarının 100 psikolojik çalışmayı kontrol etmesiyle ortaya çıktı. Sadece 36 vakada ilk sonuçlara ulaşabildiler. Lancet'in baş editörü Richard Horton kısa süre sonra şunları söyledi:

“Bilime yönelik suçlamalar oldukça açık: Bilimsel literatürün en az yarısı tamamen yanlış. Küçük örneklemli çalışmalar, yetersiz etki ve yanlış analizlerin yanı sıra, önemi şüpheli moda trendlerine olan bir takıntıdan muzdarip bilim, cehalete dönüşmüştür.

Tekrarlanabilirlik, bilimsel bilgi için temel gereksinimlerden biridir. Sonuç ne kadar iyi çoğaltılırsa, o kadar güvenilir olur - gerçek kalıpları basit tesadüflerden ayırmanın tek yolu budur

Ancak bu gereksinimin her zaman karşılanmadığı ortaya çıktı.

Kriz tıpla başladı ama en çok psikolojiyi etkiledi. 2018 yazında bilim adamları, dünyanın en prestijli bilimsel dergileri Science and Nature'da yayınlanan bir dizi psikolojik araştırmayı kopyalamaya çalıştılar. 21 deneyden sadece 13'ü doğrulandı - ve bu durumlarda bile orijinal sonuçlar yaklaşık %50 abartıldı.

Çoğu zaman, tekrarlanabilirlik testi, medyada geniş çapta çoğaltılan ve kamu bilincini etkilemeyi başaran bu çalışmalarda başarısız oluyor. Örneğin, arama motorlarının hafızayı bozduğu, kurgu okumanın empati yeteneğini geliştirdiği eserler. Tekrarlanan deneyler başarısız olursa, bu orijinal hipotezlerin değersiz olduğu anlamına gelmez. Ancak şimdi bunları kanıtlamak için daha iyi araştırmalara ihtiyaç var.

İstatistiklerle gelecek nasıl tahmin edilir?

2011 yılında ünlü Amerikalı psikolog Daryl Boehm, basiret olasılığını kanıtlayan bir makale yayınladı. Bu sonuç, onun şiddetli hayal gücünün bir ürünü değil, yüzlerce insanı içeren onlarca yıllık araştırmaya dayanıyordu. Birçoğu, Boehm'in Sokal'ın dolandırıcılığı gibi bir şey düzenlemeye ve kasıtlı olarak saçma sonuçlara sahip sahte bir makaleyle psikolojiyi ifşa etmeye karar verdiğinden şüpheleniyordu. Ancak tüm metodolojik standartlara göre makale çok ikna ediciydi.

Behm'in deneylerinden birinde, katılımcıların önüne iki ekran yerleştirildi - hangi görüntünün arkasında saklandığını tahmin etmeleri gerekiyordu. Seçim yapıldıktan hemen sonra resim rastgele oluşturuldu. Katılımcılar iyi bir iş çıkardıysa, geleceği bir şekilde tahmin edebileceklerini gösterir. Deneyde iki tür görüntü kullanıldı: nötr ve pornografik.

Boehm, eğer altıncı his varsa, muhtemelen eski bir evrimsel kökene sahip olduğunu öne sürdü. Eğer öyleyse, en eski ihtiyaçlarımıza ve dürtülerimize uyum sağlaması daha olasıdır

Katılımcılar, pornografik görüntüleri zamanın %53'ünde tahmin ettiler - tamamen şans eseri olmaları gerektiğinden biraz daha sık. Çok sayıda deney göz önüne alındığında, Boehm öngörünün var olduğunu iddia edebilir.

Daha sonra uzmanlar, sonuçları analiz ederken tamamen doğru yöntemler kullanmadığını keşfetti. Kural olarak, bir araştırma sonucu, tesadüfen elde edilme olasılığı %5'i geçmiyorsa güvenilir kabul edilir. Ancak bu değeri gerekli düzeye indirmenin birçok yolu vardır: analizin başlangıç parametrelerini değiştirmek, örneklemden gerekli sayıda örnek eklemek veya çıkarmak, verileri topladıktan sonra daha başarılı hipotezler kullanmak.

Sorun şu ki sadece Boehm değil, diğer birçok bilim insanı da aynı teknikleri kullandı. 2011'de yapılan bir ankete göre, psikologların neredeyse yarısı bunu kabul etti

Basiret makalesi çıktığında, sosyal bilimciler Joseph Simmons, Leaf Nelson ve Uri Simonson, bilimin kendi yıkımına doğru gittiğini fark ettiler. Birkaç bilgisayar modeli oluşturdular ve oldukça standart istatistiksel teknikleri kullanarak yanlış pozitif sonuçların seviyesini birkaç kez artırabileceğinizi buldular. Bu, resmi olarak bilimsel olan yöntemlerin kolayca tamamen saçma sonuçlara yol açabileceği anlamına gelir.

Bunu açıklamak için bilim adamları, "Altmış Dört'ümde" şarkısını dinlemenin dinleyiciyi bir buçuk yıl gençleştirdiğini doğrulayan bir deney yaptılar.

Herkes bu tür teknikleri kullanmanın yanlış olduğunu biliyordu, ancak bunun öneminin bir ihlali olduğunu düşündüler - yolu yanlış yerden geçmek gibi. Daha çok bir banka soygunu gibi çıktı,”diye bitirdi Simmons.

Kötü araştırmayı iyiden nasıl ayırt edebilirim?

Kısa süre sonra tekrarlanabilirlik konularının psikoloji ile sınırlı olmadığı anlaşıldı. Kanser araştırmalarında, vakaların %10-25'inde bilimsel kanıtlar desteklenmektedir. Ekonomide, 18 laboratuvar deneyinden 7'si tekrarlanamadı. Yapay zeka araştırmaları da kriz belirtileri gösteriyor.

Ama bilime olan inancını kaybetmek, öyle görünüyor ki, hala buna değmez. Bilim adamları, yeni araştırmaların güvenilirliğini ve kalitesini büyük ölçüde artıran birkaç yol bulmuşlardır

Birkaç yıl önce, tekrarlanan deneylerin sonuçlarını, yapılmış olsalar bile, neredeyse hiç kimse yayınlamadı. Bu kabul edilmedi, hibe getirmedi ve başarılı bir bilimsel kariyere katkıda bulunmadı. Bir Nature araştırmasına göre, psikologların %70'inden fazlası diğer insanların araştırmalarını yeniden üretmeye çalıştı ve başarısız oldu, yaklaşık yarısı kendi araştırmalarını tekrar edemedi ve neredeyse hiç kimse bu sonuçları yayınlamaya çalışmadı.

Tekrarlanabilirlik krizi su yüzüne çıktığında çok şey değişti. Tekrarlanan araştırmalar giderek yaygınlaştı; deneysel veriler giderek daha sık kamu malı olarak yayınlanmaya başladı; dergiler daha başlamadan olumsuz sonuçlar yayınlamaya ve genel araştırma planını kaydetmeye başladı.

Araştırma daha kapsamlı hale geldi - psikolojide oldukça standart olan 30-40 kişilik bir örnek artık çok az kişiye uyuyor. Psikolojik Bilim Hızlandırıcısı gibi büyük uluslararası kuruluşlar, aynı hipotezleri dünyanın çeşitli laboratuvarlarında test ediyor.

Başta yazdığımız Nature and Science makalelerini kontrol etmeden önce bilim adamlarından çekilişlere bahis yapmaları istendi. Hangi araştırmanın testi geçeceğini ve hangilerinin başarısız olacağını tahmin etmeleri gerekiyordu. Genel olarak, oranlar çok doğruydu. Deneyin organizatörleri, "Bu, ilk olarak, bilim camiasının hangi çalışmaların tekrarlanabileceğini tahmin edebileceği ve ikinci olarak, çalışmayı tekrarlamanın imkansızlığının sadece bir tesadüf olmadığı anlamına geliyor" diyor.

Bilim adamları genellikle güvenilir ve güvenilmez araştırmaları ayırt etmede iyidir - bu iyi haber. Şimdi Açık Bilim Merkezi uzmanları, DARPA ajansıyla birlikte aynı görevi insan müdahalesi olmadan gerçekleştirecek bir algoritma oluşturmaya çalışıyor.

Her yıl yayınlanan çok sayıda makale, küçük bir kısmını bile manuel olarak yeniden kontrol etmek için kullanılıyor. Yapay zeka işin içine girerse her şey çok daha kolay olacak.

Zaten ilk testlerde, AI vakaların% 80'inde tahminlerle başarılı bir şekilde başa çıktı.

Araştırmayı çoğu zaman güvenilmez yapan nedir? Küçük örnekler, sayılardaki tutarsızlıklar, hipotezlerin çok güzel bir şekilde doğrulanması. Ve ayrıca - duyum arzusu ve zor sorulara çok basit cevaplar.

gerçek olamayacak kadar iyi

Sansasyonel araştırma yaratmanın en kolay yolu aldatmadır. Ünlü sosyal psikolog Diederik Stapel, düzinelerce bilimsel makalesinde uydurma verileri kullandı. Stapel'in araştırması büyük bir hızla gazete ve dergilerde yayılıyordu, birçok prestijli bilimsel ödül aldı, Science dergisinde yayınlandı ve alanındaki en büyük uzmanlardan biri olarak kabul edildi.

Bir zamanlar Stapel'in uzun bir süre araştırma yapmadığı, sadece verileri icat ettiği ve analiz için öğrencilere verdiği ortaya çıktı.

Bu bilimde çok nadirdir. Çok daha yüksek sesle, ancak başka nedenlerle yanlış ifadeler ortaya çıkıyor. İnsanlar umutsuzca heyecan verici sorulara basit, anlaşılır ve etkili cevaplar arıyorlar. Gerçekten sahip olmasanız bile, bu yanıtlara sahip olduğunuzu düşünmek çok kolay olabilir. Basitlik ve kesinlik arayışı, birçok çalışmanın tekrarlanabilirliği test edememesinin ana nedenlerinden biridir. İşte bazı dikkate değer örnekler.

hatmi deneyi

Bir deneyde, çocuklardan hemen alınabilecek küçük bir ödül (marshmallow gibi) ile biraz bekleyebilirlerse çifte ödül arasında seçim yapmaları istendi. Daha sonra ikinci ödülü alan çocukların yetişkinlikte daha başarılı oldukları ortaya çıktı. Çalışma çok popüler oldu ve bazı okul müfredatlarını etkiledi.

2018'de deney daha geniş bir örnek üzerinde tekrarlandı. Ailedeki zenginliğin, özdenetim seviyesinin de bağlı olduğu çok daha önemli bir faktör olduğu ortaya çıktı.

"Güçlü Pozlar" ve "Zayıflık Pozlar"

Deneye katılanlar iki dakika boyunca iki pozdan birini aldılar: bir sandalyeye yaslandılar ve bacaklarını masaya attılar ("kuvvet pozu") veya kollarını göğüslerinin üzerinde çaprazladılar ("zayıflık pozu"). Sonuç olarak, birinci gruptaki katılımcılar kendilerini daha güvende hissettiler ve kumarda risk almayı daha sık kabul ettiler. Güçlü pozisyonda oturanların testosteron seviyeleri, zayıf pozisyonda oturanların kortizol seviyesi yükseldi. Tekrarlanan deneylerde, yalnızca bir etki yeniden üretildi: "güçlü duruşlar", katılımcıların kendilerini daha güvende hissetmelerine yardımcı oldu, ancak davranışlarını veya hormonal parametrelerini değiştirmedi.

Yaşlılıkla ilgili çağrışımlar daha yavaş hareket etmenizi sağlar

Deneye katılanlardan birkaç bulmacayı çözmeleri istendi. Onlara yaşlılıkla ilişkili kelimeler eklendiyse - "unutkan", "yaşlı", "yalnız" - o zaman katılımcılar odayı daha yavaş bir hızda terk ettiler.

Son denemelerde, deney yalnızca bir durumda başarıyla yeniden üretildi: deneycilerin kendileri, testlerde katılımcıların yaşlılığı ima ettiğini biliyorlarsa. Etkisi kaldı, ancak nedenler zaten farklıydı.

Sıcak nesneler insanları daha arkadaş canlısı yapar

Deneye katılanların kısa bir süre için bir fincan sıcak veya soğuk kahve tutmalarına izin verildi ve ardından kısa bir açıklama kullanarak kişinin kişiliğini derecelendirmeleri istendi. Elinde bir fincan sıcak kahve tutan katılımcılar, kişiyi daha sevimli olarak değerlendirdi. Başka bir deneyde, katılımcılara sıcak veya soğuk bir pakette bir ürün verildi ve ardından onu saklamaları veya bir arkadaşlarına vermeleri istendi. Öğe sıcak bir pakete sarılmışsa, katılımcıların ikinci seçeneği seçme olasılıkları daha yüksekti. Daha geniş bir örnekle tekrarlanan deneyler böyle sonuçlar vermedi. Sıcak giysiler seni fedakar yapmayacak gibi görünüyor.

Ayartmalara direndiğimizde irade gücü tükenir

Deneydeki katılımcıların önüne iki tabak yerleştirildi - kurabiye ve turp ile. İlk grupta, katılımcıların kurabiye yemelerine izin verildi, ikinci grupta ise sadece turp yemelerine izin verildi. Daha sonra her katılımcıdan imkansız bir bulmacayı çözmesi istendi. Deneyin ilk bölümünde sadece turp yiyen katılımcılar diğerlerinden çok daha erken vazgeçtiler. Tekrarlanan deneylerde, sonuçlar doğrulanmadı.

Bazı durumlarda, kendi kendini kontrol etme kapasitesi tükenmedi, hatta zamanla yoğunlaştı. Birçok psikolog artık "irade" kavramını çok basit buluyor.

Araştırmayı daha güvenilir ve tekrarlanabilir kılmak için dünya psikolojisinde zaten çok şey yapıldı. Rusya'da bu sorun henüz anlaşılmış değil.

RANEPA'da doçent olan Ivan Ivanchey, Knife'a verdiği demeçte, "Rus psikolojisinde, krizin sorunları büyük ölçüde Batı bilimine yönelen bilim gençliğiyle ilgilidir." - Rusça yayınların kalitesi üzerindeki kontrol genellikle çok yüksek değildir. Dergiler makaleleri nadiren reddeder, bu nedenle çok sayıda düşük kaliteli araştırma yayınlanır. Küçük numuneler sıklıkla kullanılır, bu da başarılı üreme olasılığını azaltır. Rusça eserlerin çoğaltılabilirliği konusu ciddi bir şekilde ele alınırsa, birçok sorunun keşfedilebileceğine dair bir şüphe var. Ama kimse doğrudan buna karışmıyor."

Ocak 2019'da, Rus hükümetinin bilim adamlarının gereksinimlerini yayın sayısı açısından önemli ölçüde artıracağı biliniyordu: yılda yayınlanan minimum makale sayısı %30-50 oranında artmalıdır.

Etkili akademisyen "1 Temmuz Kulübü"nden bilim adamları girişimi eleştirdiler: "Bilimin görevi maksimum sayıda yayın üretmek değil, evreni keşfetmek ve insanlık için elde edilen bilgilerden yararlanmaktır." Büyük olasılıkla, yeni gereksinimler yalnızca sorunun ölçeğini artıracaktır.

Yeniden üretilebilirlik kriziyle ilgili hikaye, yaklaşan kıyamet ve barbarların istilasıyla ilgili bir hikaye değil. Kriz olmasaydı, her şey çok daha kötü olurdu: Gerçeği bildiğimizden emin olarak yine de hatalı araştırmalara başvururduk. Belki de "İngiliz bilim adamları kanıtladı" gibi cesur manşetlerin zamanı sona eriyor. Ancak bilimin öldüğü söylentileri biraz abartılı kabul edilmelidir.