Bilimsel deneylerin yaklaşık %50'sinin tekrarlanamaz olduğu ortaya çıktı

2024 Yazar: Seth Attwood | [email protected]. Son düzenleme: 2023-12-16 16:18

Bir haber ve bilgi akışında tesadüfen Nature Scientific Reports'ta bir makaleye rastladım. Bilimsel araştırma sonuçlarının tekrarlanabilirliği hakkında 1.500 bilim insanının yaptığı bir anketten elde edilen verileri sunar. Bu sorun daha önce biyolojik ve tıbbi araştırmalar için gündeme getirilmişse, bir yandan açıklanabilir (yanlış korelasyonlar, incelenen sistemlerin genel karmaşıklığı, hatta bazen bilimsel yazılımlar bile suçlanıyor), diğer yandan fenomenolojik bir sorunu var. karakter (örneğin, fareler bilim adamları farklı cinsiyetlerle (1 ve 2) farklı davranma eğilimindedir).

Ancak, her şey pürüzsüz ve daha fazlafizik ve mühendislik, kimya, ekoloji gibi doğa bilimleri. Bu disiplinlerin, en kontrollü koşullar altında yürütülen "kesinlikle" tekrarlanabilir deneylere dayandığı görülüyor, ne yazık ki, şaşırtıcı bir - kelimenin tam anlamıyla - anketin sonucu: %70'e kadararaştırmacılar karşı karşıya tekrarlanamazsadece diğer bilim adamları grupları tarafından elde edilen deneyler ve sonuçlar, ANCAK ve yayınlanmış bilimsel çalışmaların yazarları / ortak yazarları tarafından!

Her kum kuşu bataklığını övüyor mu?

Ankete katılanların %52'si bilimde bir tekrarlanabilirlik krizine işaret etse de, %31'den azı yayınlanan verilerin temelde yanlış olduğunu düşünüyor ve çoğunluk hala yayınlanan çalışmaya güvendiklerini belirtti.

Tabii ki, sadece bu ankete dayanarak tüm bilimi linç etmemelisiniz: Ankete katılanların yarısı hala şu ya da bu şekilde biyolojik disiplinlerle ilişkili bilim adamlarıydı. Yazarların belirttiği gibi, fizik ve kimyada, elde edilen sonuçlardaki tekrarlanabilirlik ve güven düzeyi çok daha yüksektir (aşağıdaki grafiğe bakın), ancak yine de %100 değildir. Ama tıpta işler diğerlerine göre çok kötü.

Aklıma bir fıkra geliyor:

İngiltere, Bristol Üniversitesi'nde biyolojik psikolog olan Marcus Munafo, bilimsel verilerin tekrarlanabilirliğine uzun süredir ilgi duyuyor. Öğrencilik günlerini hatırlatarak şöyle diyor:

Bir keresinde edebiyattan bana basit gelen bir deneyi yeniden üretmeye çalıştım ama yapamadım. Bir güven bunalımı yaşadım ama sonra tecrübemin o kadar da nadir olmadığını fark ettim.

Enlem ve boylam derinlik sorunu

Bir bilim insanı olduğunuzu hayal edin. İlginç bir makale ile karşılaşıyorsunuz, ancak sonuçlar/deneyler laboratuvarda yeniden üretilemiyor. Orijinal makalenin yazarlarına bu konuda yazmak, tavsiye istemek ve açıklayıcı sorular sormak mantıklıdır. Ankete göre, %20'den azBunu bilimsel kariyerlerinde hiç yaptılar!

Çalışmanın yazarları, belki de bu tür temasların ve konuşmaların bilim adamlarının kendileri için çok zor olduğunu, çünkü bazı konularda yetersizliklerini ve tutarsızlıklarını ortaya koyduklarını veya mevcut projenin çok fazla detayını ortaya koyduklarını belirtiyorlar.

Ayrıca, bilim adamlarının mutlak bir azınlığı, editörlerin ve eleştirmenlerin muhalefetiyle karşı karşıya kalırken, tekrarlanamaz sonuçların çürütülmesini yayınlamaya çalıştı. talep edildiorijinal araştırma ile önemsiz karşılaştırma. Bilimsel sonuçların tekrarlanamazlığını bildirme şansının yaklaşık %50 olması şaşırtıcı mı?

O halde, en azından laboratuvarda bir tekrarlanabilirlik testi yapmak faydalı olabilir mi? İşin en üzücü yanı, ankete katılanların üçte birinin ASLAve tekrarlanabilirlik için verileri doğrulamak için yöntemler oluşturmayı düşünmedi. sadece %40bu teknikleri düzenli olarak kullandıklarını belirtmişlerdir.

Başka bir örnek, adını açıklamak istemeyen Birleşik Krallık'tan bir biyokimyacı, laboratuvar projesi için çalışmayı tekrar etme, yeniden üretme girişimlerinin, işe yeni bir şey vermeden veya eklemeden zaman ve malzeme maliyetlerini iki katına çıkardığını söylüyor. Yalnızca yenilikçi projeler ve olağandışı sonuçlar için ek kontroller yapılır.

Ve elbette, yabancı meslektaşlarına işkence etmeye başlayan sonsuz Rus soruları: kim suçlanacak ve ne yapmalı?

Kim suçlu?

Çalışmanın yazarları, sonuçların tekrarlanabilirliği ile ilgili üç ana sorun belirledi:

• Çalışmanın zamanında yayınlanması için üstlerden gelen baskı
• Seçici raporlama (görünüşe göre, tüm resmi "bozacak" bazı verilerin bastırılması anlamına gelir)
• Yetersiz veri analizi (istatistik dahil)

Ne yapalım?

Ankete katılan 1.500 kişiden 1.000'den fazla uzman, veri toplama ve işlemede istatistiklerin iyileştirilmesi, patronların gözetiminin kalitesinin iyileştirilmesi ve deneylerin daha sıkı planlanması lehinde konuştu.

Sonuç ve biraz kişisel deneyim

birinci olarak, bir bilim adamı olarak benim için bile, sonuçların tekrarlanamazlığına bir dereceye kadar alışmış olmama rağmen, sonuçlar çarpıcı. Bu, özellikle Amerikalı / Avrupalı profesörler şeklinde üçüncü taraf "denetim" olmaksızın Çinliler ve Hintliler tarafından gerçekleştirilen çalışmalarda belirgindir. Sorunun fark edilmesi ve çözüm(ler)i üzerinde düşünülmesi iyidir. Birçoğu işini dürüstçe yapsa da, son skandalla bağlantılı olarak Rus bilimi hakkında nezaketle sessiz kalacağım.

ikinci olarak, makale, araştırma sonuçlarının tekrarlanamazlığı sorununun ortaya çıkması ve geliştirilmesinde bilimsel ölçütlerin ve hakemli bilimsel dergilerin rolünü görmezden geliyor (veya daha doğrusu dikkate almıyor). Yayınların hızı ve sıklığı (okuma, atıf indekslerinde artış) peşinde koşarken, kalite keskin bir şekilde düşer ve sonuçların ek doğrulaması için zaman yoktur.

Dedikleri gibi, tüm karakterler kurgusaldır, ancak gerçek olaylara dayanmaktadır. Her nasılsa bir öğrencinin bir makaleyi inceleme şansı oldu, çünkü her profesörün makaleleri düşünceli bir şekilde okumak için zamanı ve enerjisi yoktur, bu nedenle incelemenin oluşturulduğu 2-3-4 öğrenci ve doktorun görüşü toplanır. Bir inceleme yazıldı, sonuçların makalede açıklanan yönteme göre tekrarlanamaz olduğunu belirtti. Bu açıkça profesöre gösterildi. Ancak "meslektaşlar" ile ilişkileri bozmamak için - sonuçta her şeyde başarılılar - inceleme "düzeltildi". Ve yayınlanmış 2 veya 3 makale var.

Bir kısır döngü ortaya çıkıyor. Bilim adamı makaleyi derginin editörüne gönderir ve burada “ İstenilen"Ve esas olarak," istenmeyen »Hakemler, yani aslında sadece yazar ekibine olumlu bakanları bırakıyor. Çalışmayı gözden geçirirler, ancak “yorumlara boktan” yapamazlar ve iki kötülükten daha azını seçmeye çalışırlar - işte cevaplanması gereken soruların bir listesi ve sonra makaleyi yayınlayacağız.

Nature editörünün bir ay önce bahsettiği bir başka örnek de Grazel'in güneş panelleri. Bilimsel toplulukta bu konuya olan büyük ilgi nedeniyle (sonuçta hala Nature'da bir makale istiyorlar!), Editörler, birçok parametreyi belirtmeleri, ekipman kalibrasyonları, sertifikalar sağlamaları gereken özel bir anket oluşturmak zorunda kaldılar. vb. verimlilik panellerini ölçme yönteminin bazı genel ilke ve standartlara uygun olduğunu doğrulamak için.

VE, üçüncü, bir kez daha her şeyi ve herkesi fetheden mucize bir aşı, etekli Jobs, yeni piller veya GDO'ların tehlikeleri / faydaları veya akıllı telefonların radyasyonu hakkında yeni bir hikaye duyduğunuzda, özellikle de gazetecilikten sarı yazarlar tarafından terfi ettirildiyse., sonra anlayışla davranın ve hemen sonuçlara varmayın. Sonuçların diğer bilim adamları grupları tarafından onaylanmasını, dizi ve veri örneklerinin birikmesini bekleyin.

not:Makale aceleyle çevrildi ve yazıldı, fark edilen tüm hatalar ve yanlışlıklar hakkında lütfen LAN'a yazın.