Apmēram 50% zinātnisko eksperimentu izrādījās NEreproducējami

2024 Autors: Seth Attwood | [email protected]. Pēdējoreiz modificēts: 2023-12-16 16:11

Nejauši ziņu un informācijas straumē uzgāju rakstu Nature Scientific Reports. Tajā sniegti dati no 1500 zinātnieku aptaujas par zinātnisko pētījumu rezultātu reproducējamību. Ja agrāk šī problēma tika izvirzīta bioloģiskajiem un medicīniskajiem pētījumiem, kur, no vienas puses, tā ir izskaidrojama (viltus korelācijas, pētāmo sistēmu vispārējā sarežģītība, dažkārt tiek pārmesta pat zinātniskā programmatūra), no otras puses, tai ir fenomenoloģiska raksturs (piemēram, pelēm ir tendence atšķirīgi uzvesties ar dažādu dzimumu zinātniekiem (1 un 2)).

Tomr ne viss ir gludi un ar vairākdabas zinātnes, piemēram, fizika un inženierzinātnes, ķīmija, ekoloģija. Šķiet, ka tieši šīs disciplīnas ir balstītas uz "absolūti" reproducējamiem eksperimentiem, kas veikti visvairāk kontrolētos apstākļos, diemžēl pārsteidzošs - katrā vārda nozīmē - aptaujas rezultāts: līdz 70%pētnieki saskārās Nereproducējamseksperimenti un rezultāti, ko ieguvušas ne tikai citas zinātnieku grupas, BET un publicēto zinātnisko darbu autori / līdzautori!

Vai katrs smilšpapīrs slavē savu purvu?

Lai gan 52% aptaujāto norāda uz reproducējamības krīzi zinātnē, mazāk nekā 31% uzskata publicētos datus par principiāli nepareiziem un lielākā daļa norādīja, ka joprojām uzticas publicētajam darbam.

Protams, nevajadzētu noraut plecu un linčot visu zinātni kā tādu, pamatojoties tikai uz šo aptauju: puse aptaujāto joprojām bija zinātnieki, kas tādā vai citādā veidā saistīti ar bioloģiskām disciplīnām. Kā atzīmē autori, fizikā un ķīmijā iegūto rezultātu reproducējamības un ticamības līmenis ir daudz augstāks (skat. diagrammu zemāk), bet tomēr ne 100%. Bet medicīnā viss ir ļoti slikti, salīdzinot ar pārējo.

Prātā nāk joks:

Markuss Munafo, bioloģiskais psihologs no Bristoles Universitātes Anglijā, jau sen ir ieinteresēts zinātnisko datu reproducējamībā. Atceroties studentu laikus, viņš saka:

Reiz es mēģināju no literatūras atveidot eksperimentu, kas man šķita vienkāršs, bet man tas vienkārši neizdevās. Man bija pārliecības krīze, bet tad es sapratu, ka mana pieredze nav tik reta.

Platuma un garuma dziļuma problēma

Iedomājieties, ka esat zinātnieks. Jūs saskaraties ar interesantu rakstu, bet rezultātus / eksperimentus nevar reproducēt laboratorijā. Loģiski par to rakstīt oriģinālraksta autoriem, lūgt padomu un uzdot precizējošus jautājumus. Saskaņā ar aptauju, mazāk par 20%ir to darījuši savā zinātniskajā karjerā!

Pētījuma autori atzīmē, ka, iespējams, pašiem zinātniekiem šādi kontakti un sarunas ir par grūtu, jo atklāj savu neprasmi un nekonsekvenci atsevišķos jautājumos vai atklāj pārāk daudz aktuālā projekta detaļu.

Turklāt absolūts zinātnieku mazākums mēģināja publicēt neproducējamu rezultātu atspēkošanu, vienlaikus saskaroties ar redaktoru un recenzentu iebildumiem, kuri prasījasamazināt salīdzinājumu ar oriģinālo pētījumu. Vai ir kāds brīnums, ka iespēja ziņot par zinātnisko rezultātu neatkārtojamību ir aptuveni 50%.

Varbūt tad ir vērts vismaz laboratorijas iekšienē veikt reproducējamības pārbaudi? Skumjākais, ka trešā daļa aptaujāto pat NEKADun nedomāja par metožu izveidi datu pārbaudei reproducējamībai. tikai 40%norādīja, ka viņi regulāri izmanto šādas metodes.

Cits piemērs – bioķīmiķe no Apvienotās Karalistes, kura savu vārdu nevēlējās izpaust, stāsta, ka mēģinājumi atkārtot, reproducēt darbu viņas laboratorijas projektam vienkārši dubulto laika un materiālu izmaksas, darbam neko jaunu nedodot un nepievienojot. Papildu pārbaudes tiek veiktas tikai inovatīviem projektiem un neparastiem rezultātiem.

Un, protams, mūžīgie krievu jautājumi, kas sāka mocīt ārzemju kolēģus: kurš vainīgs un ko darīt?

Kurš vainīgs?

Darba autori identificēja trīs galvenās rezultātu reproducējamības problēmas:

• Priekšniecības spiediens, lai darbs tiktu publicēts laikā
• Selektīva ziņošana (acīmredzot, tas nozīmē dažu datu izslēgšanu, kas "sabojā" visu attēlu)
• Nepietiekama datu analīze (tostarp statistika)

Ko darīt?

No 1500 aptaujātajiem vairāk nekā 1000 speciālistu izteicās par statistikas uzlabošanu datu vākšanā un apstrādē, priekšnieku uzraudzības kvalitātes uzlabošanu un stingrāku eksperimentu plānošanu.

Secinājums un neliela personīgā pieredze

Pirmkārt, pat man kā zinātniekam rezultāti ir satriecoši, lai gan esmu pieradis pie zināmas rezultātu nereproducējamības. Tas ir īpaši redzams darbos, ko veikuši ķīnieši un indieši bez trešās puses "audita" Amerikas/Eiropas profesoru veidā. Labi, ka problēma tika atpazīta un padomāts par tās risinājumu(-iem). Par Krievijas zinātni, nesenā skandāla sakarā taktiski klusēšu, lai gan daudzi godprātīgi dara savu darbu.

Otrkārt, rakstā ignorēta (pareizāk sakot, neapskatīta) zinātniskās metrikas un recenzējamo zinātnisko žurnālu loma pētījumu rezultātu nereproducējamības problēmas rašanās un attīstības procesā. Tiecoties pēc publikāciju ātruma un biežuma (lasīšana, citēšanas indeksu pieaugums), kvalitāte krasi krītas un nav laika papildu rezultātu pārbaudei.

Kā saka, visi varoņi ir izdomāti, bet balstīti uz patiesiem notikumiem. Kaut kā vienam studentam bija iespēja recenzēt rakstu, jo ne katram profesoram ir laika un enerģijas pārdomāti lasīt rakstus, tāpēc tiek apkopots 2-3-4 studentu un doktoru viedoklis, no kura veidojas apskats. Tika uzrakstīts apskats, tas norādīja uz rezultātu nereproducējamību pēc rakstā aprakstītās metodes. Tas tika skaidri parādīts profesoram. Bet, lai nesabojātu attiecības ar "kolēģiem" - galu galā viņiem viss izdodas - apskats tika "labots". Un šādi raksti ir publicēti 2 vai 3.

Izrādās apburtais loks. Zinātnieks nosūta rakstu žurnāla redaktoram, kur norāda “ vēlamo"Un galvenokārt," nevēlama »Recenzenti, tas ir, faktiski atstājot tikai tos, kas ir pozitīvi noskaņoti pret autoru kolektīvu. Viņi pārskata darbu, bet nevar “sūdīties komentāros” un mēģināt izvēlēties mazāko no diviem ļaunumiem - šeit ir saraksts ar jautājumiem, uz kuriem jāatbild, un tad mēs publicēsim rakstu.

Vēl viens piemērs, par kuru Nature redaktors runāja tikai pirms mēneša, ir Grazel saules paneļi. Tā kā zinātnieku aprindās par šo tēmu bija milzīga interese (galu galā viņi joprojām vēlas rakstu Dabā!), Redakcijām bija jāizveido īpaša anketa, kurā jānorāda daudz parametru, jānodrošina aprīkojuma kalibrēšana, sertifikāti. uc, lai apstiprinātu, ka efektivitātes paneļu mērīšanas metode atbilst dažiem vispārīgiem principiem un standartiem.

UN, trešais, kad kārtējo reizi dzirdat par brīnumvakcīnu, kas uzvar visu un visus, jauns stāsts par Džobsu svārkos, jaunām baterijām vai ĢMO briesmām/priekšrocībām vai viedtālruņu starojumu, it īpaši, ja to reklamējuši dzeltenie rakstnieki no žurnālistikas, tad izturieties ar sapratni un neizdariet pārsteidzīgus secinājumus. Gaidiet citu zinātnieku grupu rezultātu apstiprinājumu, masīva un datu paraugu uzkrāšanos.

PS:Raksts tulkots un uzrakstīts steigā, par visām pamanītajām kļūdām un neprecizitātēm lūdzu ierakstiet LAN.