Czym jest kryzys replikacji?

Załóżmy że mamy jakiegoś naukowca, który chce coś zbadać. W tym celu narpierw robi research, a następnie posiłkując się tym czego się dowie przeprowadza kolejne eksperymenty, wyciąga wnioski, i publikuje swoją pracę żeby kolejni naukowcy badający coś w tej dziedzinie byli lepiej przygotowani.

Podstawową rzeczą w metodzie naukowej, jest odtwarzanie czyiś badań.

Przykładowo, ktoś przeprowadził eksperyment polegający na zmierzeniu temperatury gotującej się wody i wyszło mu że ta woda ma dokładnie 100 stopni Celsjusza. Potem kolejny naukowiec o tym czyta i samemu mierzy temperaturę gotującej się wody. Jeżeli z jego pomiarów również wychodzi 100 stopni Celsjusza, to mamy potwierdzony fakt że gotująca się woda ma 100 stopni. Teraz możemy np. dolać jakiejś substancji do tej wody i sprawdzić jak wpływa ona na temperaturę wrzenia.

W pewnym momencie jednak coś dodajemy i dostajemy dziwne wnioski. Wtedy wracamy do tego co wiemy że działa, i próbujemy na podstawie tego dojść do tego co się zmieniło i jakie może być tego wytłumaczenie, dlatego replikowalność badań jest tak cholernie istotna.

Problem pojawia się kiedy według czyiś badań gotująca się woda ma 70 stopni, a z naszego doświadczenia wynika że jednak 100. Wtedy zastanawiamy się czy my coś robimy nie tak, czy to poprzedni naukowiec popełnił błąd. Kryzys replikacji jest obecnie trwającą sytuacją gdzie większość prac jest niereplikowalna.

Laboratoria przeprowadzają eksperymenty, robią z nich notatki, piszą co zrobili i jakie to przyniosło skutki a następnie to publikują. Problem w tym, że często okazuje się że na podstawie tych publikacji te same laboratoria nie są w stanie powtórzyć wyniku eksperymentu. Jest to silnie powiązane z tym że pracownicy naukowi są ciśnięci o to żeby publikować jak najwięcej przełomowych i nowo odkrytych rzeczy, i od tego uzależniona jest ich wypłata. W związku z tym większość publikacji zawiera informacje o czymś nowym, przełomowym... i zwykle niereplikowalnym co czyni taką prace właściwie bezużyteczną.

A do tego wpisu zainspirowała mnie sytuacja z pracy. Pewien Chiński badacz pracujący dla Microsoftu publikujący po 3 prace dziennie opisał metodę wyciągania informacji z tabeli, i opublikował zbiór uczący dla sieci neuronowych. Chciałem sobie ten zbiór rozbudować o nowe dane. Kod który stworzył ten zbiór nie został nigdzie opublikowany, więc na podstawie tego co wyczytałem musiałem stworzyć taki kod samemu. W tym celu porównywałem czy mój kod wygeneruje takie same dane jak te, które w tym zbiorze sie już znajdują. Po kilku dniach szukania błędów doszedłem do wniosku że to nie mój kod jest wadliwy tylko ten zbiór danych nie zawiera wielu istotnych elementów bez których cały całość nie ma prawa działać, ale i tak zostało to opublikowane. Kurtyna

#nauka #gownowpis