Nieodzowną częścią ich organizacji jest zaś otrzymanie puli artykułów, z których potem powstają dwie grupy: zaakceptowanych do prezentacji i odrzuconych. W tym procesie jakość otrzymanych prac ewaluuje grupa badaczy. A kto ocenia ich pracę? Ile w ich ocenie jest subiektywnej, indywidualnej opinii? Jak dobrze oceniający przewidują dalszy sukces prac mierzony w liczbie cytowań? Corinna Cortes (Google Research) i Neil Lawrance (Univeristy of Cambridge) dostarczają otrzeźwiających wniosków.
Jak powinien wyglądać dobry artykuł naukowy?
Dobry artykuł powinien być klarowny, napisany w logiczny, ustrukturyzowany i transparentny sposób, a przeprowadzone analizy – oryginalne. Ocenie poddaje się także jakość rozumianą jako poparcie stwierdzeń wnioskami eksperymentalnymi lub teorią. Pod uwagę należy także wziąć istotność wyników w kontekście poszerzania horyzontów nauki. Organizatorzy konferencji poświęconej uczeniu maszynowemu NeurIPS wykonali w 2014 r. eksperyment. Podzielili oceniających zgłoszone artykuły na dwie rozłączne grupy. Około 70 proc. ocen było zgodnych (100 odrzuceń i 22 akceptacje). Komisje miały jednak dokładnie przeciwne opinie w sprawie 43 artykułów: 21 tekstów odrzuconych przez jedną grupę zostało zaakceptowanych przez drugą, a 22 zaakceptowane przez drugą zostały odrzucone przez pierwszą.
