Университет в Тренто, Тренто, Италия

тълпи

Университет в Тренто, Тренто, Италия

Университет в Тренто и Томски политехнически университет, Томск, Руски Федерален резерв.

Университет в Тренто и Томски политехнически университет, Томск, Руски Фед.

Университет на Нов Южен Уелс, Сидни, Австралия

Университет на Нов Южен Уелс, Сидни, Австралия

Добавено е ново предупреждение за цитиране!

Този сигнал е добавен успешно и ще бъде изпратен на:

Ще бъдете уведомени всеки път, когато е цитиран запис, който сте избрали.

За да управлявате вашите предпочитания за предупреждения, щракнете върху бутона по-долу.

Сигнал за ново цитиране!

Запазване в Binder
WWW '18: Сборник от конференцията за глобалната мрежа през 2018 г.

РЕЗЮМЕ

Систематичните прегледи на литературата (SLR) са една от най-често срещаните и полезни форми на научни изследвания и публикации. Всяка година се публикуват десетки хиляди огледално-рефлексни фотоапарати и този процент нараства във всички области на науката. Извършването на точен, пълен и безпристрастен огледален огледален фотоапарат обаче е трудно и скъпо начинание. Това важи като цяло за всички фази на прегледа на литературата и по-специално за фазата на скрининг на хартията, където авторите филтрират набор от потенциално обхванати статии въз основа на редица критерии за изключване. За да се справи с проблема, през последните години изследователската общност започна да изследва използването на тълпата, за да позволи по-бърз, точен, по-евтин и безпристрастен скрининг на документи. Първоначалните резултати показват, че краудсорсингът може да бъде ефективен дори при относително сложни отзиви.

В тази статия ние извличаме и анализираме набор от стратегии за скрининг на базата на тълпа и показваме, че адаптивната стратегия, която непрекъснато преоценява статистическите свойства на проблема, за да сведе до минимум броя гласове, необходими за вземане на решения за всеки документ, е значително превъзхожда редица неадаптивни подходи по отношение на разходите и точността. Ние проверяваме както приложимостта, така и резултатите от подхода чрез набор от краудсорсинг експерименти и обсъждаме свойствата на проблема и алгоритмите, които смятаме, че обикновено представляват интерес за класификационни проблеми, когато предметите се класифицират чрез поредица от последователни тестове (както често се случва) в медицината).