Научени уроци при провеждане на граждански научен проект

TLDR; Това е историята за това как използвахме приложението Coach.me, за да изградим текущ експеримент с над 15 000 души, за да сравним популярните диети. Добрата новина е, че диетата работи, особено ако това означава отказ от захар и бързо хранене. Вижте нашите графики по-долу или вземете нашия калкулатор за отслабване .

диета

Преди около година, преди да започнем това проучване, проведохме еднократен изследователски проект за бавната диета на Тим Ферис ™, който даде изненадващо силни резултати. За период от четири седмици хората, които се придържат към диетата, показват 84% успеваемост и средна загуба на тегло 0f 8.6lbs.

Но дали тези резултати са легитимни? Ако избрах човек на случаен принцип от тълпата, биха ли могли да очакват да видят същите резултати? Почти веднага след публикуването на резултатите започнахме да получаваме отзиви за експериментални пристрастия.

Това първо проучване беше пристрастно по трудно известни начини от демографията на аудиторията на Тим (може би всички те са наистина тежки). Това е поправим проблем, затова тръгнахме да преработваме проучването по-голям и по-строг начин.

Това доведе до количествената диета, нашето търсене да проверим и сравним всяка популярна диета. Сега имаме първоначални резултати за десет диети. Това е историята на нашия експеримент и как тълкуваме данните за диетата, които сме събрали.

За да разберем пристрастия, ето кратко алтернативно обяснение за нашите първоначални данни за бавен въглехидрат: група силно мотивирани хора с много наднормено тегло се присъединиха към диетата и загубиха това, което за тях е много малко тегло. В това алтернативно обяснение резултатите наистина не са много интересни и определено не могат да бъдат обобщени.

Имахме обаче някои съвети от учени в Бъркли, насочени специално към преодоляване на пристрастията на хората, които се самоизбираха в нашето проучване. Ключовете: контролна група, следваща недиетични съвети и рандомизирано разпределение в сравнителна група диети.

Същността на нашия експериментален дизайн зависи от следните елементи:

  • Щяхме да започнем, като сравнихме десет подхода към диетата: бавно въглехидрати, палео, пълноценни храни, вегетариански, без глутен, без сладкиши, DASH, преброяване на калории, сън повече, внимателно хранене.
  • Coach.me написа инструкции за всяка диета с помощта на диетични експерти и предостави цели от 28 дни (с подкрепа от общността) за всяка диета в нашето приложение.
  • Включихме две контролни групи, едната със задачата да чете повече, а другата със задачата да използва повече конци.
  • Участниците щяха да изберат кой от подходите бяха готови да опитат и след това щяхме да разпределим на случаен принцип от тази група. Оставянето на малко място за избор позволи на хората да запазят контрол върху здравето си, като същевременно ни даде място да приложим статистически релевантен анализ.
  • Участници, които заявиха, че са готови да опитат контролна група и поне още двама души бяха в експеримента. Това сме учили.
  • Много хора не отговаряха на тези критерии или се отказаха в даден момент по пътя. Имаме данни от наблюдения за тази група, но те не могат да се считат за научно валидни резултати поради причините около пристрастията, обхванати по-горе.
  • Предстои пълно изписване на методологията.

В началото на проучването всички мислеха, че ще изберем печеливша диета. Коя от десетте диети беше най-добрата?

Девет от диетите, изпълнени добре, измерени чрез загуба на тегло. Ето класирането, като загубата на тегло се измерва като процент от телесното тегло. Slow-Carb, Paleo и DASH изглеждат така, сякаш са водили пакета (но продължете да четете, защото тази диаграма абсолютно не разказва цялата история).

Ако не обичате да правите математика, горната диаграма се превежда между 3-5 фунта на месец за повечето хора. Ако наистина не обичате да правите математика, ние създадохме калкулатор за вас, който ще изчисли загуба на тегло, специфична за вас.

Сънят, който никога не е имал силни хипотези за отслабване, е загубен. В крайна сметка нарекохме това плацебо контрол, за да укрепим нашата статистическа значимост.

Преди да продължим, нека просто извикаме, че хората в диетите са губили 4 килограма средно за период от един месец. Това е чудесно, като се има предвид, че нашият набор от данни съдържа хора, които дори не са спазвали напълно диетата си.

Контролните групи ни помагат да разберем дали експерименталният съвет (за диета) е по-добър от това да не правим нищо. Може би всеки отслабва, независимо какво прави?

Това звучи малко вероятно, но всички бяхме изненадани да видим, че контролните групи загубиха 1,1% от телесното си тегло (само чрез сън, четене и почистване с конец!)

Това ли е, защото те следиха теглото си? Дали защото по-голямата част от проучването се е случило през януари, веднага след като хората са приключили с ваканционното дефиле? Всъщност не знаем защо контролните групи са отслабнали, но знаем, че диетата е била по-добра от контрола.

Ето таблицата за отслабване, преработена, за да покаже разликата между всяка диета и контролата (тази диаграма показва експерименталния ефект).

Рандомизираното разпределение ни помага да се чувстваме уверени, че загубата на тегло не е специфична за феновете на дадена диета.

Поради рандомизацията можем да зададем следния въпрос. За всяка диета какво се случва, ако назначим човека на различна диета?

Това е индикатор дали диетата всъщност е по-добра или хората, които са привлечени от диета, имат някаква друга характеристика, която влияе на резултатите от наблюдението ни.

Очевидният пример за пристрастност би бил наклон към мъж или жена. По-големите хора имат по-голямо тегло за отслабване (мъже), освен това наблюдаваме, че мъжете са склонни да губят по-висок процент от телесното си тегло (2,8% срещу 1,8%).

Сравняването на диетите по този начин добавя друг обещаващ диетичен подход: без сладкиши. Но нека бъдем реални, разликите между тези диети са много малки, по-малко от половин килограм за четири седмици, в сравнение с изобщо каквато и да е диета, пет килограма за четири седмици. Нашият съвет е да изберете най-привлекателната диета (вместо да се опитвате да оптимизирате).

Какво друго води до загуба на тегло?

  • Помага, ако съществуващата ви диета е ужасна (новата ви диета е още по-добра в сравнение). Хората, които съобщават за тежка консумация на сода преди диета, са загубили допълнително 0,6% телесно тегло.
  • Отказът от бърза храна също е добър за допълнителните 0,6% (но вероятно не си струва да добавяте бърза храна, само за да се откажете).
  • Мъжете отслабнаха повече (2.6% срещу 1.8%).
  • Придържането е от значение (duh). Ето диаграма със загуба на тегло при спазване.

Добре. Сега мисля, че обясних достатъчно, че можете да изберете една от тези диети. Всички те са достъпни чрез приложението Coach.me, достъпно в мрежата, iPhone и Android.

Като се има предвид, че всички диети работят, истинският въпрос, който трябва да си зададете, е кой най-много искате да следвате.

Не мога да подчертая това достатъчно. Не става въпрос само за това коя е имала най-голяма загуба на тегло. Изберете диета, на която да се придържате.

Спазването има значение. Дори спазването на диета по средата доведе до над 1% загуба на тегло (по-добре от контролните групи).

Това извежда интересна точка. Засега данните ни се базират на хората, които са стигнали чак до края на нашето проучване. Това е пристрастието на оцелелите. Не знаем какво се е случило с другите хора (дано диетите не са били фатални).

За да прецените степента на успех на диетата, ще трябва да прецените. Но можем да ви дадем най-оптимистичните и най-песимистични оценки. Истината е някъде между тях.

От хората, които ни предоставиха всичките си данни за четири седмици, 75% отслабнаха. Нека наречем това таван на успеваемостта. Той включва много причини за отслабване, включително ниско придържане. Но поне за цялото време обърнаха внимание на целта. Средните стойности за отслабване се основават на тази група.

От хората, присъединили се към проучването, само 16% са завършили цялото проучване (и 75% от отслабналите). Така че, просто присъединяването към диета, без други данни за вашия ангажимент, има успеваемост от 12%. Нека наречем това минимален процент на успеваемост.

Прочетете този етаж, тъй като 12% от хората, които просто са заявили, че се интересуват от диета, определено са отслабнали четири седмици по-късно. Няма резултат за ангажираност в този резултат. Ако филтрираме дори по проста мярка за ангажираност, като лицето попълва първото проучване на първия ден, тогава степента на успех скача от 12% на 28%.

Ако правите публична политика, може би този брой от 12% изглежда важен. Хората имат повече цели, отколкото имат воля. Това е просто начинът, по който работи нашата амбиция. Те се отказват, разсейват се или дават приоритет на друга цел.

Ако сте физическо лице, бих сложил повече тежест в тавана. Искате да знаете, че какъвто и път да изберете, има шанс да успее. 75% е число, което трябва да ви вдъхне увереност.

Ние се фокусирахме върху отслабването по две причини. Първо, това е много често срещана цел. Но, две, това е и най-силният сигнал, който получихме от нашите данни.

Също така измерихме щастие и енергия, но сигналът беше слаб. Не измерихме никакви други маркери за здравето. Това е важно да се отбележи.

Ние сме дизайнери на поведението, така че разглеждаме ефективността на съветите за промяна на поведението. Все пак трябва да се консултирате с диетолог, когато става въпрос за пълния обхват на въздействието върху здравето от промяната в диетата. Например, можете да работите с нашия партньор WellnessFX за кръвно изследване (и да говорите с техните лекари).

Отворихме проучването с отворен код. Можете да вземете суровите данни и примерния код, за да ги оцените от нашето хранилище GitHub.

Всички участници очакваха данните им да бъдат анонимизирани за целите на изследването. Погледнете и моля, споделете работата си обратно (измерването се изисква поне от лицензите CC и MIT).

В процеса на анонимизиране имаше известна загуба. Извадихме лична информация (разбира се), но също така се уверихме, че редовете в набора от данни не могат да бъдат обвързани обратно с индивидуални акаунти в Coach.me. Поради тази причина част от данните са обобщени. Например, теглото се изразява като процент загуба на тегло и придържането се изразява по скала 1-5.

Ако искате да се разровите в данните, бих предложил да започнете, като разгледате нашите проучвания, където имаме допълнителни данни за участниците: ден 1, седмица 1, седмица 2, седмица 3, седмица 4.

Очаквам, че нашите изследвания ще предизвикат спор относно валидността на научните изследвания от нетрадиционни източници. Очаквам това, защото вече бях в началото на този дебат.

Ето как го виждаме в момента. Признавам, че вече имаме силен научен процес, който живее в академичните среди. И признавам, че начинът, по който проведохме това изследване, наруши нормите на този процес.

Най-близкият паралел, за който се сещам, е възходът на гражданската журналистика (най-вече чрез блогове) като допълнение към традиционната журналистика. В началото имаше много критики към подхода като опасен и безотговорен. Сега знаем, че подходът донесе много ползи, а именно: широчина, анализ и бързина.

Същото е и с науката за гражданите. Изучихме тези диети, защото не видяхме някой друг да го прави. И ние продължаваме да правим други изследвания (например: медитация), защото си представяме свят, в който всичко в пространството за самоусъвършенстване, от фитнес до диета до самопомощ, е надеждно надеждно.

Един от основните ни принципи с това изследване е, че можем да го преразгледаме. Не трябваше да пишем предложение за безвъзмездна помощ и не ни струваше нищо за провеждане на проучването. Всъщност вече го преразглеждаме.

Като начало добавяме още една диета: „Не пийте захар.“

Написахме тази диета въз основа на резултатите от проучването и вярата в минимални ефективни интервенции. Така че, ако изобщо се интересувате от отслабване, докато допринасяте за науката, моля, запишете се за количествената диета.