По-рано тази година с моите колеги обсъждахме връзката между наситените мазнини и сърдечно-съдовите заболявания. Един от нас пишеше статия по темата и обсъждахме необичаен опит, често включен в мета-анализи.

Това изпитание е финландското проучване за психични болници, кръстосано проучване, което сравнява пациентите на контролна диета с определено количество наситени мазнини с пациенти на интервенционна диета, която замества наситените мазнини с полиненаситени мазнини.

Ето резюме на процеса,

„Контролирано интервенционно изпитване с цел тестване на хипотезата, че честотата на коронарните сърдечни заболявания (ИБС) може да бъде намалена чрез използването на диета за понижаване на серумния холестерол (SCL), е проведена в 2 психиатрични болници близо до Хелзинки през 1959 г.“ „71.

Субектите са хоспитализирани мъже на средна възраст. Една от болниците получи SCL диета, т.е.В диета с ниско съдържание на наситени мазнини и холестерол и относително високо съдържание на полиненаситени мазнини, докато другата служи като контрол с нормална болнична диета. Шест години по-късно диетите бяха обърнати и процесът беше продължен още 6 години. ”

Проучването не включва само мъже, то включва и жени и се обсъжда в отделна статия от същата изследователска група.

Като цяло „двете проучвания“ (всъщност само едно проучване) са имали размер на извадката от 818 участници (за тежки ССЗ), така че те често тежат доста при мета-анализи.

Бих искал да обърна внимание на един конкретен мета-анализ, публикуван преди осем години от Mozaffarian, Micha и Wallace, 2010 г. Това е един от най-цитираните мета-анализи по тази тема, като Google Scholar посочва, че е е цитиран от над 900+ академични източника. Web of Science посочва, че по време на писането на тази публикация е цитиран от 466 статии.

грешки

Източник: Web of Science

Ясно е, че това е добре известно проучване.

Интересният метаанализ описва неговите критерии за включване и изключване като,

„Търсихме всички RCT, при които рандомизираните възрастни увеличиха общата или n-6 PUFA консумация за поне 1 година без други съществени съпътстващи интервенции (напр. контрол на кръвното налягане или пушене, други многократни диетични интервенции и т.н.), имаха подходяща контролна група без тази диетична намеса и съобщава (или е получил от авторите) достатъчно данни за изчисляване на оценки на риска със стандартни грешки за въздействие върху появата на „тежки“ ИБС (инфаркт на миокарда, смърт от ИБС и/или внезапна смърт). Изследванията бяха изключени, ако бяха наблюдателни или нерандомизирани по друг начин. ”

Така че авторите заявяват, че включените изследвания трябва да бъдат рандомизирани проучвания с продължителност поне една година и че те изключват проучвания, които не са рандомизирани или наблюдателни.

Ето списък на изследванията, които те включиха. Обърнете внимание на дизайна на финландските изследвания (Turpeinen, 1979 и Miettinen, 1983), които ще засегна по-долу.

Какви бяха резултатите?

Mozaffarian D, Micha R, Wallace S (2010)

"Комбинирайки всички проучвания, обединеното намаляване на риска за ИБС е 19% (RR = 0,81, 95% CI 0,70 - 0,95, p = 0,008)"

Мета-анализът от 2010 г. установи, че заместването на наситените мазнини в диетата с полиненаситени мазнини има значително, статистически значимо намаление на събитията с ИБС. Намалението от 19% със сигурност не е за пренебрегване и доверителният интервал (CI) клони към ефект. Изглежда обещаващо като диетична намеса. Това може да е причина изследването да се цитира толкова широко. Качеството на опитите, включени в мета-анализа, е било ниско до умерено,

„Много от изпитванията имаха дизайнерски ограничения, като единично заслепяване, включване на електрокардиографски дефинирани клинични крайни точки или отворена регистрация. Всички проучвания са използвали оценка на сляпата крайна точка. Качествените резултати бяха в умерен диапазон и относително хомогенни: всички изпитвания имаха качествени оценки от 2 или 3.

И имаше някои предположения за пристрастност на публикацията (може да има и малки проучвания),

Mozaffarian D, Micha R, Wallace S (2010)

„Визуалната проверка на получения участък във фунията показва известен потенциал за отклонение на публикацията (Фигура S1), с граничен тест на Бег (непрекъснатост, коригирана p = 0,07), въпреки че такива определяния са ограничени, когато броят на изследванията е сравнително малък.“

Независимо от това, ефектите са доста интересни и си заслужава да бъдат проучени допълнително.

Какво се обърка?

Основен проблем в този мета-анализ е, че двете финландски проучвания, включени в количествения анализ, не са рандомизирани. Авторите ясно посочиха с критериите си за включване, че искат да включат само рандомизирани проучвания.

Двете финландски проучвания за психични болници бяха обозначени като „рандомизирани групи“, което можете да видите в таблицата с характеристики отгоре. Когато този мета-анализ беше публикуван, няколко лица бяха критични, че „рандомизирано проучване с клъстери“ е обозначено като рандомизирано проучване, особено когато имаше само два клъстера (две болници). Това е валидна критика, тъй като рандомизираното клъстерно проучване само с един клъстер на условие е невалидно за статистически сравнения между групи. Brown et al., 2015 обясняват в тази изчерпателна статия,

Особено пагубен и невалиден дизайн, който изисква разпознаване, е включването само на един клъстер за условие ... Такива проекти не могат да подкрепят валиден анализ за интервенционен ефект, при липса на силни и непроверими предположения (11, 12). В такива дизайни вариацията, която се дължи на клъстера, не може да бъде идентифицирана освен вариацията поради състоянието.

Дизайнът на един клъстер на условие е аналогичен на назначаването на едно лице на лечението и едно лице на контрола в обикновен (неклъстериран) RCT, измерване на резултата на всеки човек многократно, третиране на множество наблюдения на човек като независими наблюдения, и интерпретиране на резултатите като валиден RCT. В такава ситуация наблюденията върху лице А могат да бъдат проверени дали те се различават значително от тези върху лице Б, но не могат да подкрепят извода за ефекта от лечението само по себе си.

Така че е ясно, че дизайнът на един клъстер на условие не е валиден, за да се установи много за намесата. Въпреки това, много хора (ако не всички) не успяха да забележат, че проучванията на Финландската психиатрична болница дори не са рандомизирани на групи! В нито една от петте публикувани статии от тези две проучвания няма индикации, че има някакво рандомизиране. Можете да проверите всички пет документа тук:

Заглавие на годината на списанието
Международен вестник по епидемиология 1983 г. Диетична профилактика на коронарните сърдечни заболявания при жените: Финландското проучване за психични болници
Тираж 1979 г. Ефект на диетата за понижаване на холестерола върху смъртността от коронарна болест на сърцето и други причини
Американски вестник за клинично хранене 1968 г. Диетична профилактика на коронарна болест на сърцето: дългосрочен експеримент: I. Наблюдения върху мъжки субекти
Международен вестник по епидемиология 1979 г. Диетична профилактика на коронарните сърдечни заболявания: Финландското проучване за психични болници
The Lancet 1972 г. Ефект на диетата за понижаване на холестерола върху смъртността от коронарна болест на сърцето и други причини дванадесетгодишно клинично проучване при мъже и жени

Освен това, клъстер-рандомизираните проучвания не са били често срещани, когато се провеждат тези проучвания, поради което трябва да сме скептични към това, че това са клъстер-рандомизирани проучвания.

И все пак тези две проучвания бяха погрешно етикетирани като „рандомизирани групи“ и поради това бяха включени в мета-анализа. И двете проучвания допринасят с обща тежест от 16% за анализа.

И отново, авторите откриха доста забележимо намаляване на ССЗ (RR: 0,81, 95% CI 0,70 - 0,95, p = 0,008)

Коригиране на грешката

И така, какво се случва с резултатите, когато коригирате тази грешка, като премахнете двете изследвания?

Да отворим R и да разберем. Ако искате сами да възпроизведете анализа, можете да намерите целия код в долната част на тази публикация в блога.

Както можете да видите по-горе, повторното извършване на анализа след премахване на финландските изследвания води до намаляване на размера на ефекта от 19% намаление до 13% намаление (RR: 0,87, 95% CI 0,76 - 1,00). Това е голяма разлика!

Ако сме загрижени за статистическата значимост, резултатите вече не са значими. Струва си да се отбележи, че горната граница на доверителния интервал едва съдържа нулевата стойност (1), а долната граница включва стойност до 0,76. Ясно е, че CI все още клони към ефект.

Независимо от вашата статистическа философия, това беше забележителна, обективна грешка. Грешка при обозначаването на две проучвания като отговарящи на критериите за включване и коригирането на тази грешка води до съществена промяна в резултатите. И все пак тази грешка не е коригирана в дневника. Всъщност това проучване съществува от осем години без корекции или оттегляния.

Свързах се както с авторите, така и с редакторите на PLoS, но към днешна дата няма актуализации или корекции на самата статия. Следователно подозирам, че няколко души, които четат статията или я цитират, не са наясно, че обобщените ефекти са неправилни и че някои от изследванията в анализа не трябва да бъдат там!

Много е важно да се отбележи, че коригирането на грешките в това проучване не води до напълно различни заключения. Въпреки че ефектът вече не е статистически значим, той все още е налице въз основа на размера на ефекта и покритието на доверителните интервали. Ефектът обаче е намален.

Систематичните прегледи от други групи, включително Cochrane, не включват финландските проучвания в техните мета-анализи, тъй като авторите не вярват, че „клъстерно рандомизирано проучване“ с толкова малко клъстери (2) отговаря на критериите за включване за рандомизирано проучване (също си струва да се запомни, че в нито един от документите няма индикации, че това дори е било рандомизирано на клъстери!). Някои от тези систематични прегледи, които изключват финландските проучвания, все още намират полза от заместването на наситените мазнини в диетата с полиненаситени мазнини.

Други метаанализи обаче също не са открили статистически значима полза от заместването на наситените мазнини с полиненаситени мазнини.

Ясно е, че има доста разногласия по тази тема. Независимо от това, въпросният мета-анализ все пак е допуснал голяма грешка и е проблем поради следните причини (дори ако цялостните заключения от него не трябва да се променят след корекцията):

  • Две известни проучвания бяха погрешно класифицирани
  • Проучванията не отговарят на критериите за включване, но са включени
  • Включването в анализа води до значително по-различен размер на ефекта, отколкото без включване
  • Мета-анализът непрекъснато се цитира и подвежда другите читатели

Със сигурност не предполагам, че грешки не се случват, особено когато се предприемат такива големи, всеобхватни проекти. Всъщност вероятно бих бил подозрителен, ако никога не е имало грешки при провеждането на такива големи проекти!

Вярвам обаче, че когато се посочат такива грешки, те трябва да бъдат коригирани възможно най-бързо и прозрачно. Надяваме се, че авторите и редакторите скоро ще обърнат внимание на този проблем, за да предотвратят допълнително объркване.

Скрипт за повторен анализ

Ето набора от данни, който да се зареди в R като рамка за данни.

Въпреки че използвах и оценката на Dersimonian-Laird, както е използвана в оригиналния анализ от авторите, вместо това избрах също да провеждам анализа, използвайки ограничителя за максимална вероятност (REML) и начертах това вместо това, тъй като често дава по-широк интервал прогнози, с по-добри свойства на покритие.

Сега да предположим, че ние също искаме да видим функцията P-стойност на тези резултати, можем просто да го направим, използвайки функцията curve_meta () на пакета concurve R.

Въпреки че вярвам, че резултатите все пак предполагат ефект, ако друг анализатор не е бил убеден от тези ефекти и е задал нулеви интервали, които варират от съотношения на риска от 0,9 до 1,1, като еквивалентни на никакъв ефект, тогава тези резултати биха имали проблеми! Можем да видим това лесно с concurve, което ни позволява да зададем нулевите области на интервала.

Редактиране: Д-р Мозафарян отговори на някои от тези критики в раздела за коментари в статията си за PLOS Medicine и за съжаление установих, че отговорите са много лоши. Отговорът в крайна сметка обобщава: "доколкото ни е известно, когато критично оценяваме литературата, това проучване изглеждаше като рандомизирано проучване, така че го обозначихме като такова и може би е подходящо да го обозначим като квази рандомизирано, само защото вярваме в това.

За съжаление, не мисля, че изобщо напредва добрата наука и всъщност тази грешка има потенциал да предизвика сериозно объркване в бъдеще, ако остане некоригирана.

Околен свят

Анализите бяха проведени на:

APA: Rafi, Z. (2018, 11 октомври). Влиятелни грешки | Приказката за диетичното сърце. Взето от/хранене/мета-анализ-пуфа /.

AMA: Рафи, З. Влиятелни грешки | Приказката за диетичното сърце. По-малко вероятно./хранене/мета-анализ-пуфа /. Публикувано на 11 октомври 2018 г.

MLA: Рафи, Зад. Влиятелни грешки | Приказката за диетичното сърце. По-малко вероятно./хранене/мета-анализ-пуфа /. 11 октомври 2018 г.