Рекомендации по оценке риска некорректности статистического анализа (риска возникновения случайных ошибок) в клинических исследованиях

При оценке риска некорректности статистического анализа рекомендуется использовать опросник оценки риска некорректности статистического анализа.

В табл. 4 приведен вопросник оценки качества СА в клинических исследованиях, в табл. 5 – форма для заполнения вопросника и вычисления итогового риска возникновения случайных ошибок. Данный инструмент предназначен для оценки риска случайных ошибок преимущественно в РКИ (инструмент первоначально был разработан именно для оценки риска случайных ошибок в РКИ). Проспективные исследования нерандомизированного дизайна могут быть оценены на основании данного инструмента, однако с существенными ограничениями (применимо меньшее количество доменов). Поскольку результаты, полученные в исследованиях нерандомизированного дизайна, исходно имеют меньшую надежность, оценка качества проведенного в них СА не является важной задачей. Применение данного инструмента для исследований несравнительного и ретроспективного дизайна не предусмотрено.

Инструмент оценки риска случайных ошибок в клинических исследованиях включает в себя 22 домена. Домены условно распределены по разделам публикации, в которых рекомендуется представление информация, на основании которой оценивается соответствующий домен: «Материалы и методы», «Результаты», «Заключение»/«Выводы».

Каждый домен представлен в формате вопроса, который предусматривает три варианта ответа: «Да», «Нет» и «Неприменимо». В случае, если информация корректно представлена в публикации в явном виде, исследователь, оценивающий риск случайных ошибок, делает положительное заключение по домену (ответ «Да»). В случае, если информация не представлена в публикации в явном виде или представлена в явном виде, но представление не является корректным, исследователь, оценивающий риск случайных ошибок, делает отрицательное заключение по домену (ответ «Нет»). В случае, если домен не является применимым, исследователем выбирается ответ «Неприменимо».

Итоговый риск случайных ошибок оценивается следующим образом:

1. вычисляется доля ответов «да» среди всех ответов «да» и «нет»;
2. используется следующая стратификация риска случайных ошибок:

a. если доля ответов «Да» составляет 67-100%, делается заключение о том, что в публикации об исследовании выявлен низкий риск возникновения случайных ошибок;

b. если доля ответов «Да» составляет 34-66%, делается заключение о том, что в публикации об исследовании выявлен средний риск возникновения случайных ошибок;

c. если доля ответов «Да» составляет 0-33%, делается заключение о том, что в публикации об исследовании выявлен высокий риск возникновения случайных ошибок.

Таблица 4. Вопросник для оценки качества СА (риска возникновения случайных ошибок)

№		Вопросы	Ответ
Раздел «Материалы и методы»
1.	Указана ли основная проверяемая гипотеза и критерий ее принятия?
	Выполнение хотя одного из следующих критериев: Приведена информация в явном виде об используемой гипотезе (например, превосходства, неуступающей эффективности или эквивалентности). Для гипотезы превосходства: в исследовании вмешательство сравнивалось с плацебо. Для гипотезы превосходства: в исследовании был выполнен расчет объема выборки, при этом ожидаемый размер эффекта в группе изучаемого вмешательство превосходил ожидаемый размер эффекта в группе сравнения.		Да
	Отсутствует информация об используемой гипотезе или информации, приведенной в публикации, недостаточно для заключения о виде гипотезы исследования		Нет
2.	Выполнялся ли расчет необходимого объема выборки по основному критерию оценки эффективности или безопасности с учетом вида проверяемой гипотезы?
	Приведена информация о расчете объема выборки: ожидаемый размер эффекта в каждой из групп (или разница в ожидаемом размере эффекта между группами сравнения), допустимый уровень альфа- ошибки и статистическая мощность		Да
	Недостаточно информации или информация о расчете объема выборки не приведена		Нет
3.	В гипотезе превосходства: анализировался ли набор данных по намерению лечить (все пациенты с назначенным)? В гипотезе неуступающей эффективности/эквивалентности: анализировался ли набор данных для пациентов, закончивших наблюдение (набор данных по протоколу)?
	Выполнение хотя бы одного из следующих условий: В тексте публикации явно указано, что анализировался набор данных по намерению лечить или все пациенты, получившие хотя бы одну дозу вмешательства (для гипотезы превосходства). Количество анализируемых пациентов по первичному исходу совпадало с количеством пациентов, распределенных по группам (для гипотезы превосходства). Анализировался набор данных для пациентов, закончивших наблюдение (для гипотез неуступающей эффективности или эквивалентности). Количество анализируемых пациентов было меньше, чем количество пациентов, распределенных по группам. Первичным исходом является анализ времени до события.		Да
	Выполнение хотя бы одного из следующих условий: В гипотезе превосходства анализировался набор данных для пациентов, закончивших наблюдение. В гипотезах неуступающей эффективности или эквивалентности анализировался набор данных по намерению лечить. Нет информации об использованном наборе данных.		Нет
4.	Описан ли метод заполнения пропусков по выбывшим пациентам в случае анализа набора данных по намерению лечить?
	В исследовании применен один из следующих вариантов заполнения пропусков: данные последнего наблюдения; оптимистический сценарий (у выбывших пациентов лечение считалось успешным); пессимистический сценарий (у выбывших пациентов лечение считалось неуспешным); заполнение пропусков медианами или средними значениями признака по всей выборке (в зависимости от вида распределения признака).		Да
	Не приведена информация о способе заполнения пропусков		Нет
	Использован набор данных для пациентов, закончивших наблюдение		Неприменимо
5.	В случае анализа набора данных для пациентов, закончивших наблюдение: сопоставлены ли частоты и времена выбывания для выбывших, исключенных, низкокомплаентных, пропусков и проч.?
	Частоты и времена выбывания в группах сравнения сопоставлены и/или описаны		Да
	Частоты и времена выбывания в группах сравнения не сопоставлены и не описаны		Нет
	Использован набор данных по намерению лечить		Неприменимо
6.	Перечислены ли применяемые статистические методы и адекватны ли они дизайну исследования?
	Применяемые статистические методы перечислены и адекватны дизайну исследования		Да
	Выполнение хотя бы одного условия: Применяемые статистические методы не перечислены. Применяемые статистические методы перечислены, но неадекватны дизайну исследования.		Нет
7.	Указан ли пороговый уровень статистической значимости?
	Пороговый уровень статистической значимости указан в разделе «Материалы и методы»		Да
	Пороговый уровень статистической значимости не указан в разделе «Материалы и методы»		Нет
8.	Применены ли меры по преодолению проблемы множественных сравнений (для анализа подгрупп или при проверке нескольких статистических гипотез в одной выборке)?
	Применен один из следующих методов преодоления проблемы множественных сравнений: поправка Бонферрони; post hoc тесты; другие валидизированные статистические инструменты преодоления проблемы множественных сравнений; уменьшение порогового уровня статистической значимости.		Да
	Не применены никакие способы преодоления проблемы множественных сравнений		Нет
	В исследовании не проводился анализ подгрупп или не проверялось несколько статистических гипотез в одной выборке		Неприменимо
9.	Использован ли общеизвестный статистический пакет?
	Использован общеизвестный статистический пакет (Statistica, SPSS, SAS или др.), MS Excel или онлайн-калькуляторы (со ссылкой на источник)		Да
	Выполнение хотя бы одного из следующих условий: Использованы невалидизированные статистические пакеты (например, собственные разработки программного обеспечения). Не использованы статистические пакеты или онлайн- калькуляторы. Не приведена информация об используемом программном обеспечении.		Нет
Раздел «Результаты»
10.	Приведена ли описательная статистика и сопоставление исходных характеристик групп в анализируемой публикации (или других публикациях о данном исследовании)?
	Приведена описательная статистика исходных характеристик групп и сопоставление исходных характеристик групп (в виде рассчитанных уровней статистической значимости) по всем или хотя бы основным характеристикам групп		Да
	Выполнение хотя бы одного из следующих условий: Не приведена описательная статистика исходных характеристик групп и сопоставление исходных характеристик групп (в виде рассчитанных уровней статистической значимости). Приведена описательная статистика исходных характеристик групп, однако группы не сопоставлены ни по одной из характеристик. Приведена описательная статистика исходных характеристик групп, группы сопоставлены по всем или хотя бы по основным характеристикам групп, однако результаты данного сопоставления не приведены в виде рассчитанных уровней статистической значимости.		Нет
11.	Если выявлены различия хотя бы по одной из исходных характеристик групп (дисбаланс групп), проведен ли анализ соответствующих ковариат или анализ в соответствующих подгруппах?
	Анализ соответствующих ковариат или анализ в соответствующих подгруппах проведен		Да
	Анализ соответствующих ковариат или анализ в соответствующих подгруппах не проведен		Нет
	Выполнение хотя бы одного из условий: Дисбаланс групп в результате проверки статистических гипотез не выявлен. Проверка статистических гипотез об отсутствии различий в группах сравнения по исходным характеристикам не проводилась. Описательная статистика исходных характеристик групп не представлена ни в анализируемой публикации, ни в других публикациях о данном исследовании.		Неприменимо
12.	Ясно ли, какие описательные статистики использованы при представлении распределений количественных признаков?
	Информация об использованных описательных статистиках (мерах центральной тенденции и мерах их рассеяния) приведена в публикации в явном виде		Да
	Информация об использованных описательных статистиках (мерах центральной тенденции и мерах их рассеяния) не приведена в публикации в явном виде		Нет
	Отсутствие количественных признаков среди исходных характеристик групп		Неприменимо
13.	Отсутствуют ли ошибки в представлении описательной статистики количественных признаков?
	Выполнение обоих следующих условий: Для нормально распределенных данных использованы среднее и среднеквадратическое отклонение (M (SD)), при этом нормальность распределения доказана. Для данных с распределением, отличающимся от нормального, или неизвестным видом распределения использованы медианы и интерквартильный размах (Me [Q1; Q2]).		Да
	Выполнение хотя бы одного из условий: Для признаков с распределением, отличным от нормального, или признаков с неизвестным видом распределения использованы среднее и среднеквадратическое отклонение M (SD). Среднеквадратическое отклонение больше половины среднего хотя бы в одном случае. В качестве меры рассеяния среднего использована стандартная ошибка среднего (m).		Нет
	Отсутствие количественных признаков среди исходных характеристик групп		Неприменимо
14.	Отсутствуют ли ошибки в описании качественных признаков?
	Выполнение обоих следующих условий: Всегда ясно, что принято за 100%. Сумма долей по всей структуре явления составляет 100%.		Да
	Невыполнение хотя бы одного из обозначенных выше условий		Нет
	Отсутствие качественных признаков среди исходных характеристик групп		Неприменимо
15.	Отсутствуют ли ошибки в сопоставлении относительных частот?
	Ошибки в сопоставлении относительных частот отсутствуют (по результатам выборочной проверка хотя бы по первичным критериям эффективности и/или безопасности)		Да
	Выполнение хотя бы одного из следующих условий: Выявлены ошибки в сопоставлении относительных частот по результатам выборочной проверки. Сопоставление относительных частот предусмотрено дизайном исследования, однако относительные частоты не сопоставлены.		Нет
	Сопоставление относительных частот не проводилось, т.к. не предусмотрено дизайном исследования		Неприменимо
16.	Приведено ли в таблицах и на рисунках число наблюдений для каждого признака в каждой точке наблюдения?
	Во всех таблицах и на всех рисунках приведено число наблюдений для каждого признака в каждой временной точке наблюдения (или в основных критически важных временных точках)		Да
	Не во всех таблицах и не на всех рисунках приведено число наблюдений для каждого признака в каждой временной точке наблюдения (или в основных критически важных временных точках)		Нет
	В публикации об исследовании отсутствуют таблицы и рисунки		Неприменимо
17.	Приведено ли точное значение рассчитанных уровней статистической значимости Р (два-три десятичных разряда), а не неравенство?
	Приведены точные значения всех рассчитанных уровней статистической значимости Р (кроме случаев, когда рассчитанный уровень статистической значимости Р<0,001)		Да
	Выполнение хотя бы одного из следующих условий: Не приведены точные значения Р для всех рассчитанных уровней статистической значимости. В публикации об исследовании не приведены рассчитанные уровни статистической значимости.		Нет
18.	Ясно ли, какими методами были получены приведенные уровни статистической значимости?
	Выполнение хотя бы одного из следующих условий: Для каждого из рассчитанных уровней статистической значимости указан метод, которым получен данный уровень статистической значимости. В перечне использованных методов статистического анализа присутствует метод, адекватный данному анализу.		Да
	Невыполнение хотя бы одного из обозначенных выше условий		Нет
19.	В случае применения параметрических методов приведены ли обоснования их применимости?
	Приведены обоснования применения параметрических методов статистического анализа (хотя бы один из вариантов): Проверены гипотезы о нормальности распределения признаков, для которых использованы параметрические методы статистического анализа и приведены результаты данной проверки (рассчитанные уровни статистической значимости). Приведено графическое обоснование нормальности распределений. Доказано, что среднее, медиана и мода для данных признаков совпадают.		Да
	Не приведены обоснования применения параметрических методов статистического анализа		Нет
	Параметрические методы статистического анализа не применялись		Неприменимо
20.	Приведены ли доверительные интервалы для основных результатов исследования?
	Доверительные интервалы приведены для всех основных результатов исследования (первичных исходов)		Да
	Доверительные интервалы не приведены хотя бы для одного основного результата исследования		Нет
Разделы «Заключение» и/или «Выводы»
21.	Если цель исследования не достигнута (согласно научной гипотезе исследования), достаточна ли мощность исследования?
	Цель исследования не достигнута, и статистическая мощность исследования составляет 80% или более (по результатам расчета размера выборки, приведенным в разделе «Материалы и методы»)		Да
	Выполнение хотя бы одного из следующих условий: Цель исследования не достигнута, но статистическая мощность исследования составляет менее 80%. Цель исследования не достигнута, но оценить статистическую мощность невозможно.		Нет
	Цель исследования достигнута		Неприменимо
22.	Если цель исследования не достигнута (согласно научной гипотезе исследования), корректна ли интерпретация результатов? Корректно ли сформулированы выводы?
	Цель исследования не достигнута, при этом выводы не противоречат результатам исследования		Да
	Цель исследования не достигнута, при этом выводы противоречат результатам исследования		Нет
	Цель исследования достигнута		Неприменимо

Таблица 5. Оценка качества проведения статистического анализа в клинических исследованиях и представления его результатов в публикации о клиническом исследовании

№	Вопросы	Да	Нет	Неприменимо
Раздел «Материалы и методы»
23.	Указана ли основная проверяемая гипотеза и критерий ее принятия?
24.	Выполнялся ли расчет необходимого объема выборки по основному критерию оценки эффективности или безопасности с учетом вида проверяемой гипотезы?
25.	В гипотезе превосходства: анализировался ли набор данных по намерению лечить? В гипотезе неуступающей эффективности/эквивалентности: анализировался ли набор данных для пациентов, закончивших наблюдение?
26.	Описан ли метод заполнения пропусков по выбывшим пациентам в случае анализа данных по намерению лечить?
27.	В случае анализа набора данных для пациентов, закончивших наблюдение: сопоставлены ли частоты и времена выбывания для выбывших, исключенных, низкокомплаентных, пропусков и проч.?
28.	Перечислены ли применяемые статистические методы и адекватны  ли они дизайну исследования?
29.	Указан ли пороговый уровень статистической значимости?
30.	Применены  ли   меры   по   преодолению   проблемы множественных сравнений (для анализа подгрупп или при проверке нескольких статистических гипотез в одной выборке)?
31.	Использован ли общеизвестный статистический пакет?
Раздел «Результаты»
32.	Приведены ли описательная статистика и сопоставление исходных характеристик групп в анализируемой публикации (или других публикациях о данном исследовании)?
33.	Если выявлены различия хотя бы по одной из исходных характеристик групп (дисбаланс групп), проведен ли анализ соответствующих ковариат или анализ в соответствующих подгруппах?
34.	Ясно ли, какие описательные статистики использованы при представлении распределений количественных признаков?
35.	Отсутствуют ли ошибки в представлении описательной статистики количественных признаков?
36.	Отсутствуют ли ошибки в описании качественных признаков?
37.	Отсутствуют ли ошибки в сопоставлении относительных частот?*
38.	Приведено ли в таблицах и на рисунках число наблюдений для каждого признака в каждой точке наблюдения?
39.	Приведено ли точное значение рассчитанных уровней статистической значимости Р (два-три десятичных разряда), а не неравенство?
40.	Ясно   ли,   какими   методами   могут   быть   получены приведенные уровни статистической значимости?
41.	В случае применения параметрических методов приведены ли обоснования их применимости?
42.	Приведены ли доверительные интервалы для основных результатов исследования?
Разделы «Заключение» и/или «Выводы»
43.	Если цель исследования не достигнута (согласно научной гипотезе исследования), достаточна ли мощность исследования?**
44.	Если цель исследования не достигнута (согласно научной гипотезе исследования), корректна ли интерпретация результатов? Корректно ли сформулированы выводы?
ИТОГО
% (ДА/(ДА+НЕТ))
Заключение об уровне риска случайных ошибок***