Просмотр кода страницы Рекомендации по оценке риска некорректности статистического анализа (риска возникновения случайных ошибок) в клинических исследованиях



'''При оценке риска некорректности статистического анализа рекомендуется использовать опросник оценки риска  некорректности статистического анализа.'''

В табл. 4 приведен вопросник оценки качества СА в клинических исследованиях, в табл. 5 – форма для заполнения вопросника и вычисления итогового риска возникновения случайных ошибок. Данный инструмент предназначен для оценки риска случайных ошибок преимущественно в РКИ (инструмент первоначально был разработан именно для оценки риска случайных ошибок в РКИ). Проспективные исследования нерандомизированного дизайна могут быть оценены на основании данного инструмента, однако с существенными ограничениями (применимо меньшее количество доменов). Поскольку результаты, полученные в исследованиях нерандомизированного дизайна, исходно имеют меньшую надежность, оценка качества проведенного в них СА не является важной задачей. Применение данного инструмента для исследований несравнительного и ретроспективного дизайна не предусмотрено.

Инструмент оценки риска случайных ошибок в клинических исследованиях включает в себя 22 домена. Домены условно распределены по разделам публикации, в которых рекомендуется представление информация, на основании которой оценивается соответствующий домен: «Материалы и методы», «Результаты», «Заключение»/«Выводы».

Каждый домен представлен в формате вопроса, который предусматривает три варианта ответа: «Да», «Нет» и «Неприменимо». В случае, если информация корректно представлена в публикации в явном виде, исследователь, оценивающий риск случайных ошибок, делает положительное заключение по домену (ответ «Да»). В случае, если информация не представлена в публикации в явном виде или представлена в явном виде, но представление не является корректным, исследователь, оценивающий риск случайных ошибок, делает отрицательное заключение по домену (ответ «Нет»). В случае, если домен не является применимым, исследователем выбирается ответ «Неприменимо».

Итоговый риск случайных ошибок оценивается следующим образом:

# вычисляется доля ответов «да» среди всех ответов «да» и «нет»;
# используется следующая стратификация риска случайных ошибок:

a. если доля ответов «Да» составляет 67-100%, делается заключение о том,  что в публикации об исследовании выявлен низкий риск возникновения случайных ошибок;

b. если доля ответов «Да» составляет 34-66%, делается заключение о том, что в публикации об исследовании выявлен средний риск возникновения случайных ошибок;

c. если доля ответов «Да» составляет 0-33%, делается заключение о том, что в публикации об исследовании выявлен высокий риск возникновения случайных ошибок.


'''Таблица 4. Вопросник для оценки качества СА (риска возникновения случайных ошибок)'''
{| class="wikitable"
| colspan="2" |№
|'''Вопросы'''
|'''Ответ'''
|-
| colspan="4" |'''Раздел «Материалы			и методы»'''
|-
| rowspan="3" |1.
| colspan="3" |'''Указана ли			основная проверяемая гипотеза и			критерий ее принятия?'''
|-
| colspan="2" |Выполнение хотя			одного из следующих критериев:

* Приведена				информация в явном виде об используемой				гипотезе (например, превосходства,				неуступающей эффективности или				эквивалентности).
* Для гипотезы				превосходства: в исследовании				вмешательство сравнивалось с				плацебо.
* Для гипотезы				превосходства: в исследовании был				выполнен расчет объема выборки, при				этом ожидаемый размер эффекта  в				группе изучаемого вмешательство				превосходил ожидаемый размер эффекта				в группе сравнения.
|Да
|-
| colspan="2" |Отсутствует			информация об используемой гипотезе			или информации, приведенной в публикации,			недостаточно для заключения о виде			гипотезы исследования
|Нет
|-
| rowspan="3" |2.
| colspan="3" |'''Выполнялся ли			расчет необходимого объема выборки			по основному критерию оценки			эффективности или безопасности с			учетом вида проверяемой гипотезы?'''
|-
| colspan="2" |Приведена			информация о расчете объема выборки:			 ожидаемый размер эффекта в каждой из			групп (или разница в ожидаемом размере			эффекта между группами сравнения),			допустимый уровень альфа- ошибки и			статистическая мощность
|Да
|-
| colspan="2" |Недостаточно	информации	или	информация	о	расчете	объема			выборки не приведена
|Нет
|-
| rowspan="3" |3.
| colspan="3" |'''В гипотезе			превосходства: анализировался ли			набор данных по намерению лечить (все			пациенты с назначенным)?'''

'''В гипотезе			неуступающей эффективности/эквивалентности:			анализировался ли набор данных для			пациентов, закончивших наблюдение			(набор данных по протоколу)?'''
|-
| colspan="2" |Выполнение хотя			бы одного из следующих условий:

* В тексте публикации				явно указано, что анализировался				набор данных по намерению лечить или				все пациенты, получившие хотя бы одну				дозу вмешательства (для гипотезы				превосходства).
* Количество				анализируемых пациентов по первичному				исходу совпадало с количеством				пациентов, распределенных по группам				(для гипотезы				превосходства).
* Анализировался				набор данных для пациентов, закончивших				наблюдение (для гипотез неуступающей				эффективности или эквивалентности).
* Количество				анализируемых пациентов было меньше,				чем количество пациентов, распределенных				по группам.
* Первичным исходом				является анализ времени до				события.
|Да
|-
| colspan="2" |Выполнение хотя			бы одного из следующих условий:

* В гипотезе				превосходства анализировался набор				данных для пациентов, закончивших				наблюдение.
* В гипотезах				неуступающей эффективности или				эквивалентности анализировался набор				данных по намерению лечить.
* Нет информации				об использованном наборе				данных.
|Нет
|-
| rowspan="4" |4.
| colspan="3" |'''Описан ли метод			заполнения пропусков по выбывшим			пациентам в случае анализа набора			данных по намерению лечить?'''
|-
| colspan="2" |В исследовании			применен один из следующих вариантов			заполнения пропусков:

* данные последнего				наблюдения;
* оптимистический				сценарий (у выбывших пациентов лечение				считалось				успешным);
* пессимистический				сценарий (у выбывших пациентов лечение				считалось				неуспешным);
* заполнение				пропусков медианами или средними				значениями признака по всей выборке				(в зависимости от вида распределения				признака).
|Да
|-
| colspan="2" |Не приведена			информация о способе заполнения			пропусков
|Нет
|-
| colspan="2" |Использован			набор данных для пациентов, закончивших			наблюдение
|Неприменимо
|-
| rowspan="4" |5.
| colspan="3" |'''В случае анализа			набора данных для пациентов, закончивших			наблюдение: сопоставлены ли частоты			и времена выбывания для выбывших,			исключенных, низкокомплаентных,			пропусков и проч.?'''
|-
| colspan="2" |Частоты и времена			выбывания в группах сравнения			сопоставлены и/или описаны
|Да
|-
| colspan="2" |Частоты и времена			выбывания в группах сравнения не			сопоставлены  и не			описаны
|Нет
|-
| colspan="2" |Использован			набор данных по намерению лечить
|Неприменимо
|-
| rowspan="3" |6.
| colspan="3" |'''Перечислены			ли применяемые статистические методы			и адекватны ли они дизайну исследования?'''
|-
| colspan="2" |Применяемые			статистические методы перечислены и			адекватны дизайну исследования
|Да
|-
| colspan="2" |Выполнение хотя			бы одного условия:

* Применяемые				статистические методы не				перечислены.
* Применяемые	статистические	методы	перечислены,	но				неадекватны дизайну				исследования.
|Нет
|-
| rowspan="3" |7.
| colspan="2" |'''Указан ли			пороговый уровень статистической			значимости?'''
|
|-
| colspan="2" |Пороговый  уровень			 статистической  значимости  указан 			в     разделе

«Материалы и			методы»
|Да
|-
| colspan="2" |Пороговый  уровень			статистической значимости не указан			в    разделе

«Материалы и			методы»
|Нет
|-
| rowspan="4" |8.
| colspan="3" |'''Применены ли			меры по преодолению проблемы			множественных сравнений (для анализа			подгрупп или при проверке нескольких			статистических гипотез в одной			выборке)?'''
|-
| colspan="2" |Применен один			из следующих методов преодоления			проблемы множественных сравнений:

* поправка				Бонферрони;
* post				hoc тесты;
* другие	валидизированные	статистические	инструменты				преодоления проблемы множественных				сравнений;
* уменьшение				порогового уровня статистической				значимости.
|Да
|-
| colspan="2" |Не	применены	никакие	способы	преодоления	проблемы множественных			сравнений
|Нет
|-
| colspan="2" |В исследовании			не проводился анализ подгрупп или не			проверялось несколько статистических			гипотез в одной выборке
|Неприменимо
|-
| rowspan="3" |9.
| colspan="2" |'''Использован			ли общеизвестный статистический			пакет?'''
|
|-
| colspan="2" |Использован			общеизвестный статистический пакет			(Statistica, SPSS, SAS или др.), MS Excel или			онлайн-калькуляторы (со ссылкой на			источник)
|Да
|-
| colspan="2" |Выполнение хотя			бы одного из следующих условий:

* Использованы				невалидизированные статистические				пакеты (например, собственные разработки				программного обеспечения).
* Не использованы				статистические пакеты или онлайн-				калькуляторы.
* Не приведена				информация об используемом программном				обеспечении.
|Нет
|-
| colspan="4" |'''Раздел			«Результаты»'''
|-
| rowspan="3" |10.
| colspan="2" |'''Приведена ли			описательная статистика и сопоставление			исходных характеристик групп в			анализируемой публикации (или других			публикациях о данном исследовании)?'''
|
|-
| colspan="2" |Приведена			описательная статистика исходных			характеристик групп и сопоставление			исходных характеристик групп (в виде			рассчитанных уровней статистической			значимости) по всем или хотя бы основным			характеристикам групп
|Да
|-
| colspan="2" |Выполнение хотя			бы одного из следующих условий:

* Не приведена				описательная статистика исходных				характеристик групп и сопоставление				исходных характеристик групп (в виде				рассчитанных уровней статистической				значимости).
* Приведена				описательная статистика исходных				характеристик групп, однако группы				не сопоставлены ни по одной из				характеристик.
* Приведена				описательная статистика исходных				характеристик групп, группы сопоставлены				по всем или хотя бы по основным				характеристикам групп, однако				результаты данного сопоставления не				приведены в виде рассчитанных уровней				статистической				значимости.
|Нет
|-
| rowspan="4" |11.
| colspan="2" |'''Если выявлены			различия хотя бы по одной из исходных			характеристик групп (дисбаланс групп),			проведен ли анализ соответствующих			ковариат или анализ в соответствующих			подгруппах?'''
|
|-
| colspan="2" |Анализ			соответствующих ковариат или анализ			в соответствующих подгруппах проведен
|Да
|-
| colspan="2" |Анализ			соответствующих ковариат или анализ			в соответствующих подгруппах не			проведен
|Нет
|-
| colspan="2" |Выполнение хотя			бы одного из условий:

* Дисбаланс групп				в результате проверки статистических				гипотез не выявлен.
* Проверка				статистических гипотез об отсутствии				различий в группах сравнения по				исходным характеристикам не проводилась.
* Описательная				статистика исходных характеристик				групп не представлена ни в анализируемой				публикации, ни в других публикациях				о данном				исследовании.
|Неприменимо
|-
| rowspan="4" |12.
| colspan="3" |'''Ясно  ли,  какие			 описательные  статистики  использованы			 при      представлении распределений			количественных признаков?'''
|-
| colspan="2" |Информация об			использованных описательных статистиках			(мерах центральной тенденции и мерах			их рассеяния) приведена в публикации			в явном виде
|Да
|-
| colspan="2" |Информация об			использованных описательных статистиках			(мерах центральной тенденции и мерах			их рассеяния) не приведена в публикации			в явном виде
|Нет
|-
| colspan="2" |Отсутствие	количественных	признаков	среди	исходных			характеристик			групп
|Неприменимо
|-
| rowspan="4" |13.
| colspan="3" |'''Отсутствуют	ли	ошибки	в	представлении	описательной	статистики			количественных			признаков?'''
|-
| colspan="2" |Выполнение обоих			следующих условий:

* Для нормально				распределенных данных использованы				среднее и среднеквадратическое				отклонение (M (SD)), при этом нормальность				распределения				доказана.
* Для данных с				распределением, отличающимся от				нормального, или неизвестным видом				распределения использованы медианы				и интерквартильный размах (Me [Q1;				Q2]).
|Да
|-
| colspan="2" |Выполнение хотя			бы одного из условий:

* Для признаков				с распределением, отличным от				нормального, или признаков с неизвестным				видом распределения использованы				среднее и среднеквадратическое				отклонение M (SD).
* Среднеквадратическое				отклонение больше половины среднего				хотя бы в одном				случае.
* В качестве меры				рассеяния среднего использована				стандартная ошибка среднего				(m).
|Нет
|-
| colspan="2" |Отсутствие	количественных	признаков	среди	исходных			характеристик			групп
|Неприменимо
|-
| rowspan="4" |14.
| colspan="3" |'''Отсутствуют			ли ошибки в описании качественных			признаков?'''
|-
| colspan="2" |Выполнение обоих			следующих условий:

* Всегда ясно, что				принято за 100%.
* Сумма				долей по всей структуре явления				составляет 100%.
|Да
|-
| colspan="2" |Невыполнение			хотя бы одного из обозначенных выше			условий
|Нет
|-
| colspan="2" |Отсутствие			качественных признаков среди исходных			характеристик групп
|Неприменимо
|-
| rowspan="4" |15.
| colspan="3" |'''Отсутствуют			ли ошибки в сопоставлении относительных			частот?'''
|-
| colspan="2" |Ошибки в			сопоставлении относительных частот			отсутствуют (по результатам выборочной			проверка хотя бы по первичным критериям			эффективности и/или безопасности)
|Да
|-
| colspan="2" |Выполнение хотя			бы одного из следующих условий:

* Выявлены ошибки				в сопоставлении относительных частот				по результатам выборочной				проверки.
* Сопоставление				относительных частот предусмотрено				дизайном исследования, однако				относительные частоты не сопоставлены.
|Нет
|-
| colspan="2" |Сопоставление	относительных	частот	не	проводилось,	т.к.	не			предусмотрено дизайном			исследования
|Неприменимо
|-
| rowspan="4" |16.
| colspan="3" |'''Приведено ли			в таблицах и на рисунках число наблюдений			для каждого признака в каждой точке			наблюдения?'''
|-
| colspan="2" |Во всех таблицах			и на всех рисунках приведено число			наблюдений для каждого признака в			каждой временной точке наблюдения			(или в основных критически важных			временных точках)
|Да
|-
| colspan="2" |Не во всех таблицах			и не на всех рисунках приведено число			наблюдений для каждого признака в			каждой временной точке наблюдения			(или в основных критически важных			временных точках)
|Нет
|-
| colspan="2" |В публикации об			исследовании отсутствуют таблицы и			рисунки
|Неприменимо
|-
| rowspan="3" |17.
| colspan="3" |'''Приведено	ли	точное	значение	рассчитанных	уровней	статистической			значимости Р (два-три десятичных			разряда), а не			неравенство?'''
|-
| colspan="2" |Приведены точные			значения всех рассчитанных уровней			статистической значимости Р (кроме			случаев, когда рассчитанный уровень			статистической значимости Р<0,001)
|Да
|-
| colspan="2" |Выполнение хотя			бы одного из следующих условий:

* Не приведены				точные значения Р для всех рассчитанных				уровней статистической				значимости.
* В публикации об				исследовании не приведены рассчитанные				уровни статистической				значимости.
|Нет
|-
| rowspan="3" |18.
| colspan="3" |'''Ясно ли, какими			методами были получены приведенные			уровни статистической значимости?'''
|-
| colspan="2" |Выполнение хотя			бы одного из следующих условий:

* Для каждого из				рассчитанных уровней статистической				значимости указан метод, которым				получен данный уровень статистической				значимости.
* В перечне				использованных методов статистического				анализа присутствует метод, адекватный				данному анализу.
|Да
|-
| colspan="2" |Невыполнение			хотя бы одного из обозначенных выше			условий
|Нет
|-
| rowspan="4" |19.
| colspan="3" |'''В случае			применения параметрических методов			приведены ли обоснования их применимости?'''
|-
| colspan="2" |Приведены	обоснования	применения	параметрических	методов			статистического анализа (хотя бы один			из вариантов):

* Проверены				гипотезы о нормальности распределения				признаков, для которых использованы				параметрические методы статистического				анализа и приведены результаты данной				проверки (рассчитанные уровни				статистической значимости).
* Приведено				графическое обоснование нормальности				распределений.
* Доказано, что				среднее, медиана и мода для данных				признаков совпадают.
|Да
|-
| colspan="2" |Не приведены			обоснования применения параметрических			методов статистического анализа
|Нет
|-
| colspan="2" |Параметрические			методы статистического анализа не			применялись
|Неприменимо
|-
| rowspan="3" |20.
| colspan="3" |'''Приведены	ли	доверительные	интервалы	для	основных	результатов			исследования?'''
|-
| colspan="2" |Доверительные			интервалы приведены для всех основных			результатов исследования (первичных			исходов)
|Да
|-
| colspan="2" |Доверительные 						интервалы	не	приведены	хотя	бы	для	одного			основного результата			исследования
|Нет
|-
| colspan="4" |'''Разделы			«Заключение» и/или «Выводы»'''
|-
| rowspan="4" |21.
| colspan="3" |'''Если цель			исследования не достигнута (согласно			научной гипотезе исследования),			достаточна ли мощность исследования?'''
|-
| colspan="2" |Цель исследования			не достигнута, и статистическая			мощность исследования  составляет 			80%  или  более  (по  результатам    расчета размера выборки,			приведенным в разделе «Материалы и			методы»)
|Да
|-
| colspan="2" |Выполнение хотя			бы одного из следующих условий:

* Цель	исследования	не	достигнута,	но	статистическая				мощность исследования составляет				менее 80%.
* Цель исследования				не достигнута, но оценить статистическую				мощность невозможно.
|Нет
|-
| colspan="2" |Цель исследования			достигнута
|Неприменимо
|-
| rowspan="4" |22.
| colspan="3" |'''Если цель			исследования не достигнута (согласно			научной гипотезе исследования),			корректна ли интерпретация результатов?			Корректно ли сформулированы выводы?'''
|-
| colspan="2" |Цель исследования			не достигнута, при этом выводы не			противоречат результатам исследования
|Да
|-
| colspan="2" |Цель исследования			не достигнута, при этом выводы			противоречат результатам исследования
|Нет
|-
| colspan="2" |Цель исследования			достигнута
|Неприменимо
|}
'''Таблица 5. Оценка качества проведения статистического анализа в клинических исследованиях и представления его результатов в публикации о клиническом исследовании'''
{| class="wikitable"
|№
|Вопросы
|Да
|Нет
|Неприменимо
|-
| colspan="5" |Раздел «Материалы и методы»
|-
|23.
|Указана ли основная проверяемая гипотеза и критерий ее принятия?
|
|
|
|-
|24.
|Выполнялся ли расчет необходимого объема выборки по основному критерию оценки эффективности или безопасности с учетом вида проверяемой гипотезы?
|
|
|
|-
|25.
|В гипотезе превосходства: анализировался ли набор данных по намерению лечить?

В гипотезе неуступающей эффективности/эквивалентности: анализировался ли набор данных для пациентов, закончивших наблюдение?
|
|
|
|-
|26.
|Описан ли метод заполнения пропусков по выбывшим пациентам в случае анализа данных по намерению лечить?
|
|
|
|-
|27.
|В случае анализа набора данных для пациентов, закончивших наблюдение: сопоставлены ли частоты и времена выбывания для выбывших, исключенных, низкокомплаентных, пропусков и проч.?
|
|
|
|-
|28.
|Перечислены ли применяемые статистические методы и адекватны  ли они дизайну исследования?
|
|
|
|-
|29.
|Указан ли пороговый уровень статистической значимости?
|
|
|
|-
|30.
|Применены  ли   меры   по   преодолению   проблемы множественных сравнений (для анализа подгрупп или при проверке нескольких статистических гипотез в одной выборке)?
|
|
|
|-
|31.
|Использован ли общеизвестный статистический пакет?
|
|
|
|-
| colspan="5" |Раздел «Результаты»
|-
|32.
|Приведены ли описательная статистика и сопоставление исходных характеристик групп в анализируемой публикации (или других публикациях о данном исследовании)?
|
|
|
|-
|33.
|Если выявлены различия хотя бы по одной из исходных характеристик групп (дисбаланс групп), проведен ли анализ соответствующих ковариат или анализ в соответствующих подгруппах?
|
|
|
|-
|34.
|Ясно	ли,	какие	описательные	статистики	использованы	при представлении распределений количественных признаков?
|
|
|
|-
|35.
|Отсутствуют ли ошибки в представлении описательной статистики количественных признаков?
|
|
|
|-
|36.
|Отсутствуют ли ошибки в описании качественных признаков?
|
|
|
|-
|37.
|Отсутствуют ли ошибки в сопоставлении относительных частот?*
|
|
|
|-
|38.
|Приведено ли в таблицах и на рисунках число наблюдений для каждого признака в каждой точке наблюдения?
|
|
|
|-
|39.
|Приведено ли точное значение рассчитанных уровней статистической значимости Р (два-три десятичных разряда), а не неравенство?
|
|
|
|-
|40.
|Ясно   ли,   какими   методами   могут   быть   получены приведенные уровни статистической значимости?
|
|
|
|-
|41.
|В случае применения параметрических методов приведены ли обоснования их применимости?
|
|
|
|-
|42.
|Приведены ли доверительные интервалы для основных результатов исследования?
|
|
|
|-
| colspan="5" |Разделы «Заключение» и/или «Выводы»
|-
|43.
|Если цель исследования не достигнута (согласно научной гипотезе исследования), достаточна ли мощность исследования?**
|
|
|
|-
|44.
|Если цель исследования не достигнута (согласно научной гипотезе исследования), корректна ли интерпретация результатов? Корректно ли сформулированы выводы?
|
|
|
|-
| colspan="2" |ИТОГО
|
|
|
|-
| colspan="2" |% (ДА/(ДА+НЕТ))
| colspan="3" |
|-
| colspan="2" |Заключение об уровне риска случайных ошибок***
| colspan="3" |
|}