Оценка качества клинических руководств

1. АО «Медицинский Университет Астана»

Тема:оценка качеств клинических руководств с
помощью системы agree
Выполнила: Сейткасым Ш.К 6/110 гр.
Проверила: Шлымова Р.О
АСТАНА

2.

3. Цель данного опросника:

Опросник АGREE (Appraisal of Guidelines for Research & Evaluation, или
Опросник по экспертизе и аттестации руководств) предназначен для
оценки качества клинических рекомендаций.
Клинические рекомендации представляют собой «систематически
разрабатываемые утверждения, помогающие врачам и больным
принимать правильные клинические решения в определенных
клинических ситуациях»1. Их цель — «дать подробные указания с
определенным намерением повлиять на действия врачей»2.
Мы считаем клинические рекомендации качественными, если уверены
в том, что при их подготовке предпринимались адекватные меры для
снижения вероятности возникновения систематической ошибки, что
они эффективны как в отношении конкретного больного, так и
изучаемой категории больных, и пригодны к применению на
практике. При оценке клинических рекомендаций следует учитывать
эффективность, безопасность и стоимость предлагаемых методов,
равно как и практические аспекты их применения. Таким образом,
экспертиза клинических рекомендаций включает в себя оценку
методов, использованных при их разработке, содержания
окончательного варианта рекомендаций, и факторов, связанных с их
внедрением.

4.

5.

Опросник АGRЕЕ позволяет оценить качество
представления материала и некоторых аспектов
рекомендаций. Он обеспечивает оценку
ожидаемой эффективности клинических
рекомендаций, т.е. вероятности достижения
желаемого результата. Опросник не позволяет
оценить влияние рекомендаций на клинический
исход заболевания.
Большинство критериев оценки, используемых в
опроснике АGREE, основаны, скорее, на
теоретических предположениях, чем на
экспериментальных доказательствах. Они были
разработаны в ходе дискуссий между
исследователями из нескольких стран, у
которых имеются обширный опыт и познания в
области разработки клинических рекомендаций.
Таким образом, опросник АGREE должен
рассматриваться как отражение уровня знаний,
существующего в настоящее время по данному
вопросу

6. Какие клинические рекомендации могут быть оценены с помощью опросника AGREE ?

Опросник АGRЕЕ предназначен для экспертизы
клинических рекомендаций, разработанных местными,
региональными, общенациональными,
международными неправительственными или
правительственными организациями. Эти клинические
рекомендации включают в себя:
Новые клинические рекомендации.
Существующие клинические рекомендации.
Обновления существующих клинических рекомендаций.
Опросник АGRЕЕ носит общий характер и может быть
применен для оценки клинических рекомендаций по
диагностике, профилактике и лечению любых
заболеваний. Опросник может использоваться для
оценки клинических рекомендаций, представленных
как в печатном, так и в электронном виде.

7. Кто может использовать опросник AGREE ?

Опросник AGRЕЕ предназначен для использования:
Государственными органами для помощи в принятии
решения о том, какие клинические рекомендации
следует внедрять в практику. В таких случаях
использование опросника должно быть частью процесса
официальной экспертизы.
Составителями клинических рекомендаций, чтобы они
следовали структурированной и строгой методологии
разработки, а также для самостоятельной оценки
качества своих рекомендаций.
Медицинскими работниками для самостоятельной
оценки рекомендаций перед их внедрением.
Преподавателями для помощи в обучении медицинских
работников навыкам критического восприятия
публикуемых данных.

8. Пожалуйста, внимательно прочтитеданную инструкцию перед использованием опросника AGREE

Структура и содержание опросника АGRЕЕ
Опросник состоит из 23 пунктов, сгруппированных в 6 разделов. В каждом
разделе рассматривается самостоятельная характеристика качества
руководства.
Область применения и цели (пункты 1-3). Касается конечной цели
рекомендаций, конкретных клинических вопросов и целевой группы
пациентов.
Участие заинтересованных сторон (пункты 4-7). Оценивает степень того,
насколько взгляды предполагаемых пользователей учтены в рекомендациях.
Тщательность разработки (пункты 8-14). Относится к процессу, применяемому
для сбора и синтеза доказательств, методам составления и обновления
рекомендаций.
Ясность изложения и форма представления (пункты 15—18). Касается языка и
формата рекомендаций.
Возможность внедрения (пункты 19-21). Относится к оценке возможных
организационных, поведенческих и финансовых последствий внедрения
клинических рекомендаций.
Независимость разработчиков (пункты 22-23). Касается независимости
рекомендаций и признания возможного конфликта интересов их
разработчиков.

9.

Документация
Эксперты должны постараться выяснить всю информацию о процессе
разработки клинических рекомендаций до начала экспертизы. Эта
информация может содержаться в самих рекомендациях или быть
суммирована в отдельном техническом отчете, опубликованных
статьях, программных документах (например, в планах внедрения
рекомендаций). Мы рекомендуем полностью прочитать рекомендации
и прилагаемую документацию до того, как начинать экспертизу.
Количество экспертов
Мы рекомендуем привлекать к оценке каждых клинических
рекомендаций по крайней мере 2, а желательно 4 экспертов,
поскольку это повысит надежность оценки.
Шкала ответов
Каждый пункт оценивается по 4-балльной шкале от 4 «Совершенно
согласен(-на)» до 1 «Совершенно не согласен(-на)» с двумя
промежуточными баллами: 3 «Отчасти согласен(-на)» и 2 «Отчасти
не согласен(-на)». Шкала измеряет степень согласия эксперта с
утверждением, содержащемся в данном пункте.
◦ Если Вы уверены в том, что утверждение полностью справедливо, то Вы
должны ответить «Совершенно согласен(-на)».
◦ Если Вы уверены в том, что утверждение полностью несправедливо, или если
информация, необходимая для оценки, полностью отсутствует, то Вы должны
ответить «Совершенно не согласен(-на)».
◦ Если Вы не уверены, что утверждение полностью справедливо, например, по
причине предоставления нечеткой информации, или если утверждение
справедливо в отношении лишь некоторой части рекомендаций, Вы должны
ответить «Отчасти со-гласен(-на)» или «Отчасти не согласен(-на)» в
зависимости от того, какова Ваша оценка степени согласия или несогласия с
утверждением.

10.

Руководство для пользователей
Мы предоставили дополнительную информацию в
прилагающемся к каждому пункту руководстве для
пользователя. Эта информация должна помочь Вам
понять, каким проблемам и понятиям посвящен каждый
пункт опросника. Просим внимательно прочитать это
руководство, прежде чем давать ответ.
Комментарии
Возле каждого пункта отведено пространство для
комментариев. Вам следует использовать это
пространство для объяснения Ваших ответов. Например,
Вы можете ответить «совершенно не согласен(-на)»,
потому что: необходимая информация не доступна, или
утверждение не применимо к данному случаю, или
методология, описанная в представленной информации,
неудовлетворительна. Место для дополнительных
комментариев предоставлено в конце всего опросника.
Расчет общего балла по разделу
Общий балл по разделу может быть рассчитан путем
суммирования всех баллов по каждому пункту раздела с
последующей стандартизацией результата в процентах
от максимального возможного балла по этому разделу.

11.

Пример:
Если четыре эксперта поставили следующие
баллы в Разделе 1 (Область применения и
цели):
Пункт 1Пункт 2Пункт 3ИтогоЭксперт
12338Эксперт 233410Эксперт
32439Эксперт 42349Итого9131436
Максимально возможное число баллов=4
(Совершенно согласен(-на)) х З(число
пунктов) х 4 (число экспертов)=48
Минимально возможное число баллов=1
(Совершенно не согласен(-на)) х З(число
пунктов) х 4(число экспертов)=12

12.

Стандартизированный балл по разделу:

13.

Примечание
Баллы по каждому из шести разделов
рассчитываются независимо и не суммируются в
единую оценку качества. Оценка баллов по
разделам может быть полезна при сравнении
клинических рекомендаций и дает информацию для
принятия решения о том, следует ли использовать
клинические рекомендации или нет, однако
невозможно установить порог в баллах, который
разделял бы клинические рекомендации на
«хорошие» и «плохие».
Итоговая оценка
Графа для итоговой оценки находится в конце
опросника. Она содержит следующие утверждения:
«Настоятельно рекомендую», «Рекомендую (с
оговорками и изменениями)», «Не рекомендую», «Не
уверен(-а)». В итоговую оценку эксперт должен
включить свое мнение относительно качества
клинических рекомендаций, принимая во внимание
каждый из критериев оценки.

Оценка клинических руководств Кафедра политики и управления здравоохранением

Оценка клинических руководств Кафедра политики и управления здравоохранением

Цель занятия n Дать представление об использовании опросника AGREE в оценке методологического качества клинических

Цель занятия n Дать представление об использовании опросника AGREE в оценке методологического качества клинических практических руководств

Зачем нужно оценивать КПР n n КПР – одна из форм медицинского вмешательства Некачественные

Зачем нужно оценивать КПР n n КПР – одна из форм медицинского вмешательства Некачественные КПР могут подвергнуть серьезному риску множество пациентов Пользователи КПР хотят быть уверенными в качестве рекомендаций Профессиональные и правительственные структуры должны убедиться в высоком качестве КПР, прежде чем они смогут рекомендовать их для внедрения в практику

Зачем нужен глобальный подход n n КПР играют важную роль в системе здравоохранения большинства

Зачем нужен глобальный подход n n КПР играют важную роль в системе здравоохранения большинства стран Обеспечение высокого качества КПР – проблема, которая волнует создателей рекомендаций во всем мире Существует необходимость в создании интернационального руководство по написанию КПР Целое — лучше, чем сумма отдельных составляющих

Качество КПР Потенциальные систематические ошибки предупреждены или имеется предупреждение об их существовании n КПР

Качество КПР Потенциальные систематические ошибки предупреждены или имеется предупреждение об их существовании n КПР обладают высокой внутренней достоверностью и обобщаемостью n КПР применимы в практике n

Создание AGREE n n n Эгри (AGREE – Appraisal of guidelines research and evaluation/

Создание AGREE n n n Эгри (AGREE – Appraisal of guidelines research and evaluation/ Опросник по экспертизе и аттестации руководств) Опросник бал создан в Великобритании Исследования нового инструмента проходили в Великобритании, др. европейских странах, Канаде

Цели деятельности AGREE Collaboration n n Разработка единого подхода к созданию КПР Создание инструмента

Цели деятельности AGREE Collaboration n n Разработка единого подхода к созданию КПР Создание инструмента для оценки и мониторирования качества КПР Определение критериев качества КПР Распространение критического подхода к созданию КПР по всему миру

The AGREE Collaboration США n Канада n Новая Зеландия n

The AGREE Collaboration США n Канада n Новая Зеландия n

Цели опросника AGREE n n n Создание систематического подхода к оценке качества КПР Помочь

Цели опросника AGREE n n n Создание систематического подхода к оценке качества КПР Помочь создателям КПР следовать структурированной и строгой методологии в создании рекомендаций Помочь организаторам в принятии решений по внедрению КПР в практику

Для кого предназначен AGREE n n 1. Государственным органам – для помощи в принятии

Для кого предназначен AGREE n n 1. Государственным органам – для помощи в принятии решения о том, какие клинические рекомендации следует внедрять в практику 2. Составителям клинических рекомендации- чтобы они следовали структурированной и строгой методологии разработки, а также для самостоятельной оценки качества своих рекомендаций

Для кого предназначен AGREE 3. Медицинским работникам – для самостоятельной оценки рекомендаций перед их

Для кого предназначен AGREE 3. Медицинским работникам – для самостоятельной оценки рекомендаций перед их внедрением n 4. Преподавателям — для помощи в обучении медицинских работников навыкам критического восприятия n

Разработка опросника AGREE n n n Обзор литературы несколькими группами Первый семинар, на котором

Разработка опросника AGREE n n n Обзор литературы несколькими группами Первый семинар, на котором обсуждались слабые моменты инструмента, обсуждались пути улучшения Пилотное исследование по валидизации опросника Второй семинар, на котором рассматривались результаты пилотного исследования Основное исследование по валидизации опросника

Первое пилотное исследование n n При помощи инструмента AGREE оценивалось 100 рекомендаций из 11

Первое пилотное исследование n n При помощи инструмента AGREE оценивалось 100 рекомендаций из 11 стран Все участники придерживались одного протокола Каждая рекомендация оценивалась 4 исследователями (всего 194) Использовалась англоязычная версия AGREE

Второе пилотное исследование n n Улучшенный вариант опросника был апробирован на 33 КПР, выбранных

Второе пилотное исследование n n Улучшенный вариант опросника был апробирован на 33 КПР, выбранных случайным образом из 1 исследования Участвовали те же страны Исследователи, принимавшие участие в первом исследовании, ко второму не привлекались Каждая страна оценивала по 3 КПР

Результаты валидизации Надежность опросника была удовлетворительного качества для каждой его части n Более 90%

Результаты валидизации Надежность опросника была удовлетворительного качества для каждой его части n Более 90% оценщиков признали AGREE пригодным к использованию n

The AGREE Collaboration September 2001 n Перевод и адаптация опросника на русский язык выполнены

The AGREE Collaboration September 2001 n Перевод и адаптация опросника на русский язык выполнены Evidence Clinical and Pharmaceutical Research по заказу Российского отделения Североевропейского Центра Кокрановского сотрудничества

Структура опросника AGREE 23 пункта, сгруппированных в 6 разделов n В каждом разделе рассматривается

Структура опросника AGREE 23 пункта, сгруппированных в 6 разделов n В каждом разделе рассматривается самостоятельная характеристика качества n

Структура опросника AGREE Раздел 1 Область применения и цели (пункты 1 -3) Раздел 2

Структура опросника AGREE Раздел 1 Область применения и цели (пункты 1 -3) Раздел 2 Участие заинтересованных сторон (пункты 4 -7) Раздел 3 Тщательность разработки (пункты 8 -14)

Структура опросника AGREE Раздел 4 Ясность изложения и форма представления (пункты 15 -18) n

Структура опросника AGREE Раздел 4 Ясность изложения и форма представления (пункты 15 -18) n Раздел 5 Возможность внедрения (пункты 19 -21) n Раздел 6 Независимость разработчиков (пункты 22 -23) n

Количество экспертов n Рекомендуется привлекать к оценке каждых клинических рекомендаций по крайней мере 2

Количество экспертов n Рекомендуется привлекать к оценке каждых клинических рекомендаций по крайней мере 2 , а желательно 4 экспертов, поскольку это повысит надежность оценки

Каждый пункт оценивается по 4 - балльной шкале от n n 4 Совершенно согласен

Каждый пункт оценивается по 4 — балльной шкале от n n 4 Совершенно согласен 1 Совершенно не согласен С 2 промежуточными баллами 3 Отчасти согласен 2 Отчасти не согласен Шкала измеряет степень согласия эксперта с утверждением, содержащимся в данном пункте

Подсчет баллов Общий балл по разделу может быть рассчитан путем суммирования всех баллов по

Подсчет баллов Общий балл по разделу может быть рассчитан путем суммирования всех баллов по каждому пункту раздела n Далее проводится стандартизация результата в процентах от максимально возможного балла по этому разделу n

n Баллы по каждому из шести разделов рассчитываются независимо и не суммируются в единую

n Баллы по каждому из шести разделов рассчитываются независимо и не суммируются в единую оценку качества

Итоговая оценка Настоятельно рекомендую n Рекомендую с оговорками и изменениями n Не рекомендую n

Итоговая оценка Настоятельно рекомендую n Рекомендую с оговорками и изменениями n Не рекомендую n Не уверен n

Спасибо за внимание!

Спасибо за внимание!

Источник: журнал «Главный врач».

Одним из способов повышения качества и эффективности медицинской помощи является разработка и внедрение современных клинических практических руководств, основанных на принципах доказательной медицины. Клинические руководства разрабатываются с помощью определенной методологии, и призваны помочь врачу и больному принять решение о рациональной помощи в различных клинических ситуациях.

С начала 1990-х годов повышение качества медицинской помощи стало одним из приоритетных направлений здравоохранения большинства стран мира. Целью повышения качества медицинского обслуживания является улучшение результатов лечения больных, а также оптимизация расходов, связанных со здравоохранением. Одним из наиболее важных методов, применяющихся для реализации данного направления деятельности, служит широкое использование методов и принципов доказательной медицины — научных исследований как основного фундамента возникновения и критической оценки клинической информации.

Термин «доказательная медицина» (EvidenceBased Medicine, медицина, основанная на доказательствах, научно-обоснованная практика и др.) впервые был предложен группой канадских ученых из университета Мак Мастер в начале 1990-х годов. Согласно определению, которое в 1996 г. сформулировал Sackett, «Доказательная медицина — это добросовестное, точное и осмысленное использование лучших результатов клинических исследований для выбора лечения конкретного больного». Иными словами, доказательная медицина — это поиск, критическая оценка, сравнение, анализ и широкое распространение наилучших доказательств из систематических исследований в медицинскую практику, для использования в интересах конкретного больного.

Внедрение принципов доказательной медицины в практику здравоохранения предусматривает оптимизацию качества медицинской помощи с точки зрения безопасности, эффективности и стоимости. Современная научно-обоснованная медицинская практика требует от врача, чтобы диагностика заболеваний, назначение эффективного лечения, минимизация негативных последствий вмешательств основывались только на самой надежной информации. Кроме того, доказательная медицина предполагает объединение индивидуального клинического опыта врача с наилучшими и независимыми клиническими доказательствами из научных исследований.

Вместе с тем, зачастую понятие «улучшение качества медицинской помощи» сводится лишь к изданию методологических рекомендаций и инструктивно-нормативных документов. Многие из них издаются без учета современных научных данных, реальных возможностей различных звеньев здравоохранения, основываясь лишь на мнении признанных лидеров клинической медицины или научных коллективов, нередко без аналитического изучения лучших мировых публикаций.

Одним из способов повышения качества медицинской помощи (КМП) является разработка и внедрение современных клинических практических руководств, основанных на принципах доказательной медицины. Клинические руководства (КР) — это утверждения, разработанные с помощью определенной методологии, и призванные помочь врачу и больному принять решение о рациональной помощи в различных клинических ситуациях. В литературе также можно встретить ряд терминов, служащих синонимами термина «клиническое руководство»: алгоритм терапии, руководство по клинической практике, протокол лечения, протокол, стандарт лечения и пр. КР отвечают на вопросы: кому, как, что, где, и с какой целью. Они предназначены для того, чтобы помочь врачу воспринимать, оценивать и внедрять в практику непрерывно увеличивающееся количество данных о наиболее перспективных направлениях лечения.

Научные исследования подтверждают, что применение клинических руководств позволяет значительным образом улучшить КМП. В то же время, ненадлежащим образом подготовленные руководства могут принести больше вреда, чем пользы.

Клинические рекомендации (или как их раньше называли — протоколы ведения больных) разрабатывались в республике Узбекистан и ранее. Например: протоколы лечения, иммунизации, составление алгоритмов ведения больных с различной патологией и т.д. Однако большинство из них не отвечали определенной научной методологии создания, а были основаны на традиционном для бывшей советской медицины описательном принципе интерпретации схем лечения и диагностики.

Методология разработки клинических руководств с позиции доказательной медицины (ДМ), должна базироваться на систематическом обобщении научных доказательств. Это необходимо для составления исчерпывающих, точных и недвусмысленных рекомендаций. КР, разработанные с применением принципов ДМ, дают возможность с учетом новейшей и достоверной информации оптимизировать или нивелировать влияние на решения врача таких во многом субъективных факторов, как интуиция, квалификация, мнения авторитетных коллег, рекомендации популярных руководств и справочников и т.п.

Внедрение КР позволяет уменьшить различия между существующей (нередко основанной лишь на клиническом опыте или личном мнении специалиста) и наиболее оптимальной (научно обоснованной) медицинской практикой. Кроме того, клинические руководства помогают врачу правильно сориентироваться в выборе конкретного вмешательства среди нескольких альтернативных, и способствуют внедрению наилучших научных доказательств в медицинскую практику. Однако КР не должны использоваться как непосредственные руководящие принципы или как учебник, в котором содержится информация о различных вариантах терапии. КР могут лишь помочь практикующим врачам и другим представителям здравоохранения принять правильное решение при выборе необходимого эффективного метода лечения.

Сегодня в большинстве стран мира, в т.ч. и в Узбекистане, реализуются программы разработки и внедрения клинических руководств по важнейшим нозологическим формам. Вместе с тем, анализ существующей международной практики показал, что во многих случаях качество подготовки КР остается низким, что проявляется в следующих недостатках:

1) отсутствует связь между рекомендациями и научными доказательствами;

2) руководства часто отражают мнения заинтересованных экспертов или авторитетных ученных в ущерб научным фактам и легализуют сомнительную (а зачастую предвзятую) практику;

3) отсутствует информация о процессе разработки, спонсорах, способах внедрения;

4) не представляется информация о соотношении затрат и предполагаемой эффективности вмешательства;

5) существует множество разноречивых рекомендаций по одному и тому же вопросу;

6) в отдельных случаях клинические руководства представляют собой скорее академические упражнения, чем реальную помощь в повседневной врачебной практике.

Общепринятые критерии достоверности КР были разработаны еще в конце ХХ века на основании «необходимых элементов доброкачественных КР», предложенных Американским институтом медицины в 1990 г.

Необходимые элементы доброкачественных КР включали:

• достоверность (четкая связь между положениями КР и научными данными, научные и клинические данные должны иметь преимущество перед оценками экспертов);

• воспроизводимость;

• клиническую применимость;

• гибкость;

• четкость;

• участие в процессе создания представителей различных специальностей;

• запланированные пересмотры;

• наличие необходимой документации.

Вышеописанные принципы составления доброкачественных КР отражены в документе, унифицирующем оценку и подготовку клинических руководств — Международном опроснике AGREE (Appraisal of Guidelines Research and Evaluation / Опросник по Экспертизе и Аттестации Руководств). Кроме того, существуют специальные руководства по созданию КР (разработанные SIGN, NZGG, WHO и др.). AGREE, предназначенный для оценки качества КР, был разработан ведущими исследователями одиннадцати Европейских стран и Канады. Экспертиза клинических рекомендаций AGREE включает в себя как оценку методов использованных при разработке КР, содержание окончательного варианта руководства, а также факторов, связанных с их внедрением. Опросник AGREE позволяет оценить качество представленных рекомендаций, которое реализуется посредством оценки методологии и клинического содержания КР. Основными требованиями предъявляемым AGREE к клиническим руководствам являются:

• открытость и прозрачность процесса разработки;

• согласование интересов (и возможностей) потребителей, покупателей и производителей медицинских услуг;

• соответствие рекомендованных лечебно-диагностических и профилактических методов и технологий современному состоянию медицинской науки;

• объективность и надежность сведений;

• выбор наиболее эффективных затрат и медицинских технологий.

AGREE должен использоваться:

• для оценки существующих клинических рекомендаций с целью их последующей адаптации;

• для оценки качества вновь созданных клинических рекомендаций;

• В процессе обновления существующих клинических рекомендаций.

Во многих странах национальные программы разработки КР подкреплены подробной методологией их создания, а в 2002 году методология разработки клинических руководств была подготовлена и ВОЗ. Более того, в 2002 году была образована Международная сеть разработчиков клинических руководств — Guidelines International Network (GIN), в которую вошли создатели КР из 56 стран, со всех континентов. Основная цель GIN состоит в том, чтобы «повысить качество медицинской помощи посредством создания программ по разработке клинических руководств и их внедрения в практику на основе международного сотрудничества».

Цели создания руководства по разработке КР

Настоящее руководство по составлению КР, основанных на принципах ДМ, разработано центром доказательной медицины Ташкентского института усовершенствования врачей (ЦДМ ТашИУВ). Создание данного руководства продиктовано растущим интересом медицинской общественности к доказательной медицине, методологии составления современных клинических руководств, а также необходимостью обеспечения стандартизации и прозрачности процесса разработки КР используемым коллективов ЦДМ ТашИУВ в своей работе.

Основными целями данного документа являются:

• обоснование необходимости создания и применения клинических руководств на территории Республики Узбекистан (РУз);

• обобщение лучшего мирового и собственного опыта ЦДМ ТашИУВ в области методологии создания рекомендаций;

• ознакомление с методологией составления КР будущих разработчиков КР и организаторов здравоохранения (лиц, принимающих решения);

• создание пособия по разработке КР применимого к использованию в условиях Узбекистана.

Данный документ может быть использован как для составления оригинальных КР, так и для адаптации и применения в условиях РУз уже существующих зарубежных клинических руководств. Настоящее пособие предоставляет специалистам, принимающим решение о внедрение КР в медицинскую практику, информацию о методологии их создания, а также является ресурсом для групп, начинающих создание новых рекомендаций.

Так как количество КР, доступных практикующим врачам, в ближайшее время будет расти, необходимо, чтобы создатели клинических руководств четко и ясно описывали методы, которые они использовали при создании этих документов. Имея на руках пособие по разработке КР, практикующие врачи могут быть уверены, что при составлении КР, которые они используют в повседневной работе, учтены возможные систематические ошибки, рекомендации обобщаемы, достоверны и могут быть применены на практике. С другой стороны, поскольку практикующий врач, имеет немного свободного времени, важно, чтобы он не был перегружен методологическими деталями, повторяющимися из руководства в руководство.

Принципы разработки клинических руководств

Современный методологический подход к созданию КР, а также опыт и рекомендации ведущих специалистов (западной Европы, Северной Америки, Австралии, Новой Зеландии) предлагают следовать следующим основным принципам в процессе создания клинических руководств:

• Процесс разработки и оценки КР должен быть сфокусирован на действительно значимых исходах для потребителей (клинических, экономических, гуманистических);

• КР должны составляться только с учетом наилучших научных данных, с указанием степени доказательности каждой рекомендации;

• Необходимо указание информации о методологии, использованной для поиска и обработки доказательств, используемых при составлении рекомендаций;

• Процесс разработки КР должен быть мультидисциплинарным, с обязательным учетом потребностей и мнения потребителей медицинской помощи;

• КР должно быть легко адаптируемым к особенностям отдельного пациента;

• Необходимо учитывать ограниченность ресурсов, которые могут повлиять на внедрение КР в практику;

• В КР обязательно должен быть отражен процесс распространения и внедрения руководства в медицинскую практику;

• После внедрения КР в практику необходимо проведение мониторинга его эффективности и влияния КР на деятельность практического здравоохранения;

• КР требует периодического пересмотра и обновления с учетом новых научных доказательств;

• Рекомендации должны быть ясными, недвусмысленными и четко описанными, а само КР должно дополняться материалами для практического использования.

Процесс создания КР в Узбекистане

Разработка КР предъявляет высокие требования к организациям, занимающмися их созданием. К ним относятся: наличие достаточных финансовых и материальных ресурсов, высоко квалифицированный персонал, хорошо развитая инфраструктура, поддержка Министерством здравоохранения и другими заинтересованными организациями, в т.ч. профессиональными врачебными ассоциациями. Формальный (стандартизованный) процесс разработки КР положительно отражается на их качестве, позволяя значительно сократить временные и финансовые затраты их на создание. Кроме того, единый подход обеспечивает прозрачность процесса составления руководств (табл. 1). На практике, процесс составления, применения и пересмотра КР не должен рассматриваться как линейная последовательность, а как цикл взаимосвязанных действий.

Таблица 1

Этапы разработки КР в Узбекистане

(адаптировано из SIGN 50)

1. Организация процесса создания КР

2. Выбор темы КР

3. Организация рабочей группы по созданию КР

4. Поиск существующих клинических руководств и оценка их качества

5. Дополнительный поиск доказательств

6. Критическая оценка и обобщение доказательств

7. Формулировка рекомендаций и составление текста КР

8. Консультации и внешнее рецензирование КР

9. Апробация КР

10. Утверждение КР в Минздраве Республики Узбекистан

11. Публикация и распространение КР

12. Внедрение КР в практику

13. Мониторинг эффективности внедрения (аудит)

14. Пересмотр и обновление КР

Организация процесса составления КР в Узбекистане

Реализация Государственной программы реформирования системы здравоохранения Республики Узбекистан в части повышения качества медицинской помощи вызвала необходимость создания специальной структуры для работы в области доказательной медицины. В 2003 году при Ташкентском институте усовершенствования врачей был организован Центр доказательной медицины. Одним из приоритетных направлений деятельности ЦДМ служит создание Национального банка клинических руководств, разработанных на принципах доказательной медицины.

Создание КР трудоемкий процесс, который требует длительного времени. Сроки их разработки могут варьировать в зависимости от: изучаемой темы (ее сложности), объема информации, относящейся к теме литературы, которая должна быть критически оценена, количества консультаций (с национальными или международными экспертами), продолжительности предварительного теста (апробации) КР, а также времени, необходимого на утверждение КР Министерством здравоохранения и загруженности членов рабочей группы.

С учетом вышесказанного, и на основании собственного опыта, разработка клинического руководства занимает в среднем от 12 до 24 месяцев. Выполнение большого объема работ в более короткий срок представляется затруднительным, так как этот процесс связан с исчерпывающим поиском научной литературы, оценкой найденных научных фактов и организацией необходимого количества рабочих встреч экспертов, привлеченных в рабочую группу. Затягивать процесс создания КР более чем на 18-24 месяца не рекомендуется, поскольку за это время могут появиться новые научные факты, которые возможно потребуют корректировки уже готовых рекомендаций. Наш опыт показывает, что группа по разработке КР должна собираться не реже одного раза в 2-3 месяца.

Определение темы КР

Опыт ЦДМ ТашИУВ и других составителей клинических руководств показывает, что на выбор темы КР влияет множество факторов. Новозеландский консультативный комитет по разработке КР подчеркивает, что КР должно быть посвящено конкретной медицинской проблеме и, что «должна присутствовать уверенность в возможности и желательности изменений, а также в улучшении качества медицинской помощи и/или клинических исходов при практическом применении руководства». Кроме того, необходимо располагать надежными доказательствами эффективности вмешательств, на которые будут опираться рекомендации.

Темы будущих КР отбираются с учетом важности социальных, медицинских и экономических проблем, связанных с тем или иным заболеванием; различий по подходам к лечению и возможностей для улучшения клинических исходов. Тема КР должна затрагивать те области медицины, где оно действительно может улучшить качество медицинской помощи. Для отбора наиболее важных тем, по которым будут разрабатываться КР, предлагается использовать следующие критерии:

• отсутствие единого взгляда на диагностику, профилактику и лечение заболеваний, подтверждаемое различиями в подходах к лечению и его результатах;

• наличие доказанных эффективных методов лечения, способных привести к снижению смертности и частоты развития осложнений;

• наличие вмешательств, связанных с повышенным риском возникновения ятрогенных осложнений;

• внедрение КР будет приемлемо как с финансовой точки зрения, так и учитывая материально-технический уровень здравоохранения Узбекистана;

• на момент создания рекомендаций, в Узбекистане еще не существует КР, основанных на ДМ, по данной теме.

Выбор темы КР проводится, совместно руководством Министерства здравоохранения Узбекистана, членами Республиканской рабочей группы по повышению качества медицинской помощи, профессиональными медицинскими ассоциациями, сотрудниками ЦДМ, и, возможно, при участии заинтересованных международных организаций. До начала разработки клинического руководства, рабочая группа должна определить цель КР, круг рассматриваемых в нем проблем, а также требования, предъявляемые к конечному продукту его заказчиками.

Формирование рабочей группы по созданию КР

Современные КР представляет собой мультидисциплинарный продукт, поэтому вовлечение в процесс разработки представителей всех ключевых и заинтересованных специальностей, а также пациентов является одним из наиболее важных аспектов их создания.

В рабочей группе должны быть представлены врачи всех специальностей, которые будут использовать клиническое руководство. КР не должны составляться только учеными и старшими специалистами, изолированными от повседневных проблем лечения пациентов, поскольку если КР не находит отражения в повседневной работе большинства врачей, она так и будет оставаться недостижимым золотым стандартом. Доказано, что соотношение специалистов различных специальностей в группе разработчиков оказывает существенное влияние на содержание рекомендаций. Включение в группу составителей КР, представителей различных специальностей позволяет гарантировать, что:

• включены представители всех медицинских специальностей, которые принимают участие во всех этапах лечения больного;

• выявлены и критически оценены все относящиеся к теме научные доказательства;

• выявлены и рассмотрены проблемы практического применения КР;

• заинтересованные группы будут рассматривать КР как надежный инструмент вмешательства, в создании которого они сами принимали участие, что повышает вероятность того, что они станут сотрудничать при внедрении и применении КР.

В зависимости от темы размер группы может варьировать, но обычно включает от 10 до 20 человек. Должен быть достигнут компромисс между необходимым количеством организаций и специалистов и оптимальным составом группы, необходимым для эффективной работы. Необходимо также убедиться, что в группу вошли представители всех регионов, где будет использоваться КР.

Для выявления экспертов и возможности их участия в составе группы по созданию КР необходимо проведение консультаций со всеми заинтересованными ведущими медицинскими учреждениями, Минздравом, научными обществами и профессиональными врачебными ассоциациями. Однако необходимо учитывать, что для разработки рекомендаций требуется вовлечение в рабочую группу:

1) специалистов с глубокими знаниями процессов организации медицинской помощи (организаторы здравоохранения);

2) специалистов, имеющие клинический опыт по теме разрабатываемого руководства (представители целевого звена здравоохранения);

3) консультантов — ведущих специалистов и региональных экспертов по разрабатываемой тематике и смежных дисциплин, клинических фармакологов, диетологов, ВОП, среднего медицинского персонала и др.

4) специалистов-методологов, имеющих навыки поиска, обобщения и критической оценки научной информации (доказательная медицина).

Мнение пациентов положительно сказывается на качестве КР. Больные могут выявить вопросы, которые не были учтены медицинскими работниками, и осветить те аспекты, в которых их видение проблемы отличаются от представлений врачей. Также пациенты могут убедиться в том, что КР посвящена основным интересующим их вопросам. Мнение представителей пациентов также необходимо при подготовке информационных листков, которые разрабатываются в едином пакете с КР.

Всем участникам рабочей группы следует в письменной форме сообщить о существующих финансовых взаимоотношениях с фармацевтическими компаниями, производителями медицинского оборудования или иными заинтересованными сторонами. Это могут быть платные научные консультации, исследовательские гранты, оплаченные поездки, выступления и прочее. Наличие конфликта интересов не означает автоматически, что участник рабочей группы будет необъективен или предвзят. Тем не менее, поскольку такой риск существует, конфликт интересов обязательно должен быть зафиксирован в документации, сопровождающей клиническое руководство. В ряде случаев коммерческая заинтересованность может быть серьезным препятствием для полноценного участия в рабочей группе. Такой участник может отказаться от участия в решении определенного круга вопросов, связанных с конфликтными интересами, что должно быть отражено документально. В противном случае наличие такого участника в группе разработки изначально подорвет авторитет документа.

Поиск существующих клинических руководств и их критическая оценка

Одной из главных задач КР является выбор наиболее эффективных вмешательств, которые характеризуются оптимальным соотношением минимального риска для больного и приемлемы как с точки зрения стоимости их внедрения, так и использования имеющихся ресурсов. Каждая отдельно взятая рекомендация в клиническом руководстве должна быть основана на самых надежных из существующих доказательств.

Как было отмечено ранее, процесс создания оригинального КР требует значительных затрат времени и сил. Однако, большая часть этой работы, как правило, уже проделана разработчиками аналогичных руководств из других стран, поэтому необходимость дублирования уже проделанной работы отпадает. Как правило, в качестве исходных документов для адаптации могут быть отобраны несколько существующих КР, разработанных различными независимыми группами специалистов. Это делает возможным использование разных разделов разных КР для адаптации в одном новом руководстве.

Прежде чем приступать к поиску и критической оценке публикаций, необходимо определить критерии их включения/исключения. Например, рабочая группа может принять решение работать только с руководствами, которые были созданы крупными и авторитетными разработчиками КР или с КР, которые были созданы (обновлены) не более 5 лет назад, или использовать в работе только те КР, которые широко обсуждались в рецензируемых журналах (BMJ, JAMA, NEJM, Lancet и др.).

После выбора критериев включения/исключения публикаций начинается систематический поиск всех доступных руководств. Систематический подход необходим для того, чтобы не пропустить ни одной из важных публикаций по избранной теме. На одном из первых заседаний, члены рабочей группы составляют список известных им КР, после чего приступают к систематическому поиску знакомых и еще неизвестных им руководств. Поиск начинается в международных базах данных КР, размещенных в Интернете. Все документы, опубликованные на этих ресурсах, подготовлены, одобрены, регулярно пересматриваются и обновляются советами экспертов государственных здравоохранительных организаций и профессиональных медицинских ассоциаций экономически развитых стран.

После проведенного поиска в электронных базах данных и отбора публикаций в соответствии с выбранными критериями включения/исключения, проводится критическая оценка качества (методологии и клинического содержания) найденных КР. Профессиональные и правительственные структуры должны убедиться в высоком качестве КР, прежде чем они смогут рекомендовать их для внедрения в практику.

Совокупный анализ качества учитывает целый ряд параметров: методологию, использованную при разработке КР, полноту содержания окончательного варианта рекомендаций, качество клинического содержания документа, а также факторы, связанных с применимостью и внедрением КР в практику.

Важно подчеркнуть, что работа по сбору и обобщению и критической оценке доказательств — отдельная задача, которая должна быть решена до того, как рабочая группа приступит к формулировке отдельных рекомендаций.

Достоверность и применимость найденных доказательств зависит от методологического качества научных исследований и характеристик групп больных, на которых проводились исследования. Сегодня в медицине существует консенсус относительно иерархии уровней доказательности научных исследований (табл. 2). Чем ниже вероятность возникновения систематической ошибки в исследовании, тем более надежны его выводы, и тем больший вес оно имеет при рассмотрении всего спектра доказательств по определенному вопросу.

Таблица 2

Иерархия доказательности в зависимости от дизайна

(для исследований эффективности вмешательств)

Дизайн (тип) исследования

Особенности протокола

Систематический обзор или мета-анализ

Заранее разработанный план поиска, оценки, отбора и обобщения данных из нескольких исследований (обычно из рандомизированых контрилируемых испытаний)

Рандомизированные контролируемые испытания (РКИ)

Пациентов случайным образом распределяют на группы вмешательства (исследуемое лечение) и контроля (стандартное лечение/плацебо), после чего оценивают различие в исходах между группами.

Псевдорандомизированное исследование

Распределение на группы производится не случайным образом (например, попеременное включение в разные группы, распределение в зависимости от дня недели или номера истории болезни).

Контролируемое исследование

Сравниваются исходы лечения между группами вмешательства и стандартного лечения (контроль), процедура рандомизации при распределении на группы на проводится.

Исторический контроль

Оцениваются исходы в группе вмешательства и сравниваются с исходами в аналогичных группах, ранее лечившихся в том же учреждении.

Когортное исследований

Заранее распределение на группы не проводится; сравниваются исходы у пациентов получивших новое и стандартное лечение.

Случай-контоль

Подбираются группы больных с определенным исходом заболевания и без него. Проводится ретроспективный сбор информации о характере проведенного лечения в этих группах.

Анализ временных рядов

Анализируется частота наступления определенных исходов в разные моменты времени до и после начала применения нового вмешательства.

Серия случаев

Наблюдение за исходами вмешательства в одной группе.

До и после вмешательства

Измеряются и сравниваются исходы в одной группе до и после вмешательства.

Разновидность клинического вопроса диктует оптимальный дизайн исследования. Так, систематический обзор рандомизированных клинических исследований — самый надежный источник доказательств эффективности лечебных или профилактических вмешательств. Достоверные ответы на клинические вопросы относительно надежности диагностических тестов или прогноза заболевания могут быть получены в исследованиях других типов (см. табл. 3).

Таблица 3

Разновидности клинических вопросов и соответствующие им оптимальные типы исследований

Клинический вопрос

Оптимальный тип исследования

Лечение

Рандомизированное контролируемое исследование[1]

Заболеваемость/распространенность

Одномоментное обследование популяции

Этиология/факторы риска

Когортное исследование

Прогноз

Когортное исследование

Диагностическая ценность теста

Одномоментное обследование с использованием случайной или последовательной выборки из популяции

Поиск ответов на клинический вопрос начинают с самых доказательных типов исследований, при отсутствии или недостатке информации переходят к поиску менее доказательных. Если для ответа на вопрос удается найти доброкачественный систематический обзор РКИ, то поиск прекращается, т.к. менее надежной информацией, даже если ее много, можно просто пренебречь.

Каждая из полученных статей анализируется двумя участниками проекта по созданию КР. В случае возникновения сомнений относительно степени доброкачественности публикации и целесообразности вынесения ее на рассмотрение рабочей группой, проводятся консультации с экспертами. Целью анализа публикаций является оценка их соответствия избранным ключевым разделам проблемы, а также критериям включения/исключения. Статьи, не отвечающие поисковым задачам, а также некачественные, с методологической точки зрения, отбрасываются.

Формулирование рекомендаций из существующих КР

После проведения поиска, критической оценки методологического и клинического качества существующих КР, рабочая группа должна принять решение о том, какие именно рекомендации из отобранных руководств войдут в окончательный вариант создаваемого документа. Вариантов может быть несколько:

1) включить все рекомендации из какого-нибудь одного КР без изменений;

2) адаптировать одно КР, исключив из него рекомендации, которые не могут быть применены в местных условиях или характеризуются низким уровнем доказательности;

3) адаптировать одно КР, исключив из него рекомендации, которые не могут быть применены в местных условиях или характеризуются низким уровнем доказательности, включив вместо них рекомендации, сформулированные в процессе дополнительного поиска литературы;

4) заимствовать лучшие рекомендации из нескольких КР, обобщив их в одно клиническое руководство;

5) заимствовать лучшие рекомендации из нескольких КР, обобщив их в одно клиническое руководство, добавив к ним рекомендации, сформулированные в процессе дополнительного поиска литературы;

Применимость адаптируемых КР к местным условиям

Ниже приводятся основные факторы, требующие рассмотрения при адаптации рекомендаций к условиям Узбекистана:

1. ОСОБЕННОСТИ ПОПУЛЯЦИИ. Рабочая группа должна решить, существуют ли биологические механизмы, которые в условиях Узбекистана могут повлиять на значимость различных диагностических тестов, на лечение в иной степени, чем в популяции, на которой проводилось исследование. Например, в популяции Узбекистана может быть иной исходный уровень риска развития тех или иных заболеваний, поло-возрастной или этнический состав, чем в популяциях, для которых создавались адаптируемые руководства.

2. ОСОБЕННОСТИ ОКАЗАНИЯ МЕДИЦИНСКОЙ ПОМОЩИ. При рассмотрении рекомендаций найденных в зарубежных источниках следует учитывать финансовые возможности и материально-техническое состояние здравоохранения, наличие квалифицированного персонала и доступность лекарственных препаратов.

3. ОСОБЕННОСТИ КУЛЬТУРЫ И МЕНТАЛИТЕТА. В ряде ситуаций существующие культурные особенности могут служить барьером при разработке и адаптации зарубежных рекомендаций. Примером могут служить широкое распространение искусственного вскармливания в Западных странах или исследования в области сексуального поведения.

Зачастую адаптация имеющихся КР понимается разработчиками как изменение рекомендаций таким образом, чтобы они могли быть использованы в местных условиях. Как правило, это сопровождается изменением формулировки и смысла утверждения, что неизбежно влечет за собой отказ от научных фактов, на которых эта рекомендация базировалась. Вместе с тем, адаптация КР не должна включать в себя изменение рекомендаций, основанных на научно доказанных фактах, за исключением тех случаев, когда новые доказательства появились уже после выхода адаптируемого КР. Если формулировка рекомендации была все же изменена, рабочая группа должна дать этому четкое объяснение причин.

Формулирование рекомендаций после проведения дополнительного поиска литературы

При формулировании рекомендаций, основанных на дополнительном систематическом поиске, критической оценке и обобщении литературных данных, рабочая группа должна учитывать следующие моменты: количество доказательств в поддержку (или против) той или иной рекомендации, их качество, однородность, применимость, клиническую значимость, ресурсное обеспечение. На основании всех этих данных принимается взвешенное суждение о включении/исключении рекомендации в клиническое руководство и о присвоении им определенного уровня доказательности.

Уровни доказательности рекомендаций

Важнейшее свойство доброкачественных КР — связь между каждым утверждением и научными фактами. Каждой рекомендации при этом присваивают определенный «Уровень доказательности», чтобы можно было отличить более надежные от менее надежных утверждений. Решение о присвоении определенного уровня доказательности базируется на объективной оценке дизайна исследований и их качества, однородности результатов, применимости и клинической значимости. Важно отметить, что уровень доказательности рекомендации — это не ее ВАЖНОСТЬ для практики, а НАДЕЖНОСТЬ лежащих в ее основании научных фактов. Иными словами, уровень доказательности говорит о том, насколько вероятно достижение желаемого результата в случае применения рекомендации на практике.

Уровень доказательности рекомендации определяется следующими факторами:

1) тип (дизайн) исследования;

2) число исследований и количество включенных больных;

3) гетерогенность результатов (оптимально, когда все результаты однонаправленные);

4) клиническая значимость эффекта и его вариации (оптимально, когда доверительный интервал узок);

5) применимость (переносимость, обобщаемость) результатов исследования к интересующей популяции.

Из приведенного списка факторов видно, что уровень доказательности — понятие многомерное. Существуют разные шкалы уровней доказательности, в них придается разное значение отдельным из перечисленных факторов. Важно отметить, что невысокий уровень доказательности — не всегда свидетельство ненадежности рекомендации, зачастую это показатель того, что исследований необходимого уровня просто не проводилось.

Рекомендации, которые были заимствованы из КР, которые подверглись адаптации, принимаются с тем уровнем доказательности, с каким они были опубликованы изначально. В случае, если авторами зарубежных КР использовались другие шкалы уровней доказательности, то они (если это возможно) переводятся в систему измерений SIGN.

Формализованные методы принятия решений

В процессе обобщения данных, полученных из разных источников и формулирования рекомендаций рабочая группа по составлению КР должна принимать коллективные решения по ряду вопросов, которые нуждаются в достижении консенсуса — принятия соглашения на основе мнения, отражающего точку зрения большинства участников группы. Существует несколько систематических (формальных) методов принятия решений: Delfi; Rand, Техника номинальных групп, проведение совещания согласительной комиссии и др. К сожалению, в настоящее время не существует четких научных данных о том, какой метод и в каких обстоятельствах необходимо использовать. Каждый из перечисленных способов имеет свои преимущества и недостатки. В связи с этим удобно использовать гибриды нескольких методов. Так, ЦДМ ТашИУВ использует метод проведения Совещания согласительной комиссии (ССК), в который включены элементы Техники номинальных групп.

На ССК выносится полный черновой вариант руководства, однако особое внимание уделяется рекомендациям: с неявно обозначенным уровнем доказательности, противоречивым (если ответ не был найден в процессе дополнительного систематического поиска литературы), утверждениям, требующим адаптации к местным условиям и пр.

Целью проведения ССК служит создание окончательного варианта руководства, который бы отвечал следующим требованиям:

— текст КР должен представлять собой единое целое;

— в КР мнения всех участников рабочей группы должны быть учтены;

— в КР не должно остаться противоречивых, неясных и бездоказательных утверждений;

— в руководстве должны учитываться особенности оказания медицинской помощи больным на целевом этапе медицинской помощи.

Порядок работы совещания согласительной комиссии

В состав группы, принимающей участие в работе ССК, должны войти представители всех специальностей, сталкивающихся с избранной проблемой (как правило, члены рабочей группы по подготовке КР), в количестве от 9 до 12 человек. Включение большего числа участников может повлечь за собой серьезные разногласия и другие трудности в проведении. Перед проведением ССК все члены рабочей группы должны заполнить «Декларацию интересов».

Модернизированный метод ССК, проводимый ЦДМ ТашИУВ включает в себя несколько этапов: почтовую рассылку и личную встречу участников рабочей группы, на каждом из которых проводится оценка и обсуждение созданного КР.

1 этап. Предварительное голосование.

Черновые варианты рекомендаций и обосновывающие их доказательства рассылаются членам рабочей группы с тем, чтобы каждый участник ССК, независимо от других членов авторского коллектива, заполнил форму для голосования, обосновав в письменной форме свою позицию. Тайное голосование необходимо во избежание морального давления экспертов на менее опытных членов рабочей группы. Профессиональный статус участников рабочих групп тесно связан с величиной индивидуального вклада в текст окончательного документа. Очевидно, что профессора и профессиональные лидеры влияют в максимальной степени, в связи с этим существует опасность, что мнение обычных практикующих врачей не будет учтено. Поэтому «нетитулованным» участникам рабочей группы должна оказываться поддержка со стороны руководителя группы.

Каждая рекомендация оценивается по следующим пунктам:

1. Полнота, правильность и ясность формулировки;

2. Соответствие рекомендации доказательствам, на которых она основана;

3. Применимость рекомендации к местным условиям.

Для количественной оценки суждений используется визуально-аналоговая шкала (Likert scale) от 1 до 10, где 1 означает — полностью не согласен, 10 — полностью согласен. Полученные результаты предварительного голосования обобщаются с использованием специальных статистических программ, после чего выводится средняя оценка, данная экспертами каждой рекомендации.

2 этап. Повторное тайное голосование

Второй этап согласительной комиссии проводится под руководством эксперта методолога ЦДМ ТашИУВ или международного эксперта имеющего знания в области ДМ. На однодневном совещании согласительной комиссии оглашаются результаты предварительного голосования, по итогам которого формируются группы рекомендаций:

1) рекомендации, по которым разногласий не было выявлено;

2) рекомендации, применимость которых к условиям республики Узбекистан нуждается в дополнительном обсуждении;

3) рекомендации, вызвавшие разногласия в интерпретации;

4) рекомендации, для которых не существует доказательств, но которые адресованы важным аспектам скрининга, профилактики и лечения данного заболевания.

Если разногласий по тексту рекомендации не выявлено, то она автоматически принимается и на повторном голосовании больше не обсуждается. Если результаты предварительного голосования свидетельствуют о разногласиях, то проводится повторное обсуждение рекомендации, до принятия окончательной формулировки утверждения, после чего снова проводится тайное голосование с тем, чтобы выявить разногласия. Этот процесс повторяется необходимое число раз до достижения консенсуса рабочей группой. Процесс обсуждения и голосования стенографируется.

Предварительное тестирование клинического руководства

В процессе составления КР, команде разработчиков необходимо принять решение о способе и времени проведения предварительного тестирования созданного КР. Проведение претеста КР позволяет оценивать: соответствие клинических рекомендаций практическим условиям работы врачей, степень их удовлетворенности данным руководством, ясность и четкость изложения рекомендаций, их эффективность и безопасность, наличие материала для практического использования, который может облегчить последующее внедрение руководства в практику.

Перед проведением предварительного тестирования участниками рабочей группы проводится организация семинара с участием заинтересованных сторон: ответственных сотрудников Минздрава, разработчиков КР, местных и/или международных экспертов, специалистов целевого звена здравоохранения. На семинаре необходимо обсудить следующие вопросы:

• Цели и задачи предварительного тестирования КР;

• Вопросы качества медицинской помощи;

• Основы ДМ и необходимость разработки КР основанных на доказательной медицине;

• Методологию составления клинических руководств;

• План проведения предварительного тестирования и порядок заполнения анкет;

• Обсуждение возможных препятствий при проведении предварительного тестирования;

• Определятся продолжительность предварительного тестирования. Продолжительность проведения претеста зависит от темы КР. При этом врачам предоставляется возможность использования КР в практической деятельности не менее 1 месяца. После окончания тестирования участники заполняют анкеты, на основании результатов которых обсуждаются его результаты и содержания КР в целом на итоговой встрече. При необходимости, по итогам проведенного анкетирования и результатам финального обсуждения, разработчики КР вносят поправки и дорабатывают содержание КР.

Рецензирование КР

В качестве альтернативы или дополнения предварительному тестированию, КР должны пройти этап внешнего независимого рецензирования. Рецензенты не должны входить в группу разработчиков рекомендаций. В рецензировании должны участвовать специалисты по данной клинической проблеме и/или специалисты по методологии и/или практикующие врачи (представители профессиональных врачебных ассоциаций), которых просят высказать критические замечания по поводу полноты, тщательности и точности интерпретации доказательной базы, лежащей в основе рекомендаций. Польза от внешнего рецензирования заключается в том, что:

1) группа по созданию КР получает ценные отклики и предложения по дополнительным доказательствам для включения в руководство, а также по альтернативной интерпретации включенных доказательств;

2) участники обсуждения имеют возможность вносить вклад и влиять на форму окончательных вариантов рекомендаций, становятся сопричастными к процессу их создания, невзирая на географические и междисциплинарные границы, что в последующем облегчит практическое внедрение КР;

3) могут быть рассмотрены и обсуждены возможные барьеры для внедрения.

Процесс рецензирования должен быть документирован. Замечания и предложения рецензентов обсуждаются рабочей группой. Вместе тем, в случае если доказательная база рекомендаций более весома, чем мнение рецензента или более приемлема для применения в условиях целевого звена здравоохранения, члены рабочей группы, рассмотрев рецензии и сопоставив их результатами согласительной комиссии, могут отклонить предложения рецензентов.

Мировой опыт свидетельствует, что в процесс обсуждения качество окончательного документа значительно повышается и намного повышается вероятность практического внедрения разработанных КР.

Утверждение КР Минздравом Республики Узбекистан

По завершении всех описанных выше процедур, окончательный вариант клинического руководства необходимо официально утвердить в республиканском Минздраве. Это необходимо сделать до опубликования, распространения и внедрения КР в практическую деятельность. Окончательный вариант КР, официальное письмо от руководства ТашИУВ и ЦДМ ТашИУВ, обобщенные результаты согласительной комиссии и рецензии направляются на рассмотрение в Минздрав Республики Узбекистан для официального утверждения.

Опубликование, распространение и внедрение КР

Чтобы достичь основной цели — повышения качества медицинской помощи, КР должны быть подготовлены на хорошем методологическом уровне и успешно внедрены в практическое здравоохранение. Как показывает мировая практика, эффективное распространение и внедрение КР является наиболее важным условием повышения качества медицинской помощи. Для эффективного распространения и внедрения КР необходимо создание мультидисциплинарной команды, которая будет ответственна за этот процесс и должна включать в себя представителей всех заинтересованных сторон: представителей МЗ РУз, областные и районные отделы МЗ РУз, организаторов здравоохранения, ведущих специалистов и представителей рабочей группы по разработке КР, национальные и местные медицинские СМИ.

Стратегия распространения должна включать:

• подробно составленный план внедрения и распространения;

• определение специалистов вовлеченных в процесс распространения;

• определение целевой группы пользователей;

• определение потенциальных барьеров распространения;

• определение наиболее эффективных методов распространения КР, учитывая имеющиеся ресурсы;

• мониторинг эффективности внедрения.

Очевидно, что необходимо делать КР как можно более доступными для того, чтобы способствовать их внедрению. КР распространяются как в печатном, так и электронном виде для расширения потенциальной аудитории. Электронная публикация обычно содержит наиболее полную информацию, дешевле в распространении и может быть легко обновлена при необходимости. Было показано, что для изменения качества клинической практики распространение печатных рекомендаций малоэффективно; рекомендации более действенны, если они распространяются в ходе активных образовательных вмешательств и внедряются с помощью контрольных списков для практического осуществления вмешательств в конкретных клинических ситуациях/

Решение этой задачи требует не только организационных мероприятий, но и адекватного финансирования. ЦДМ ТашИУВ использует:

• проведение образовательных семинаров и участие в конференциях;

• распространение КР путем публикаций в наиболее популярных медицинских журналах (в том числе узкоспециализированных);

• распространение КР через областные и районные отделы здравоохранения;

• разработку кратких клинических руководств (система напоминаний) и распространение полных и коротких версий КР среди врачей целевых групп. При разработке КР разработчики ориентируются на удовлетворение потребностей разных групп конечных пользователей. Например, подготавливается несколько версий КР: полную — для специалистов, краткий вариант для публикаций в медицинских журналах, резюме для руководителей здравоохранения, брошюры для пациентов. КР распространяется внутри целевой группы, организаторов здравоохранения. В дополнение к этому разрабатывается наглядная схема, суммирующая ключевые положения КР (краткое КР/система напоминаний) для упрощения практического использования рекомендаций.

Как показывает мировая практика, внедрение КР — нелегкая задача. Решение ее часто требует не только организационных перемен, но и изменения менталитета медиков, характера устоявшихся отношений. К счастью, можно воспользоваться довольно солидным опытом других стран по части внедрения КР. В рамках Кокрановского Сотрудничества были обобщены результаты 44 систематических обзоров исследований, посвященных изучению разных внедренческих стратегий и приемов. Авторы исследования подчеркивают, что нет универсального рецепта. Каждая из стратегий внедрения работает при определенных условиях, лучше всего, когда используется сочетание методов. Стратегия внедрения должна быть приспособлена к локальным условиям и принимать в расчет потенциальные барьеры. Для успешного внедрения нужна мотивация и достаточный уровень ресурсов.

Мониторинг эффективности внедрения КР или аудит

Аудит — процесс, используемый для мониторинга качества в здравоохранении. Процесс разработки, распространения и внедрения КР требует проведение аудита, так как отслеживание ключевых показателей в динамике является элементом определения эффективности внедрения КР. Необходимо учитывать, что определение индикаторов качества и стандартов для проведения аудита является одним из главных компонентов разработки КР. Клинические индикаторы, должны базироваться на найденных доказательствах и использоваться в качестве критериев оценки эффективности применения КР. КР хорошего методологического уровня содержат индикаторы качества для того, чтобы медицинские учреждения в практической деятельности могли самостоятельно проводить мониторинг эффективности внедрения рекомендаций. Как правило, клинические стандарты определяют правильность проведения диагностического, профилактического, лечебного вмешательства или исходы заболевания. Стандарты могут быть минимальными, нормативными или выборочными. Индикаторы, определяющие исходы заболевания считаются золотым стандартом аудита.

Однако необходимо учитывать, что аудит, основанный на исходах заболеваний, обычно требует много времени. Поэтому, при проведении программ по улучшению качества наибольшее внимание уделяется мониторингу процесса оказания медицинской помощи по той или иной нозологии, особенно, если имеется достаточные доказательства того, что рекомендации имеют положительное влияние на исходы заболевания. Именно таким образом, рекомендации данные в КР выражают процесс или вмешательство которое должно привести к желаемому результату.

В процессе разработки КР, рабочая группа определяет основные индикаторы аудита, которые будут использованы проведения мониторинга эффективности внедрения КР. Изменение выбранных показателей с течением времени позволяет судить, насколько эффективно практическое внедрение КР, выявить существующие проблемы в оказании помощи в целевом звене здравоохранения или отдельно взятого лечебного учреждения. Существуют специальные руководства по методологии выбора индикаторов, способам сбора данных и их оценки. ЦДМ ТашИУВ в соей работе проводит мониторинг эффективности внедрения разработанных КР.

Обновление рекомендаций

Клинические руководства должны отражать результаты последних достижений медицинской науки, именно поэтому они требуют регулярного обновления по мере появления самых новых данных научных исследований. Современное КР должно иметь четкое положение о процедуре и времени предполагаемого обновления рекомендаций. Оптимальный временной интервал для обновления КР зависит от различных факторов, в особенности от клинической области. В некоторых разделах клинической медицины (кардиология, интенсивная терапия, онкология) появление новых данных происходит весьма интенсивно. В таких областях пересмотр основных рекомендаций необходимо проводить каждые 3-4 года. С другой стороны, есть области, в которых вполне допустим 5-летний интервал для обновления. Проще всего обновлять КР хорошего качества, созданные на основе тщательной методологической проработки. С этой целью, рабочая группа должна следить за появлением публикаций по теме и, в случае появления существенных нововведений, рассмотреть возможность обновления руководства.

Публикация подготовлена по материалам Руководства «Методология разработки и адаптации клинических практических руководств, основанных на доказательной медицине» (Ташкентский институт усовершенствования врачей, 2005).

Источник: журнал «Главный врач» 2011/11

 


[1] В ряде ситуаций проведение РКИ невозможно по практическим причинам (некоторые виды хирургических вмешательств), либо по этическим соображением (например, у детей).

Другие статьи по теме

•  Инструмент повышения качества медицинской помощи — информирует об эффективных и безопасных методах диагностики и лечения; способствует внедрению новых эффективных технологий; позволяет избегать необоснованных вмешательств.

•  Основа разработки индикаторов качества медицинской помощи (контроль).

•  Основа непрерывного медицинского образования (учебники и последипломное образование врачей).

•  Оптимизация расходов ресурсов за счет отказа от необоснованных вмешательств.

•  Основа экономических расчетов в здравоохранении (таблицы стоимости лечения, перечни госгарантий).

Клинические руководства (рекомендации) разрабатываются и утверждаются профессиональными медицинскими ассоциациями (обществами). Обычно они содержат: методы диагностики, классификацию, план и условия ведения больного (продолжительность лечения, этапы, длительность госпитализации и т.д.), алгоритмы ведения больного, уровни достоверности лечебных мероприятий и показания к назначению мероприятия, особенности лечения отдельных групп больных, схемы лекарственной терапии с дозами и другую информацию, необходимую врачу для принятия решений в различных клинических ситуациях.

Эти рекомендации предназначены врачам и организаторам здравоохранения, которые могут их использовать для разработки индикаторов качества и управления качеством лечебно-диагностического процесса, разработки типовых табелей оснащения, непрерывного повышения квалификации врачей, формирования объемов медицинской помощи в рамках государственных гарантий.

От клинических руководств (рекомендаций) следует отличать стандарты медицинской помощи, которые разрабатываются на

основе клинических рекомендаций и утверждаются Министерством здравоохранения и социального развития РФ. Они содержат объемы медицинской помощи (перечень мероприятий, их кратность, частота).

Эти стандарты предназначены организаторам и экономистам здравоохранения для управления объемами медицинской помощи и расчета тарифов (стоимость законченного случая).

Критериями качества клинических руководств являются:

1. Доверие. Их составителями должны быть признанные эксперты и представители многих субдисциплин.

2. Валидность. Они должны улучшать лечение и исходы заболевания.

3. Репрезентативность. Их составители должны быть независимой элитой.

4. Применимость в клинике и гибкость (должны касаться основных проблем и особых групп больных в соответствии с научными, медицинскими и экономическими критериями. Должны быть обозначены приоритеты при принятии решений).

5. Ясность (четкость). Следует избегать двусмысленности и неточностей.

6. Надежность. Одинаковая интерпретация различными специалистами в различных ситуациях.

7. Прозрачность. Должно быть описание процесса составления: имена экспертов и рецензентов, использование информации.

8. Запланированное обновление. Один и тот же председатель не должен быть более 2-х редакций, необходима частичная смена экспертов.

Доказательная сила рекомендаций оценивается в соответствии с их классом и уровнем доказательств.

Классы рекомендаций

Класс I. Доказательства и/или общее согласие, что данные методы диагностики/лечения — благоприятные, полезные и эффективные.

Класс II. Доказательства противоречивы и/или имеются противоположные мнения относительно полезности/эффективности лечения.

Класс II-а. Большинство доказательств/мнений в пользу полез- ности/ эффективности.

Класс II-б. Полезность/эффективность не имеют достаточных доказательств/определенного мнения.

Класс III. Доказательства и/или общее согласие свидетельствует о том, что лечение не является полезным/эффективным и в некоторых случаях может быть вредным.

Уровни доказательств

Уровень А. Доказательства основаны на данных многих рандомизированных клинических исследований или метаанализов.

Уровень Б. Доказательства основаны на данных одного рандомизированного клинического исследования или многих нерандомизированных исследований.

Уровень С. Согласованные мнения экспертов и/или немногочисленные исследования, ретроспективные исследования, регистры.

Самый высокий уровень рекомендаций — I, А.

Социально-экономические и юридические аспекты клинических руководств. Разрыв между современными возможностями медицины и доступными ресурсами быстро растет в основном за счет увеличения методов эффективной диагностики и лечения.

Руководства могут быть полезными и для врачей, и для населения, указывая минимальные допустимые стандарты. Неспособность обеспечить эти стандарты может иметь правовые последствия для тех, кто отвечает за их исполнение.

Задача врачей, готовящих руководство, — перевести результаты клинических исследований в клинические рекомендации. Поставить клинические рекомендации в экономический контекст конкретной системы здравоохранения — задача правительства и руководителей органов здравоохранения.

Клинические руководства не имеют формальной юридической силы, а являются инструментом, помогающим врачам сделать оптимальный терапевтический выбор. Однако они могут использоваться при решении вопросов о правильности лечения, в том числе и в суде.

Факт существования «Руководства… » или «Протокола… » для лечения конкретного состояния еще не означает, что следование ему будет правильным при различных ситуациях или неследование будет являться халатностью. В то же время, так как оказание помощи, основанной на руководствах, становится все более обычным, то

действие, не опирающееся на рекомендации «Руководства…», может поставить врача перед возможностью быть обвиненным в халатности, если он не сможет представить особые доказательства для данной ситуации.

Доказательная медицина не всеми воспринимается позитивно. Имеются и критики этого подхода.

Необоснованность критики клинических рекомендаций сторонниками индивидуализированного лечения состоит в следующем:

1. Рекомендации, как правило, оставляют достаточно широкое поле для маневра (например, рекомендации по лечению гипертонии дают возможность врачу самому выбрать препарат и комбинации препаратов из 7 существующих классов лекарственных средств в зависимости от конкретной клинической ситуации).

2. Рекомендации основываются на реальных фактах и исключают широкое использование неадекватных методов диагностики и лечения.

При этом надо иметь в виду, что клинические руководства относятся к «среднему» пациенту, а врач лечит индивидуального больного. Не следует переоценивать значение руководств и недооценивать знания и клинический опыт врача.

Руководства сами по себе хороши только для тщеславия их авторов, если они не внедряются в реальную клиническую практику. В то же время во всем мире существует большой разрыв между рекомендациями руководств и реальной клинической практикой.

Причины недостаточного использования руководств:

— врачи не знают об их существовании или не верят им, или не заботятся об их внедрении;

— врачи считают, что они перегружены руководствами;

— врачи придерживаются стратегий, основанных на суррогатных конечных точках или на результатах исследований, не имеющих статистическую силу;

— врачи полагаются на свой личный опыт и на впечатления, что данный терапевтический подход является наилучшим («импрессионистская медицина»);

— влияние экономических и социальных факторов (тем не менее руководства должны описывать наилучшие доступные доказательства, анализ стоимость/выгода должны проводиться руководителями здравоохранения).

Как улучшить внедрение клинических руководств:

1. Диссеминация руководств должна быть задачей профессиональных обществ. Они должны быть основой всех образовательных программ, проводимых профессиональным обществом.

2. Руководства должны быть важным источником непрерывного медицинского образования.

3. Необходимо взаимодействие специалистов, руководителей здравоохранения и, возможно, индустрии.

ЗАКЛЮЧЕНИЕ

Использование принципов доказательной медицины предполагает сочетание индивидуального клинического опыта и оптимальных доказательств, полученных путем систематизированного анализа клинических исследований. Поэтому не правы те, кто придерживается радикальных позиций, таких, как отрицание принципов доказательной медицины или придание абсолютного значения результатам клинических исследований.

Каждый врач, организатор здравоохранения, специалист в области общественного здоровья должны знать основные принципы доказательной медицины и использовать их в своей практической работе.

Все наши действия по лечению, профилактике заболеваний и укреплению здоровья должны основываться на принципах доказательной медицины, а не на мнении отдельных, даже выдающихся, ученых, общественных или политических деятелей.

Системы оценки достоверности научных доказательств и убедительности рекомендаций: сравнительная характеристика и перспективы унификации

Андреева Н.С., старший научный сотрудник отдела доказательной медицины, биостатистики и математического моделирования АНО «Национальный центр по оценке технологий здравоохранения», канд. биол. наук

Реброва О.Ю., профессор кафедры медицинской кибернетики и информатики ГБОУ ВПО РНИМУ им. Н.И. Пирогова, Москва, Россия, д-р мед. наук

Зорин Н.А., преподаватель курса доказательной медицины отдела аспирантуры ФГБУ НЦЭСМП Минздрава России, канд. мед. наук, доцент

Авксентьева М.В., руководитель отдела клинико-экономического анализа АНО «Национальный центр по оценке технологий здравоохранения», профессор кафедры общественного здравоохранения и профилактической медицины Первого Московского государственного медицинского университета им. И.М. Сеченова, д-р мед. наук

Омельяновский В.В., председатель Совета АНО «Национальный центр по оценке технологий здравоохранения», д-р мед. наук, профессорВведение

Одним из принципов доказательной медицины (ДМ) является положение о том, что принятие решений о применении тех или иных медицинских технологий должно быть основано на комплексном анализе всех имеющихся научных доказательств их эффективности и безопасности, а не на мнении экспертов и личном клиническом опыте врачей. Это касается и разработки клинических руководств, которые должны соответствовать принципам ДМ, причем авторы руководств должны отчетливо излагать степень своей уверенности в достоверности научных доказательств и в обоснованности рекомендаций. Для обозначения степени уверенности в достоверности научных доказательств и в обоснованности клинических рекомендаций были созданы соответствующие системы оценок и уровней, получившие название «уровни достоверности доказательств» (levels of evidence) и «уровни убедительности рекомендаций» (grades of recommendation). Те и другие обозначаются обычно либо римскими цифрами, либо латинскими буквами и призваны информировать пользователей руководств (прежде всего, врачей, но также средних медицинских работников, менеджеров здравоохранения и пациентов) о степени научной обоснованности рекомендуемого варианта действий. Формализованный систематизированный подход к оценке достоверности доказательств эффективности медицинских технологий и убедительности рекомендаций способствует предотвращению ошибок в суждениях, их критическому восприятию и распространению среди специалистов в области здравоохранения [10].

В настоящее время римские цифры и латинские буквы, обозначающие достоверность доказательств и убедительность рекомендаций, включаются и в руководства, подготовленные и/или изданные в России. При этом не все врачи осознают, что до сих пор отсутствует единая система их оценки, а зачастую и смысл процесса, предшествующего расстановке цифр и букв, остается неясным. Как следствие, представления о том, что подразумевается под «убедительными доказательствами» и доказательствами, «основанными на лучших научных данных», в руководствах существенно варьируют. Специалисты, пытавшиеся в последние годы вдумчиво использовать упомянутые системы оценки, сталкиваются со значительными трудностями, связанными с отсутствием единых подходов к формированию таких систем.

Целью данного обзора было проанализировать системы оценки достоверности научных доказательств и убедительности рекомендаций, разработанных и используемых в настоящее время за рубежом; результаты проведенного анализа могут помочь созданию аналогичных систем оценки в России.

Основные термины и понятия

Уровни достоверности доказательств (УДД) отражают степень уверенности в том, что найденный эффект от применения медицинской технологии является истинным. Согласно эпидемиологическим принципам, достоверность доказательств определяется по трем основным критериям: по качественной и количественной характеристикам и по согласованности доказательств (вставка) [1, 2]. Качественная характеристика доказательств (quality) — это сводный показатель методологического качества всех доступных исследований, отвечающих на поставленный клинический вопрос (например, какова эффективность применения конкретной медицинской технологии). Под методологическим качеством исследования подразумевают степень, с которой дизайн исследования, методы его проведения и анализа данных предупреждают возникновение и минимизируют влияние систематических и случайных ошибок, способных привести к искажению истинного размера эффекта и, соответственно, снизить достоверность результатов. Важным является понятие иерархии дизайнов исследований, отражающее тот факт, что одни типы дизайнов подвержены более сильному влиянию систематических ошибок, чем другие, и, следовательно, результаты таких клинических исследований заведомо обладают меньшей достоверностью. На данный момент доказано, что наибольшей достоверностью обладают результаты рандомизированных клинических исследований (РКИ), а также их систематических обзоров и метаанализов.

  • Критерии оценки достоверности доказательств
  • Качественная характеристика доказательств: сводный показатель методологического качества всех доступных исследований.
  • Количественная характеристика (объем) доказательств: размер эффекта, количество исследований, суммарный размер выборки пациентов.
  • Согласованность доказательств: степень совпадения результатов различных исследований.

Для определения методологического качества исследований используют различные системы оценки, в основном это вопросники или шкалы, разработанные для отдельных типов дизайна клинических испытаний. В 2002 г. исследователи Американского агентства по проведению и оценке качества исследований в области здравоохранения (AHRQ) в результате систематического поиска нашли 20 систем оценки методологического качества, используемых для систематических обзоров, 49 систем для РКИ и 19 для обсервационных исследований [2]. В настоящее время не существует единой, всеми принятой системы для оценки методологического качества исследований. При этом уровень методологического качества одних и тех же исследований может меняться в зависимости от того, какая шкала или вопросник были использованы для оценки. Например, Juni с соавт. сравнили 25 разных шкал для оценки методологического качества РКИ, изучавших эффективность низкомолекулярного и стандартного гепарина в предотвращении послеоперационного тромбоза, и продемонстрировали, что исследованиям с высоким методологическим качеством, определенным по одной шкале, может быть присвоено низкое методологическое качество при использовании других шкал [11].

Количественная характеристика, или объем доказательств (quantity) зависит от трех составляющих:

  • размер (величина) эффекта;
  • количество исследований;
  • суммарный размер выборки пациентов в исследованиях.

Теоретически чем больше размер эффекта, тем ниже вероятность того, что возникшие при проведении исследования систематические и случайные ошибки могли привести к получению ложного результата. Очевидно также, что чем больше количество исследований (если только они высокого методологического качества), тем выше достоверность наблюдаемого эффекта. Кроме того, чем больше величина суммарной выборки пациентов, тем уже доверительный интервал для оценки эффекта и, следовательно, выше точность этой оценки. Таким образом, количественная характеристика доказательств определяет степень уверенности в том, что наблюдаемый эффект был не случайным, а вызванным воздействием изучаемого вмешательства.

Согласованность доказательств (consistency) демонстрирует степень совпадения результатов различных исследований, посвященных изучению эффективности одной и той же медицинской технологии (проведенных в разных популяциях, с одинаковым или различным дизайном). Высокая степень совпадения результатов разных исследований говорит о том, что полученный эффект является воспроизводимым, и это повышает степень достоверности результатов.

Таким образом, оценка достоверности доказательств начинается с оценки методологического качества отдельных исследований и совокупности исследований и дополняется оценкой количественных характеристик и согласованности доказательств. При этом оценка достоверности доказательств является хотя и обязательным, но недостаточным условием для вынесения клинических рекомендаций. Клинические рекомендации характеризуются как разработанные с помощью систематизированных методов положения, целью которых является содействие практикующим врачам и пациентам в выборе целесообразного метода лечения в конкретных клинических обстоятельствах. Исходя из этого определения, экспертные группы, отвечающие за составление рекомендаций, должны явным образом учитывать не только достоверность доказательств, но и ряд дополнительных факторов: соотношение между пользой и вредом от применения медицинской технологии, обобщаемость доказательств (распространение доказательств эффективности на конкретные популяции больных и условия клинической практики), ценности и предпочтения пациентов, стоимость лечения [3,4]. Уровни убедительности рекомендаций (УУР), в отличие от УДД, отражают не только степень уверенности в достоверности эффекта вмешательства, но и степень уверенности в том, что следование рекомендациям принесет больше пользы, чем вреда в конкретной ситуации.

Рис. 1. Процесс разработки клинических руководств от оценки методологического качества исследований до формирования клинических рекомендаций через оценку достоверности доказательств (адаптировано из [2]).

На рис. 1 изображен процесс разработки клинических руководств от оценки методологического качества исследований до формирования клинических рекомендаций через оценку достоверности доказательств. Этапы определения достоверности доказательств и составления рекомендаций должны проводиться последовательно, но лучше отдельно друг от друга с присвоением отдельного УДД и отдельного УУР. Несмотря на то что высокий УДД в большинстве случаев ассоциируется с высоким УУР, доказательства с определенным УДД не всегда подразумевают точно такой же УУР. Например, в высококачественных РКИ было продемонстрировано, что продолжительный прием оральных антикоагулянтов приводит к снижению риска возникновения повторного тромбоза у пациентов с тромбозом глубоких вен в анамнезе. Однако продолжительный прием антикоагулянтов также ведет к повышению риска развития кровотечений, возникновению необходимости в регулярном контроле показателей свертываемости крови и появлению дополнительных затрат на лечение [18-21]. В результате для части пациентов преимущество от применения антикоагулянтов будет нивелироваться недостатками лечения, и выбор пациентов (принимать или не принимать антикоагулянты) будет неоднозначным. Следовательно, рекомендации, предлагающие продолжительное применение оральных антикоагулянтов для всех пациентов, скорее всего, будут иметь низкую степень убедительности, несмотря на высокую степень достоверности доказательств [12, 22].

История развития систем оценки уровней достоверности доказательств и убедительности рекомендаций

Первая концепция уровней достоверности доказательств и убедительности рекомендаций была представлена в 1979 г. Канадской рабочей группой по профилактической медицине (Canadian Task Force on the Periodic Health Examination) [5]. С тех пор были созданы и использованы на практике многочисленные системы по оценке качества и достоверности доказательств и убедительности рекомендаций. При этом разработкой и внедрением новых систем занимались не только крупные ассоциации по оценке медицинских технологий, но и многие специализированные медицинские сообщества. В 2002 г. при выполнении систематического обзора американским агентством AHRQ было найдено 40 имевшихся на тот период подходов к оценке достоверности доказательств [2]. В продолжение данной работы канадская рабочая группа COMPUS (Canadian Optimal Medication Prescribing and Utilization Service) дополнила этот список еще 10 методами оценки достоверности доказательств, появившимися за период с 2000 по 2005 гг. [6]. С годами происходило постепенное усложнение принципов оценки достоверности доказательств. Только 30 % систем оценки (7 из 23), опубликованных до 2000 г., в той или иной степени учитывали как качественную и количественную характеристики, так и согласованность доказательств; среди систем оценки, опубликованных с 2000 по 2002 гг., уже 82 % (9 из 11) систем рассматривали все три фактора [2]. Кроме того, если в ранних системах оценки качество доказательств зависело только от положения исследований в иерархии дизайнов, то в настоящее время определение методологического качества каждого из исследований является обязательным компонентом оценки. В процессе развития методов этой оценки позднее всех остальных критериев стали учитывать согласованность доказательств [2].

Из 40 систем оценки, проанализированных в 2002 г. американским агентством AHRQ, только 12 систем (30 %) были созданы не для написания клинических рекомендаций, а исключительно в качестве инструмента доказательной медицины для проведения систематического анализа достоверности данных. Большая часть систем объединяли оценку достоверности доказательств с оценкой убедительности рекомендаций [2]. Первая шкала УУР, разработанная Канадской рабочей группой по профилактической медицине в 1979 г., была представлена вместе с УДД и основана в первую очередь на оценке достоверности доказательств, однако авторы уже в то время отметили возможность понижения степени уверенности рекомендации в зависимости от «бремени страданий», вызванных вмешательством [5].

На данный момент существование большого количества разных шкал УДД и УУР приводит в замешательство как работников здравоохранения, принимающих решения, так и практикующих врачей, а, следовательно, снижает качество медицинского обслуживания пациентов. Беспорядок усугубляется использованием в разных шкалах различных обозначений уровней: с помощью букв (A, B, C и т.д.), чисел (I, II, III и т.д.) или их комбинаций (Ia, Ib, IIa и т.д.). Например, при оценке целесообразности назначения антивирусной терапии пациентам с острым гепатитом С для достижения клиренса вирусной РНК присвоенные УУД и УУР были обозначены как 1+ и A (SIGN, 2006 г. [7]), В и I (American Association for the Study of Liver Diseases, 2009 г. [8]), В и 2 (European Association for the Study of Liver, 2011 г. [9]). Очевидно, что в сложившейся ситуации системы уровней в том разнообразии, которым они представлены сейчас, не способны выполнять возложенную на них функцию: кратко и оперативно информировать о достоверности доказательств эффективности медицинских технологий и об убедительности рекомендаций. Все большее число соответствующих международных организаций признает необходимость введения единого подхода к оценке достоверности доказательств и убедительности рекомендаций.

В России еще в конце 1990-х годов было признано необходимым при разработке отечественных клинических руководств использовать принципы доказательной медицины и опираться только на результаты методологически строгих исследований [23, 24]. Однако в значительной части современных отечественных клинических руководств приводятся положения, не обоснованные научными доказательствами, а системы оценки достоверности доказательств и убедительности рекомендаций остаются в России невостребованными и неразвитыми [17]. Большинство врачебных сообществ и ассоциаций предпочитает опираться в своей практике на уровни достоверности доказательств и убедительности рекомендаций, взятые из зарубежных клинических руководств, зачастую забывая о необходимости их адаптации к условиям реальной практики в России. Основными причинами, не позволяющими напрямую использовать зарубежные руководства и результаты зарубежных клинических исследований, являются: популяционные различия между контингентами больных; несопоставимость условий лечения в лечебных учреждениях; различия факторов риска, тяжести течения и исходов заболевания; различия в затратах на лечение и распределении бюджета здравоохранения; отличия в подготовке медицинских специалистов [17]. С развитием в России доказательной клинической медицины, с увеличением числа высококачественных отечественных клинических исследований, с возрастающей ролью анализа эффективности затрат на лечение в условиях рыночной экономики неизбежно будет расти потребность в совершенствовании и использовании инструментов оценки достоверности доказательств и убедительности рекомендаций.

Характеристика систем оценки достоверности доказательств и убедительности рекомендаций

Для сравнительного анализа, представленного в настоящем обзоре, были выбраны наиболее известные системы оценки достоверности доказательств и убедительности рекомендаций: SIGN, OCEBM, GRADE, NICE и NHMRC. При анализе принципов оценки достоверности доказательств основное внимание было уделено трем основным критериям: качественная и количественная характеристики доказательств и согласованность доказательств. При анализе принципов оценки убедительности рекомендаций за основополагающие критерии были приняты: обобщаемость доказательств, соотношение между пользой и вредом от вмешательства, стоимость лечения, ценности и предпочтения пациентов, применимость рекомендаций в условиях национальной системы здравоохранения. Далее представлено краткое описание выбранных систем оценки (согласно последней версии, доступной в мае 2012 г.).

SIGN (SCOTTISH INTERCOLLEGIATE GUIDELINES NETWORK) [25]

Шотландская межколлегиальная организация по разработке клинических рекомендаций (SIGN) была основана в 1993 г. с целью формирования рекомендаций для национальной системы здравоохранения Шотландии. Клинические рекомендации SIGN предназначены для широкого круга работников здравоохранения и охватывают различные клинические области. Система SIGN в том виде, в котором используется сейчас, была принята в 2000 г.

Разработка клинических рекомендаций SIGN начинается с определения дизайна и методологического качества исследований, каждому из которых присваивается УДД (levels of evidence). Оценка методологического качества проводится с помощью вопросников, разработанных для каждого типа дизайна исследований (за основу были взяты вопросники MERGE Комитета по охране здоровья Нового Южного Уэльса, Австралия). Для предотвращения возможной предвзятости при оценке методологического качества каждое исследование проходит оценку по крайней мере двух независимых экспертов. Любые разногласия в оценке разрешаются в процессе обсуждения всей экспертной группой или приглашенным независимым экспертом. Оценка качества когортных и случай-контроль исследований осуществляется экспертами, обладающими опытом в соответствующей клинической области. Шкала УДД имеет 8 категорий, начинается с 1++ (наиболее достоверные доказательства: высококачественные систематические обзоры РКИ, РКИ с очень низким риском систематических ошибок) и заканчивается 4 (наименее достоверные доказательства: мнения экспертов).

После присвоения каждому из исследований УДД мультидисциплинарная экспертная группа переходит непосредственно к процессу формирования рекомендаций, который включает три этапа. На первом этапе принимается решение о сводном УДД для совокупности исследований (overall levels of evidence). При этом эксперты учитывают качественные и количественные характеристики доказательств, согласованность доказательств, обобщаемость результатов исследований и степень применимости доказательств к целевой популяции пациентов. Во время второго этапа эксперты должны прокомментировать и принять во внимание ряд факторов, связанных с выполнением рекомендаций: доказательства потенциального вреда от выполнения рекомендаций; объем ресурсов, требующихся для реализации рекомендаций; соотношение между преимуществами и недостатками рекомендуемых мер для отдельных подгрупп пациентов; практическая осуществимость рекомендаций. В результате, опираясь на сводный УДД и анализ возможных последствий применения рекомендаций, экспертная группа присуждает им один из четырех УУР (grades of recommendation): A, B, C или D. Эти уровни убедительности не отражают клиническую значимость рекомендаций, а показывают, с какой вероятностью при выполнении рекомендаций будет достигнут нужный клинический эффект. Поэтому на третьем этапе эксперты имеют возможность выбрать ключевую рекомендацию (key recommendation), которая, по их мнению, окажет наибольшее влияние на состояние здоровья и качество жизни пациентов. Кроме того, рабочая группа по составлению рекомендаций имеет право отметить так называемые «принципы надлежащей практики» (good practice points), необходимость соблюдения которых настолько очевидна, что не требует научных доказательств, т. е. их научное доказательство было бы абсурдным.

Несмотря на то, что экспертная группа предоставляет полное обоснование принятого решения, четких критериев для определения сводного УДД и УУР в системе SIGN не существует.

К сильным сторонам системы SIGN относится прозрачность процесса оценки методологического качества исследований по вопросникам с присвоением УДД каждому исследованию. В результате УДД для отдельных исследований являются хорошо воспроизводимыми, в отличие от сводных УДД и УУР, для определения которых не прописаны четкие критерии. В 2009 г. организация SIGN приняла решение перейти на систему оценки качества доказательств и убедительности рекомендаций GRADE. На сайте организации размещено положение об основных принципах оценки GRADE, которые SIGN планирует использовать в будущем [26].

OCEBM (OXFORD CENTER FOR EVIDENCE-BASED MEDICINE) [27-30]

Работа Оксфордского центра доказательной медицины (OCEBM) направлена на распространение и развитие принципов доказательной медицины. Шкала уровней УДД OCEBM, впервые представленная в 1998 г., была подвергнута ревизии в 2009 и 2011 гг. Последний вариант шкалы УДД (levels of evidence), как и все предыдущие версии, был создан в качестве инструмента, призванного помочь практикующим врачам и пациентам самостоятельно ориентироваться в быстро нарастающем объеме медицинских данных. Шкала УДД OCEBM представлена в нескольких вариантах, и выбор одного из них зависит от поставленного клинического вопроса, который может быть связан с распространенностью медицинской проблемы, эффективностью диагностического теста или скрининга, прогнозом заболевания, определением пользы или потенциального вреда от лечения. УДД присваивается отдельным исследованиям в первую очередь на основании дизайна. При этом не исключается возможность понижения уровня достоверности на основании неудовлетворительного методологического качества исследования, а также при неточности измерения эффекта, незначительном размере эффекта, гетерогенности результатов исследований или косвенности доказательств; с другой стороны, возможно повышение уровня достоверности при значительном размере эффекта. Однако конкретных критериев, насколько и в каких случаях должен быть снижен или поднят УДД, авторы системы оценки OCEBM не приводят. Шкала УДД OCEBM имеет 5 категорий; например, при оценке терапевтической пользы вмешательства УДД измеряется от 1 (наиболее достоверные доказательства: систематические обзоры РКИ или N-из-13 исследований) до 5 (наименее достоверные доказательства: имеется лишь обоснование механизма действия).

Система OCEBM не предусматривает оценку достоверности совокупности доказательств и убедительности рекомендаций. К сильным ее сторонам относятся простота в использовании и то, что в ней учтен весь спектр клинических вопросов, которые могут возникнуть перед врачом или пациентом в условиях реальной практики. Недостатком системы является отсутствие конкретных критериев для определения методологического качества исследований, а также для определения финального УДД. Однако сами авторы указывают на то, что данная система служит лишь дополнением к традиционным системам критической оценки доказательств и может быть использована врачами и пациентами лишь в качестве эвристического метода для быстрого поиска ответов на возникающие клинические вопросы.

GRADE (GRADING OF RECOMMENDATIONS ASSESSMENT, DEVELOPMENT AND EVALUATION) [31-45]

Система классификации и оценки качества рекомендаций GRADE была создана международной группой экспертов из различных ведущих организаций по оценке медицинских технологий, включая NICE, AHRQ, NHMRC. Рабочая группа GRADE сформировалась в 2000 г. как неофициальное объединение исследователей, заинтересованных в устранении недостатков имеющихся систем оценки. Система GRADE была разработана для написания систематических обзоров и вынесения рекомендаций, касающихся альтернативных подходов к лечению (в том числе отсутствия лечения и современных стандартов лечения). Данная система оценки применима для решения широкого спектра клинических вопросов, включая диагностику, скрининг, профилактику и терапевтическое лечение, а также вопросов общественного здравоохранения.

К особенностям системы GRADE относится классификация исходов лечения по степени их значимости для пациентов с использованием специально разработанной для этого шкалы. В классификации исходов выделяются (в порядке убывания значимости) критически важный (critical), важный (important) и маловажный (of limited importance) исходы. Достоверность доказательств и УДД определяются отдельно для каждого критически важного и важного исхода для совокупности исследований (рис. 2). Обоснованием такого подхода (ориентированного на исход) служит тот факт, что достоверность доказательств как для отдельного исследования, так и для совокупности исследований зависит от того, какой исход оценивается. Например, если в серии РКИ без «ослепления» определяли степень выраженности болевого синдрома и общую смертность, то очевидно, что результаты первого из этих двух исходов были более подвержены влиянию систематической ошибки, связанной с отсутствием «ослепления», и имеют более низкую достоверность доказательств.

УДД по системе GRADE включают 4 категории: высокий, средний, низкий и очень низкий уровни. По умолчанию, доказательства, основанные на результатах РКИ, относятся к высокому уровню достоверности, а доказательства, основанные на результатах обсервационных исследований, к низкому УДД. Однако выделяют 5 факторов, которые могут перевести достоверность доказательств на более низкий уровень, и 3 фактора, которые могут поднять достоверность доказательств на более высокий уровень.

К факторам, приводящим к понижению УДД, относятся:

1) риск возникновения систематических ошибок;

2) несогласованность результатов между исследованиями;

3) косвенность доказательств;

4) неточность определения размера эффекта;

5) публикационное смещение4.

К факторам, отвечающим за повышение УДД, относятся:

1) существенный размер эффекта;

2) дозозависимый эффект;

3) неучтенные вмешивающиеся факторы, исключение которых уменьшило бы размер найденного эффекта.

Рис. 2. Схематическое изображение процесса оценки достоверности доказательств и убедительности рекомендаций по системе GRADE (адаптировано из [36]).

В зависимости от степени выраженности перечисленных факторов достоверность доказательств может быть повышена/понижена на один или два уровня. В качестве заключительного шага при оценке достоверности доказательств определяется итоговая достоверность доказательств и сводные УДД, которые соответствует самым низким УДД, присвоенным в группе крайне важных исходов. Следует обратить внимание на то, что система GRADE не рассматривает и не оценивает опубликованные систематические обзоры и метаанализы. Это объясняется тем, что даже методологически безупречные систематические обзоры могут опираться на данные не только качественно проведенных исследований с совпадающими результатами, но и слабых исследований с высоким риском систематических ошибок и несопоставимыми результатами, вследствие чего достоверность выводов, сделанных в таком обзоре, будет низкой, несмотря на его высокое методологическое качество. Авторы системы GRADE предоставляют четкие критерии и подробные указания, необходимые как для оценки каждого из факторов, влияющих на достоверность доказательств, так и для присвоения УДД. Для определения методологического качества исследований авторы используют критерии оценки риска возникновения систематических ошибок, совпадающие с критериями Кокрановского сотрудничества.

УУР в системе GRADE отражает степень уверенности в том, что благоприятные эффекты рассматриваемого вмешательства в целом превосходят его нежелательные последствия. Решение о том, какой будет рекомендация («за» или «против» вмешательства) и какой уровень убедительности ей будет присвоен, принимает экспертная группа, отличная от рабочей группы, проводившей систематический обзор и оценку качества доказательств. Шкала УУР включает только две категории: сильная рекомендация (strong recommendation) и рекомендация слабой силы/условная (weak/conditional recommendation). Экспертная группа присваивает категорию сильной рекомендации в случае полной уверенности в том, что ожидаемая польза от применения вмешательства превосходит его нежелательные последствия. Категория условной рекомендации присваивается в случаях меньшей уверенности экспертной группы в благоприятном соотношении между ожидаемыми преимуществами и недостатками вмешательства.

При вынесении решения о степени убедительности рекомендаций экспертная группа рассматривает четыре ключевых фактора:

  • достоверность доказательств;
  • баланс между положительными эффектами и нежелательными явлениями;
  • ценности и предпочтения пациентов;
  • стоимость лечения.

Предполагается, что сильной рекомендации будут придерживаться практически все врачи и пациенты, обладающие полной информацией о вмешательстве; условной рекомендации будут придерживаться большинство врачей и пациентов, обладающих полной информацией о вмешательстве, но всё же значительная часть людей сделает альтернативный выбор. Условная рекомендация подразумевает также, что врачам следует более тщательно рассмотреть и учесть жизненные ценности и предпочтения пациентов, прежде чем рекомендовать им применение вмешательства.

К основным плюсам системы GRADE относятся прозрачность и четкая последовательность процесса оценки вмешательства, подробное описание критериев достоверности доказательств как для одного исхода, так и для совокупности исходов, требование полного обоснования всех принятых решений, учет клинической значимости рассматриваемых исходов. Ильной стороной системы GRADE является также применение символов и слов вместо букв или цифр для обозначения уровней достоверности доказательств и убедительности рекомендаций, что упрощает их восприятие. Однако для тех организаций, которые хотят сохранить буквенные и цифровые обозначения, авторы GRADE предлагают использовать буквы (от А до D) и цифры (1 и 2) для обозначения УДД и УУР, соответственно. Категоризация шкалы убедительности рекомендаций только на два уровня (сильная и условная рекомендации) тоже значительно облегчает восприятие рекомендаций и их применение в клинической практике.

Основной недостаток системы GRADE заключается в ее сложности и трудозатратности. В связи с этим было разработано бесплатное программное обеспечение GRADEpro с интуитивным интерфейсом, призванное упростить процесс оценки доказательств и составления рекомендаций.

NICE (NATIONAL INSTITUTE FOR HEALTH AND CLINICAL EXCELLENCE) [46]

Британский Национальный институт здоровья и клинического совершенствования (NICE) является независимой организацией, выпускающей клинические руководства, рекомендации по использованию медицинских технологий (результаты оценки медицинских технологий), рекомендации по применению интервенционных вмешательств, рекомендации в области здоровья населения (профилактика заболеваний и пропаганда здорового образа жизни). Принципы системы оценок, разработанных NICE, в последний раз были пересмотрены и опубликованы на сайте института в 2009 г.

В процессе оценки достоверности доказательств NICE использует элементы системы GRADE, в частности достоверность доказательств оценивается отдельно для каждого исхода, при этом учитываются все основные факторы, влияющие на достоверность доказательств и рассматриваемые в системе GRADE. Однако система NICE имеет несколько довольно значимых отличий от GRADE, а именно:

1) оценка методологического качества исследований производится с помощью вопросников, разработанных для каждого типа дизайна;

2) проводятся обзор и оценка методологического качества исследований «затраты-эффективность»;

3) не присваиваются сводные УДД и УУР;

4) для обозначения убедительности рекомендаций используются словесные формулировки.

Согласно требованиям NICE, при разработке рекомендаций принимаются во внимание следующие факторы: достоверность доказательств; клиническая значимость рассматриваемых исходов; баланс между положительными эффектами и нежелательными последствиями от вмешательства; соотношение между положительными эффектами и экономическими затратами; ряд дополнительных факторов (например, доступность вмешательства для пациентов вне зависимости от пола, национальности, расы, возраста, религии, инвалидности и т.п.). Для того чтобы процесс перехода от оценки достоверности доказательств к составлению рекомендаций был максимально прозрачным, рабочая группа NICE описывает каждый из указанных факторов с обоснованием вынесенных суждений в приложении к отчетному документу.

Система NICE различает три степени уверенности в целесообразности применения вмешательства:

  • вмешательство необходимо либо недопустимо использовать (must or must not be used);
  • вмешательство следует либо не следует (should or should not) использовать;
  • вмешательство может быть использовано (could be used).

Рекомендация, указывающая на необходимость вмешательства, подразумевает обязательное его применение во всех соответствующих случаях в целях соблюдения норм безопасности и правил, регулирующих оказание медицинской помощи. Рекомендация, согласно которой вмешательство следует использовать, означает уверенность рабочей группы NICE в том, что применение вмешательства принесет больше пользы, чем вреда, для подавляющего большинства пациентов и будет экономически выгодным. Если же в рекомендации говорится, что вмешательство может быть использовано, это означает уверенность экспертной группы в том, что применение вмешательства принесет больше пользы, чем вреда для большинства пациентов и будет экономически выгодным, однако имеются и альтернативные варианты лечения, которые тоже будут экономически выгодными, либо пациенты могут выбрать менее эффективное, но более дешевое лечение. В последнем случае выбор стратегии лечения будет зависеть от жизненных ценностей и предпочтений самих пациентов.

К сильным сторонам системы NICE относятся высокая воспроизводимость результатов оценки методологического качества исследований (за счет использования вопросников), учет клинической значимости рассматриваемых исходов, четкость и прозрачность критериев GRADE, используемых для оценки достоверности доказательств. Кроме того, авторы системы NICE совсем отказались от обозначения уровней убедительности рекомендаций, которая отражается только в словесных формулировках, что с одной стороны, облегчает использование рекомендаций на практике, но с другой стороны, может снижать эффективность их распространения между организациями и практикующими врачами.

NHMRC (NATIONAL HEALTH AND MEDICAL RESEARCH COUNCIL) [47-48]

Австралийский Национальный институт здравоохранения и медицинских исследований (NHMRC) несет ответственность за составление рекомендаций по трем направлениям: клиническая практика, этические аспекты медицинских вмешательств, здоровье населения. Последний вариант системы оценок NHMRC был разработан на основании трех систем оценки: SIGN, GRADE и SORT (Strength of Recommendation Taxonomy) — и опубликован в 2009 г.

Система NHMRC предлагает рассматривать 5 доменов, влияющих на достоверность совокупности доказательств: доказательная база, согласованность доказательств, клинический вклад, возможность экстраполяции результатов на целевую популяцию пациентов, применимость в условиях австралийской системы здравоохранения. Каждый домен оценивается по шкале A (очень хорошо), В (хорошо), С (удовлетворительно) и D (плохо) согласно четким критериям, оформленным в виде наглядной таблицы («матрицы»).

Первый домен «Доказательная база» учитывает дизайн и методологическое качество исследований, а также объем доказательств (число исследований и величину выборки пациентов). Сначала каждому исследованию присуждается соответствующий уровень в иерархии дизайнов исследований (структура иерархии дизайнов зависит от изучаемого клинического вопроса: терапевтическое вмешательство, диагностические методы, прогноз или этиология заболевания, методы скрининга). Например, при оценке терапевтических вмешательств на самом высоком уровне в иерархии дизайнов помещаются систематические обзоры РКИ, а на самом низком уровне — описания серии случаев. Далее каждое исследование проходит оценку методологического качества, при этом разработчики рекомендаций могут выбрать инструмент оценки на свое усмотрение. Авторы NHMRC дают ряд советов, какие вопросники лучше использовать при оценке методологического качества исследований в зависимости от дизайна и поставленного клинического вопроса (например, вопросник GATE рекомендуется для оценки исследований прогноза заболевания, вопросник SIGN или CASP — для оценки систематических обзоров и т.д.).

Таблица 1. Сравнительная характеристика систем оценки достоверности доказательств и убедительности рекомендаций

Признак SIGN OCEBM GRADE NICE NHMRC
Оценка достоверности доказательств
Качественная характеристика + + (нет четких критериев) + + +
Количественная характеристика + (нет четких критериев) +/- (нет четких критериев) + + +
Согласованность + (нет четких критериев) + (нет четких критериев) + + +
Итоговая оценка 1. УДД для отдельных исследований (8 уровней)

2. Сводные УДД (нет четких критериев)

1. УДД для отдельных исследований (5 уровней)

2. Нет сводного УДД

1. УДД для каждого исхода для совокупности исследований (4 уровня)

2. Сводные УДД для всех критически важных и важных исходов

1. УДД для каждого исхода для совокупности исследований (4 уровня)

2. Нет сводного УДД

Нет четкого понятия УДД; оценка совокупности доказательств по отдельным доменам: «Доказательная база», «Клинический вклад», «Согласованность доказательств»
Оценка убедительности рекомендаций
Соотношение между пользой и вредом + + + +
Обобщаемость доказательств + + + +
Стоимость лечения + + +
Ценности и предпочтения пациентов     +    
Применимость рекомендаций в условиях национальной системы здравоохранения +       +
Итоговая оценка УУР (4 уровня: А, В, С, D)   УУР (2 уровня: сильная и условная рекомендации) Нет УУР, но есть 3 степени уверенности в целесообразности использования вмешательства УУР (4 уровня: А, В, С, D)

Примечание.

Качественная характеристика: «+» — учитываются и дизайн, и методологическое качество исследований; «+/-» — учитывается только дизайн; «-» — не учитывается.

Количественная характеристика: «+» — учитывается хотя бы два из трех составляющих элементов (размер эффекта, количество исследований, суммарный размер выборки пациентов); «+/-» — учитывается только один из трех составляющих элементов; «-» — не учитывают.

Для всех остальных критериев «+» обозначает, что критерий учитывается при вынесении оценки, «-» — не учитывается.

Домен «Клинический вклад» включает оценку точности определения эффекта, его выраженности и клинической значимости для пациентов (в том числе по сравнению с альтернативными стратегиями лечения), а также учитывает соотношение пользы и вреда от применения вмешательства. На взгляд авторов системы NHMRC, оценка именно этого домена является наиболее субъективной и требует активного обсуждения всеми участниками рабочей группы по составлению рекомендаций.

В системе NHMRC не существует УДД, а каждая рекомендация сопровождается оценками каждого из 5 указанных доменов. Путем сложения этих оценок определяют УУР (A, B, C или D); градации УУР отражают степень достоверности доказательств, лежащих в основе рекомендации. Так, рекомендации с уровнем убедительности А или В основаны на доказательствах, которым можно доверять в клинической практике; к рекомендациям с уровнем С или D нужно подходить с определенной долей осторожности и с учетом конкретных обстоятельств. Рекомендации могут получить уровень убедительности А или В только при условии, что два первых домена «Доказательная база» и «Согласованность доказательств» также имеют оценки А или В.

К достоинствам системы NHMRC относится возможность наглядно оценить влияние каждого из 5 доменов на степень убедительности рекомендаций. Благодаря такому подходу различные работники системы здравоохранения могут в случае необходимости принимать собственные решения, придавая разный вес тому или иному домену в зависимости от конкретных задач, причем самых разнообразных — от составления рекомендаций по индивидуальной терапии пациента до принятия решения о возмещении расходов на лечение населению страны. К минусам данной системы нужно отнести отсутствие четкого разделения между процессами оценки достоверности доказательств и убедительности рекомендаций и отсутствие такого понятия как уровень достоверности доказательств.

Сравнительный анализ систем оценки достоверности доказательств и убедительности рекомендаций

Проведенный сравнительный анализ наиболее известных систем оценки достоверности доказательств и убедительности рекомендаций показал, что, несмотря на ряд существенных различий, все системы опираются на одни и те же основополагающие критерии оценки (табл. 1). При оценке достоверности доказательств каждая из рассмотренных систем учитывает три основополагающих критерия: качественную характеристику (дизайн и методологическое качество исследований), количественную характеристику, или объем (размер эффекта, количество исследований, суммарный объем выборки пациентов) и согласованность доказательств. Основным различием в оценке достоверности доказательств является принципиально разный подход к присвоению УДД: в одних системах УДД присваивается каждому отдельному исследованию (OCEBM, SIGN), а сводный УДД — совокупности исследований (SIGN); в других системах УДД присваивается совокупности доказательств из всех исследований для каждого отдельного исхода лечения (GRADE, NICE), а сводный УДД определяется как наиболее низкий УДД среди всех критичных и важных исходов (GRADE). В австралийской системе NHMRC вместо присвоения УДД выносится ряд оценок для отдельных доменов для совокупности доказательств. При этом данная система оценки — единственная из рассмотренных, в которой нет четкого разделения между оценкой достоверности доказательств и принятием решения об убедительности рекомендаций.

Все рассмотренные системы оценки, кроме OCEBM, предназначены для составления клинических руководств, и их конечной целью является определение УУР (SIGN, GRADE, NHMRC) или степени уверенности в целесообразности применения медицинского вмешательства (NICE). Система оценки ОСЕВМ, напротив, ограничивается оценкой достоверности доказательств и ставит перед собой цель помочь практикующим врачам и пациентам быстро и самостоятельно сориентироваться в существующих клинических исследованиях при поиске ответа на конкретный клинический вопрос.

Все рассмотренные системы (исключая OCEBM) при вынесении решения об убедительности рекомендаций опираются в первую очередь на оценку достоверности доказательств и на ряд одинаковых дополнительных критериев: соотношение между пользой и вредом от вмешательства, обобщаемость доказательств и стоимость лечения (последнее не относится к NHMRC). Авторы системы NHMRC не включили стоимость лечения в качестве критерия оценки убедительности рекомендаций, аргументируя это тем, что «готовность платить» у лиц, использующих рекомендации, будет сильно зависеть от конкретных обстоятельств [47]. Кроме одинаковых критериев оценки убедительности рекомендаций, авторы разных систем включают и некоторые дополнительные критерии, такие, как применимость рекомендаций в условиях национальной системы здравоохранения (SIGN, NHMRC), жизненные ценности и предпочтения пациентов (GRADE).

Следует отметить, что, несмотря на сложность и многоэтапность процесса оценки, ни одна из рассмотренных систем не может полностью исключить необходимости в вынесении суждений (зачастую субъективных) экспертами рабочей группы. Для того чтобы обеспечить максимальную прозрачность процесса оценки, все рассмотренные системы акцентируют внимание на подробном обосновании любого принятого решения, касающегося достоверности доказательств или убедительности рекомендаций.

Перспективы введения единой системы оценки достоверности доказательств и убедительности рекомендаций за рубежом

На данный момент в связи с постоянно нарастающим количеством различных клинических рекомендаций и увеличивающейся путаницей с их интерпретацией и применением на практике, назрела очевидная необходимость в унифицированном подходе к оценке достоверности доказательств и убедительности рекомендаций. Однако до сих пор исследователи и врачи не пришли к единому мнению о том, какой должна быть единая система оценки и нужна ли она. Наиболее важными причинами для введения единой системы оценки считаются: 1) уменьшение путаницы в понимании и использовании клинических руководств;

2) исключение возможности выбрать такую систему оценки, которая позволит присвоить наиболее высокий уровень достоверности доказательств и убедительности рекомендаций какому-то конкретному вмешательству [12]. Единственный существенный аргумент против введения единой системы оценки — это сомнения в том, что в рамках одной системы можно справиться с адекватной оценкой всего спектра рассматриваемых медицинских проблем, начиная с клинической эффективности вмешательств и заканчивая эффективностью функционирования системы здравоохранения. Предполагается, что если единая система оценки и будет создана, то, скорее всего, она окажется очень сложной [12].

Несмотря на существующие противоречия, все большее число международных организаций приходят к выводу о необходимости введения единой системы оценки. В настоящее время, пожалуй, самой распространенной и обсуждаемой становится система оценки GRADE, которая уже была адаптирована более чем 50 международными организациями, включая ВОЗ, Кокрановское сотрудничество, SIGN, NICE, AHRQ, Центры по контролю и профилактике заболеваний США (Centers for Disease Control and Prevention, CDC), многие европейские, американские и канадские профессиональные медицинские ассоциации (http://www.gradeworkinggroup.org/). Система GRADE в сравнении с другими системами оценки имеет ряд преимуществ. К ним относятся: классификация исходов лечения по значимости для пациентов; подробно разработанные критерии определения достоверности доказательств как для отдельных исходов, так и для совокупности исходов; прозрачность процесса вынесения суждений; простая классификация уровней достоверности доказательств и убедительности рекомендаций; использование формализованных таблиц для представления результатов оценки; доступность программного обеспечения GRADEpro.

В 2009 г. Cuello-Garcia с соавт. [15] обратились к международным экспертам по составлению клинических рекомендаций с предложением оценить 7 различных систем (GRADE, NICE, SIGN, OCEBM, SORT, CTFPH, USTFPS) по 4-балльной шкале Ликерта с точки зрения простоты использования, затрат рабочего времени и ресурсов, однозначности заключительных формулировок, полноты критериев определения достоверности доказательств (качественные и количественные характеристики, согласованность). По результатам опроса система GRADE наряду с системой NICE набрала наибольшее число баллов и была выбрана в качестве предпочтительной большинством экспертов [15]. В пользу системы GRADE говорят и результаты РКИ, в котором изучалось влияние клинических рекомендаций на принятие врачами решения о применении медицинского вмешательства на практике [16]. Данное РКИ было проведено на выборке педиатров из Мексики, которые были рандомизированы в четыре параллельные группы и должны были сделать выбор, касающийся применения рацекадотрила у детей с диареей, до и после ознакомления с клиническими рекомендациями. Врачам в разных группах давали для изучения клинические рекомендации, основанные на одной из четырех систем оценки (NICE, SIGN, GRADE, OCEBM). Результаты РКИ показали, что чаще всего отношение врачей к использованию рацекадотрила изменялось после прочтения клинических рекомендаций системы GRADE. Среди причин, по которым именно эти рекомендации оказали наибольшее влияние на мнение практикующих врачей, были выделены однозначность рекомендаций (сильная или условная рекомендации) и вызывающий доверие комплексный подход к процессу разработки рекомендаций.

Однако не стоит забывать, что несмотря на все возрастающую популярность и ряд преимуществ, система GRADE обладает и рядом недостатков, наиболее серьезные из которых — сложность в использовании и высокая трудозатратность; эти недостатки могут ограничить ее дальнейшее распространение.

Таким образом, в настоящий момент в мировом медицинском сообществе назрела необходимость в единой системе оценки достоверности доказательств и убедительности рекомендаций и даже наметилась тенденция к переходу на такую систему. Но, скорее всего, этот переход займет не один год, и станет ли этой системой именно система оценки GRADE, на данный момент остается неясным.

Перспективы развития системы оценки достоверности доказательств и убедительности рекомендаций в России

В России система оценки достоверности доказательств наиболее активно используется при составлении Перечня жизненно необходимых и важнейших лекарственных препаратов (ПЖНВЛП), а также ряда отечественных клинических руководств. Согласно последней доступной в 2012 г. версии «Положения о порядке формирования проекта ПЖНВЛП», представленного Министерством здравоохранения и социального развития РФ, в процессе формирования перечня проводится клиническая экспертиза вынесенных на рассмотрение лекарственных препаратов. При проведении клинической экспертизы главными внештатными специалистами Министерства анализируется качество каждого отдельного клинического исследования лекарственного препарата, после чего эффективность препарата оценивается по перечисленным ниже уровням убедительности доказательности (соответствуют уровням достоверности доказательств):

А — высокая достоверность, информация основана на результатах нескольких независимых клинических исследований с совпадением результатов, обобщенных в систематических обзорах;

B — умеренная достоверность, информация основана на результатах нескольких независимых рандомизированных и близких по целям клинических исследований;

C — ограниченная достоверность, информация об эффективности основана на результатах одного клинического исследования;

D — строгие научные доказательства отсутствуют, соответствующие клинические исследования не проводились, сведения об эффективности основаны на мнениях экспертов.

Критериями положительного заключения клинической экспертизы является присвоение уровня А или В. Очевидно, что такой подход к определению достоверности доказательств эффективности лекарственных препаратов при составлении ПЖНВЛП является сильно упрощенным по сравнению с рассмотренными в этом обзоре системами оценки, поскольку в процессе присвоения УДД недостаточно учитываются принятые в международной практике критерии достоверности доказательств, а именно качественная и количественная характеристики и согласованность доказательств.

Значительная часть составленных в России клинических руководств не опирается на систематический анализ научных доказательств [17]. Когда все же предпринимаются попытки использовать принципы доказательной медицины для обоснования рекомендаций, примененный подход часто не соответствует стандартам международной практики. Например, при составлении рекомендаций 2010 г. Российского респираторного общества «Внебольничная пневмония у взрослых: практические рекомендации по диагностике, лечению и профилактике» были использованы «категории доказательств» (табл. 2) [49]. «Категория доказательств» одновременно указывала как на достоверность доказательств, так и на убедительность рекомендаций. При оценке достоверности доказательств были учтены их качественные и количественные характеристики, однако не была учтена согласованность. При подготовке рекомендаций единственным критерием был уровень достоверности доказательств, т.е. ни один из дополнительных критериев (соотношение между пользой и вредом от вмешательства, обобщаемость доказательств, стоимость лечения, ценности и предпочтения пациентов) не рассматривался.

Таким образом, в отношении оценки достоверности доказательств и убедительности рекомендаций Россия отстает от развитых стран мира. Для внедрения таких инструментов доказательной медицины, как шкалы УДД и УУР, отечественные эксперты должны опираться на международный опыт общепризнанных институтов и ассоциаций по оценке медицинских технологий. При выборе системы оценки, которая будет адаптирована для использования в России, необходимо принимать во внимание уровень квалификации экспертов, временные затраты и затраты финансовых ресурсов, которые может себе позволить российская система здравоохранения. Необходим также анализ того, насколько выбранная система оценки будет соответствовать поставленным целям (будет ли это формирование перечней лекарственных препаратов или составление отечественных клинических руководств). Особого внимания при выборе системы оценки заслуживает система GRADE, поскольку на данный момент она является одной из наиболее полных, прозрачных и объективных систем оценки, а также главным кандидатом на место единой международной системы. Возможно, потребуется некоторая модификация системы в процессе ее адаптации к условиям, сложившимся в клинической практике и здравоохранении России. Однако авторы системы GRADE выступают против внесения в нее значительных изменений, поскольку иначе будет утерян смысл создания единой международной системы оценки.

Вне зависимости от того, какая система оценки получит распространение в России, важно осознавать, что целью эффективной и действенной системы оценки должно являться не полное исключение необходимости в использовании суждений, а в обеспечении прозрачности и логичности процесса оценки доказательств и вынесения рекомендаций. Ведь, несмотря на устоявшееся использование уровневого подхода в доказательной медицине, качество и достоверность доказательств, а также убедительность рекомендаций являются непрерывными категориями, и их разделение на уровни может несколько упрощать реальную ситуацию. С одной стороны, введение уровней способствует принятию оптимальных решений в здравоохранении, использованию и распространению клинических рекомендаций на практике. С другой стороны, по психологическим причинам наличие иерархии уровней в какой-то мере снимает с людей ответственность и освобождает от необходимости в размышлении и вынесении собственных суждений [29]. Уровни достоверности доказательств и убедительности рекомендаций ни при каких обстоятельствах, не должны быть использованы без тщательного обдумывания и анализа каждой конкретной ситуации [13, 14].

Таблица 2. Категории доказательств и их интерпретация, приведенные в клиническом руководстве «Внебольничная пневмония у взрослых: практические рекомендации по диагностике, лечению и профилактике» [49]

Категория доказательств Источник доказательств Определение
А Рандомизированные контролируемые исследования Доказательства основаны на хорошо спланированных рандомизированных исследованиях, проведенных на достаточном количестве пациентов, необходимом для получения достоверных результатов. Могут быть обоснованно рекомендованы для широкого применения
В Рандомизированные контролируемые исследования Доказательства основаны на рандомизированных контролируемых исследованиях, однако количество включенных пациентов недостаточно для достоверного статистического анализа. Рекомендации могут быть распространены на ограниченную популяцию
С Нерандомизированные клинические исследования Доказательства основаны на нерандомизированных клинических исследованиях или исследованиях, проведенных на ограниченном количестве пациентов
D Мнение экспертов Доказательства основаны на выработанном группой экспертов консенсусе по определенной проблеме

Литература:

1. Hill A. B. The environment and disease: association or causation? Proc R Soc Med. 1965; 58: 295-300.

2. Systems to Rate the Strength of Scientific Evidence. Evidence Report/Technology Assessment Number 47. Prepared for: Agency for Healthcare Research and Quality. AHRQ Publication No. 02-E016, April 2002, 199.

3. Canfield S. E., Dahm P. Rating the quality of evidence and the strength of recommendations using GRADE. World J Urol. 2011 Jun.; 29 (3): 311-317.

4. Guyatt G. H., et al. Going from evidence to recommendations. BMJ. 2008 May 10; 336 (7652): 1049-1051.

5. Canadian Task Force on the Periodic Health Examination: The periodic health examination. Can Med Assoc J. 1979; 121: 1193-1254. 

8. Ghany M. G., et al. Diagnosis, management, and treatment of hepatitis C: an update. Hepatology. 2009 Apr; 49 (4): 1335-1374.

9. European Association for the Study of the Liver., EASL Clinical Practice Guidelines: management of hepatitis C virus infection. J Hepatol. 2011 Aug.; 55 (2): 245-264.

10. Atkins D., et al. Grading quality of evidence and strength of recommendations. BMJ. 2004 Jun 19; 328 (7454): 1490.

11. Juni P., et al. The hazards of scoring the quality of clinical trials for meta-analysis. JAMA. 1999 Sep 15; 282 (11): 1054-1060.

12. Schunemann H. J., Fretheim A., Oxman A. D. Improving the use of research evidence in guideline development: 9. Grading evidence and recommendations. Health Res Policy Syst. 2006 Dec 5; 4: 21.

13. Howick J. The Philosophy of Evidence-Based Medicine. Oxford: Wiley-Blackwell; 2011. 248.

14. Haynes R. B., Devereaux P. J., Guyatt G. H. Clinical expertise in the era of evidence-based medicine and patient choice. ACP J Club. 2002 Mar-Apr; 136 (2): A11-14.

15. Cuello-Garcia C. A., Davalos-Rodriguez M. L. Perceptions and attitudes towards different grading systems from clinical guidelines developers. J Eval Clin Pract. 2009 Dec; 15 (6): 1074-1076.

16. Cuello-Garcia C. A., Pacheco Alvarado K. P., Perez Gaxiola G. Grading recommendations in clinical practice guidelines: randomised experimental evaluation of four different systems. Arch Dis Child. 2011 Aug; 96 (8): 723-728.

17. Власов В. В., Шварц Ю. Г. Проблемы составления и использования клинических рекомендаций и формуляров в России. Международный журнал медицинской практики, 2000; 11: 5-13.

18. Kearon C., et al. A comparison of three months of anticoagulation with extended anticoagulation for a first episode of idiopathic venous thromboembolism. N Engl J Med. 1999; 340: 901.

19. Campbell I. A., et al. Anticoagulation for three versus six months in patients with deep vein thrombosis or pulmonary embolism, or both: randomized trial. BMJ. 2007; 334: 674.

20. Kearon C., et al. Comparison of 1 month with 3 months of anticoagulation for a first episode of venous thromboembolism associated with a transient risk factor. J Thromb Haemost. 2004; 2: 743-749.

21. Agnelli G., et al. Three months versus one year of oral anticoagulant therapy for idiopathic deep venous thrombosis. N Engl J Med. 2001; 345: 165-169.

22. Balshem H., et al. GRADE guidelines: 3. Rating the quality of evidence. J Clin Epidemiol. 2011 Apr; 64 (4): 401-406. Epub 2011 Jan 5.

23. Воробьев П. А., Аксюк З. Н. Стандартизация и оценка качества медицинской помощи. Проблемы стандартизации в здравоохранении. 1999; 1: 8-15.

24. Воробьев П. А. Протоколы ведения больных — подходы к созданию. Проблемы стандартизации в здравоохранении. 1999; 1: 49-55.

25. SIGN 50. A guideline developer’s handbook. Scottish Intercollegiate Guidelines Network — Revised Edition, November 2011, 104 p. 

27. Dawes M. Putting evidence into practice. BMJ. 2011 Apr 11; 342: d2072. 

29. Howick J., et al. The 2011 Oxford CEBM Levels of Evidence (Introductory Document). Oxford Centre for Evidence-Based Medicine. http://www.cebm.net/index.aspx?o=5653

31. Canfield S.E., Dahm P. Rating the quality of evidence and the strength of recommendations using GRADE. World J Urol. 2011 29 (3): 311-317.

32. The GRADE working group. Grading quality of evidence and strength of recommendations. BMJ. 2004; 328: 1490-1494.

33. Guyatt G. H., et al. GRADE Working Group. Rating quality of evidence and strength of recommendations: Going from evidence to recommendations. BMJ. 2008 May 10; 336(7652): 1049-1051.

34. Guyatt G. H., et al. GRADE Working Group. Rating quality of evidence and strength of recommendations: What is «quality of evidence» and why is it important to clinicians? BMJ. 2008 May 3; 336 (7651): 995-998.

35. Guyatt G. H., et al., for the GRADE Working Group. Rating quality of evidence and strength of recommendations GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ. 2008; 336: 924-926.

36. Guyatt G. et al. GRADE guidelines: 1. Introduction — GRADE evidence profiles and summary of findings tables. J Clin Epidemiol. 2011 Apr; 64 (4): 383-94.

37. Guyatt G. H., et al. GRADE guidelines: 2. Framing the question and deciding on important outcomes. J Clin Epidemiol. 2011 Apr; 64 (4): 395-400.

38. Balshem H., et al. GRADE guidelines: 3. Rating the quality of evidence — introduction. J Clin Epidemiol. 2011 Apr;64(4):401-6.

39. Guyatt G. H., et al. GRADE guidelines: 4. Rating the quality of evidence — risk of bias. J Clin Epidemiol. 2011 Apr; 64 (4): 407-15.

40. Guyatt G. H., et al. GRADE guidelines: 5. Rating the quality of evidence — publication bias. J Clin Epidemiol. 2011 Dec; 64 (12): 1277-82.

41. Guyatt G. H., et al. GRADE guidelines: 6. Rating the quality of evidence — imprecision. J Clin Epidemiol. 2011 Dec; 64 (12): 1283-93.

42. Guyatt G. H., et al. The GRADE Working Group. GRADE guidelines: 7. Rating the quality of evidence — inconsistency. J Clin Epidemiol. 2011 Dec; 64 (12): 1294-302.

43. Guyatt G. H., et al. The GRADE Working Group. GRADE guidelines: 9. Rating up the quality of evidence. J Clin Epidemiol. 2011 Dec; 64 (12): 1311-6.

44. Guyatt G. H., et al. GRADE guidelines: 11. Making an overall rating of confidence in effect estimates for a single outcome and for all outcomes. J Clin Epidemiol. 2012. Apr 27. [Epub ahead of print]

45. Guyatt G. H., et al. GRADE guidelines: 12. Preparing summary of findings tables — binary outcomes. J Clin Epidemiol. 2012. May 18. [Epub ahead of print] 

47. NHMRC levels of evidence and grade of recommendations. 2009.

48. Hillier S., et al. FORM: an Australian method for formulating and grading recommendations in evidence-based clinical guidelines. BMC Med Res Methodol. 2011. Feb 28; 11: 23. 

49. Australian Government. (2009). NHMRC levels of evidence and grades for recommendations for developers of guidelines.

50. Российское респираторное общество, Межрегиональная ассоциация по клинической микробиологии и антимикробной химиотерапии. «Внебольничная пневмония у взрослых: практические рекомендации по диагностике, лечению и профилактике», Москва, 2010. 107 с.

Понравилась статья? Поделить с друзьями:
  • Афил 5 мг инструкция по применению
  • Мексиприм 125 мг инструкция по применению цена отзывы аналоги уколы
  • Дэнас пкм инструкция по применению скачать pdf
  • Вильпрафен инструкция по применению взрослым отзывы от чего помогает
  • Пепсин говяжий инструкция по применению для сыра