Методы контроля над систематическими ошибками

На этапе проведения исследования

Стандартизация методов сбора информации. Лишь на первый взгляд измерение выполняется просто. В действительности для получения не высококлассных, но даже обычных по точности и воспроизводимости результатов необходимо предпринимать значительные усилия для выработки правильного метода измерения и обеспечения правильного измерения всеми участниками исследования. Это относится не только к приборным измерениям, но и к измерениям, выполняемым с помощью опроса. Даже отлично разработанный и проверенный набор вопросов должен предъявляться опрашиваемым в стандартной обстановке, со стандартными вводными словами, поскольку отсутствие атмосферы приватности или выражение отношения к содержанию или форме вопросника способны изменить существенно отношение опрашиваемого к заданным вопросам. Невинная прибаутка, добавляемая интервьюером может улучшить отношение опрашиваемого к процессу, но радикально изменить его отношение ко всем или отдельным вопросам вопросника.

Поскольку обобщение результатов проведенных исследований (систематический обзор) представляет собою технологию дескриптивного исследования, в котором в качестве единиц анализа выступают не люди, а отдельные исследования, постольку систематический обзор весьма сильно подвержен всем смещениям, характерным для дескриптивных исследований. Основными приемами, которые позволяют минимизировать смещения в систематическом обзоре, являются получение максимально полного набора выполненных исследований. Поскольку никогда не известно, сколько исследований выполнено в действительности, единственное приемлемое решение – искать все исследования и получать данные из всех исследований. Как упоминалось выше, получить несмещенную выборку все равно невозможно, но минимизировать смещения – возможно.

Для того, чтобы избежать субъективности в оценках, выносимых по рентгенограммам, оценке текстов или собеседованиям (интервью), традиционно применяется прием повторной оценки одного и того же объекта разными людьми. Если это проводится без обеспечения независимости, то результаты таких повторных оценок будут искусственно согласованы. Например, если психиатр-консультант знаком с мнением коллег, уже исследовавших пациента, то мнение консультанта будет находиться под влиянием этого мнения и, в обычных обстоятельствах, согласовано с ним. Для обеспечения независимости всякая параллельная оценка должна проводиться без знания оценивающим результатов работы других специалистов. Например, независимая оценка рентгенограммы очень часто приводит к несогласию врачей, настолько часто, что врачи, никогда не принимавшие участия в такой работе, не могут этого себе представить – примерно в половине случаев.Это справедливо для оценок ЭКГ и всех других измерений.При изучении опубликованных статей обычно кажется ясным, что в них написано. Однако при выписывании из статей их результатов в таблицы для обобщения в систематическом обзоре оказывается, что два врача при чтении статей выписывают разные результаты! Существенные расхождения в извлечении содержания статьи возникают в каждом третьем случае. Лишь при целенаправленной тренировке – оценке статей и затем сравнении результатов – можно добиться того, что частота расхождений снижается примерно до 1/10.

 Метод ослепления (маскирование). Для того, чтобы сравниваемые результаты измерения были по-настоящему независимыми, специалисты, проводящие измерение, должны работать, не зная результатов работы друг друга до момента завершения каждого случая. По его завершении результаты должны сравниваться, и в случае обнаружения расхождения это расхождение преодолеваться. Для этого существуют специальные процедуры. Простейшая состоит в ознакомлении с результатами параллельной оценки и обсуждении расхождения. Если расхождение связано с тем, что один из участников процесса упустил некую информацию, деталь, то легко возникает согласованное мнение. В некоторых случаях этого недостаточно и разрабатывается процедура с приглашением третьего специалиста, который, например, знакомится со всеми результатами и выносит свое решение, или, в свою очередь, принимает участие в голосовании. Иногда эти правила принятия согласованного мнения могут быть более сложными.

Метод ослепления – основной метод создания одинаковых групп для сравнения и обеспечения одинакового ведения пациентов. Всякий раз, когда о пациентах известно хоть что-нибудь, то отношение к ним становится соответствующим. Это вытекает из самой природы человеческих отношений. С. Кункин. МАТЕМАТИЧЕСКИЕ МЕТОДЫ ОБРАБОТКИ ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ Мужчина и женщина, бедный и богатый, здоровый и больной не могут и не должны рассчитывать на то, что к ним будет совершенно одинаковое отношение. Эти особенности отношений не только создают «атмосферу», но и влияют на то, что делают медицинские и немедицинские специалисты. В изучении медицинских вмешательств идея о том, что сравнивать два вмешательства можно только в том случае, когда их применяли к одинаковым пациентам, уходит в прошлое по крайней мере на 200 лет. Беда заключалась в том, что в эти давние времена было неизвестно, что делать, если сравниваемые группы несравнимы. И сегодня врач, собрав данные о лечении пациентов одной болезнью разными методами, например, рентгеновским излучением и протонным, обнаруживает, что группа пациентов, которых облучали пучком протонов, отличается от тех, кого облучали рентгеновскими лучами меньшим размером опухоли.Можно ли по исходам лечения сделать вывод о том, какое облучение эффективнее? Конечно же – нет. Исключение составляют случаи, когда эффект в сравниваемых группах различается многократно (см. выше – влияние вмешивающихся факторов обычно не очень велико) или когда можно внести поправку на обнаруженное различие. К сожалению, в большинстве случаев внесение поправки, например, на тяжесть болезни или возраст, невозможно по причине малого числа пациентов. С другой стороны, внесение поправки на известный признак, по которому обнаружено различие, совсем не исключает наличия других, невидимых исследователю различий между группами. Например, можно внести поправку на длительность болезни до начала лечения, но одновременно группы могут различаться еще и по особенностям раковых клеток, неизвестному исследователю. Только рандомизация пациентов при включении их в проспективное исследование позволяет сделать сравниваемые группы сопоставимыми по всем, в том числе неизвестным признакам.

До той поры, пока исследователь не может создать для своего собственного исследования с одинаковые (в пределах случайных колебаний!) группы помощью рандомизации, и в тех случаях, когда проведение проспективного исследования невозможно, что нередко имеет место, например, у медицинских аспирантов, которые стеснены как во времени, так и в средствах, у исследователя остаются возможности наличными средствами сравнивать группы и изучать величину возможного смещения в результате неравенства групп.

На этапе анализа данных

Стандартизация – наиболее известный и достаточно эффективный способ внесения поправок на величину отдельного признака. Самый распространенный вид применения стандартизации – по возрасту. Можно, однако, стандартизовать, например, сравниваемые стационары по структуре коек и так далее[32]. Недостатком прямой и непрямой стандартизации является ограниченная возможность использования одновременно нескольких признаков. Например, если известно, что сравниваемые группы различаются одновременно по полу, возрасту и тяжести болезни, то весьма соблазнительно вычислительными средствами внести поправки на эти признаки и оценить, какова же разница в исходах при устранении влияния этих признаков. Этим целям служит ряд методов, основанных на регрессионном анализе.[33] Подчеркнём, что при внесении поправок на несколько признаков одновременно, в особенности при изучении небольших групп пациентов, легко возникают ситуации «перепоправки» и ложные результаты, не всегда очевидные. Кроме того, внесение поправок на известные различия между группами не исключает действия возможных неизвестных различий. Поэтому сравнение изучаемых групп по ряду доступных признаков – обязательная процедура для выявления возможных различий между группами, т.е. признаков СО отбора, но внесение  поправок на обнаруженные различия не исключает наличия других существенных различий.

Тем не менее, анализ серий случаев из практики имеет право на существование применительно к получению предварительных результатов, в особенности в тех областях, где проведение контролируемого эксперимента затруднено. Еще одним вариантом сравнения серий случаев или групп проспективного исследования, составленных без использования правильной рандомизации и ослепления является стратификационный анализ. Это – принципиально простая процедура, но очень полезная тем, что помогает исследователю лучше «увидеть и почувствовать» полученные данные. Она состоит в стратификации (разделении на страты – слои, группы) полученных данных. Например, в случае сравнения результатов лечения с использованием двух разновидностей оперативного вмешательства, длительное время сосуществующих в практике, такими стратами могут быть больны, оперированные в последние пять лет и по отдельности в предшествующие пятилетия. При таком сравнении может выясниться, например, что лучшие результаты у метода А обнаруживаются потому, что в течение 15 лет исходы при данном заболевании улучшаются (по каким-то причинам), и одновременно метод Б применяется реже; может быть видно, что для больных, оперированных в одно время, результаты двух методов лечения не различаются существенно.

Литература

1 A dictionary of epidemiology. 4 edn. IEA, Oxford University Press: Oxford, 2001:196.

 2 Sackett DL, Oxman AD. HARLOT plc: an amalgamation of the world's two oldest professions. Brit Med J 2003;327(7429):1442-1445.

 3 Kolstad HA, Olsen J. Why Do Short Term Workers Have High Mortality? Am J Epidemiol -352. [http://aje.oxfordjournals.org/cgi/content/abstract/149/4/347]

 4 Власов ВВ. Явления непреднамеренного отбора в клинических исследованиях. Клинич мед

 5 Coughlin SS. Recall bias in epidemiologic studies. J Clin Epid 1990;43(1):87-91.

 6 Hosek RS, Flanders WD, Sasco AJ. Bias in case-control studies of screening effectiveness. Am J Epidemiol 1996;143(2):193-201.

 7 Grimes DA, Schulz KF. Bias and causal associations in observational research. L 2002;359:248-252.

 8 Lachs MS, Nachamkin I, Edelstein PH et al. Spectrum bias in the evaluation of diagnostic tests: Lessons from the rapid dipstick test for urinary tract infection. Ann Intern Med 1992;117.- # 2:135-140.

 9 Dickersin K, Min Y-I. Publication bias: The problem that won't go away. Ann N Y Acad Sci 1993;703:135-148.

 10   Berlin JA, Begg CB, Louis TA. An assessment of publication bias using a sample of published clinical trials. J Amer Statist Assoc 1989;84:381-392.