Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа

Предложен подход к оценке полезности диагностических методов (тестов) с использованием теории статистических решений. Доказаны формальные математические условия, при которых ожидаемые средние потери теста гарантированно меньше, чем потери классификатора, оперирующего только априорными распределениям...

Повний опис

Збережено в:

Бібліографічні деталі
Дата:	2009
Автори:	Файнзильберг, Л.С., Жук, Т.Н.
Формат:	Стаття
Мова:	Russian
Опубліковано:	Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України 2009
Назва видання:	Управляющие системы и машины
Теми:	Теория систем. Системотехника
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/82752
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа / Л.С. Файнзильберг, Т.Н. Жук // Управляющие системы и машины. — 2009. — № 5. — С. 3–13. — Бібліогр.: 31 назв. — рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	nasplib_isofts_kiev_ua-123456789-82752
record_format	dspace
spelling	nasplib_isofts_kiev_ua-123456789-827522025-02-09T20:22:30Z Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа Файнзильберг, Л.С. Жук, Т.Н. Теория систем. Системотехника Предложен подход к оценке полезности диагностических методов (тестов) с использованием теории статистических решений. Доказаны формальные математические условия, при которых ожидаемые средние потери теста гарантированно меньше, чем потери классификатора, оперирующего только априорными распределениями классов. Эти условия позволили усилить традиционный ROC-анализ путем выделения соответствующей области ROC-кривой, в которой тест заведомо полезен. An approach to the estimation of the usefulness of diagnostic methods (tests) with the use of the statistical decisions theory is suggested. The formal mathematical terms are proved under which the expected average costs of the test are assured less the than costs of a classifier which operates only by a priori distributions of classes. These terms allowed the strengthening of a traditional ROC-analysis by a selection of the proper area of ROC-curve in which a test is a priori useful. Запропоновано підхід до оцінки корисності діагностичних методів (тестів) з застосуванням теорії статистичних рішень. Доведено формальні математичні умови, за яких очікувані середні втрати тесту гарантовано менші за втрати класифікатора, що оперує лише апріорними розподілами класів. Ці умови дозволили посилити традиційний ROC-аналіз шляхом виділення відповідної області ROC-кривої, в якій тест заздалегідь корисний. 2009 Article Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа / Л.С. Файнзильберг, Т.Н. Жук // Управляющие системы и машины. — 2009. — № 5. — С. 3–13. — Бібліогр.: 31 назв. — рос. 0130-5395 https://nasplib.isofts.kiev.ua/handle/123456789/82752 616-07-036.8 ru Управляющие системы и машины application/pdf Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Russian
topic	Теория систем. Системотехника Теория систем. Системотехника
spellingShingle	Теория систем. Системотехника Теория систем. Системотехника Файнзильберг, Л.С. Жук, Т.Н. Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа Управляющие системы и машины
description	Предложен подход к оценке полезности диагностических методов (тестов) с использованием теории статистических решений. Доказаны формальные математические условия, при которых ожидаемые средние потери теста гарантированно меньше, чем потери классификатора, оперирующего только априорными распределениями классов. Эти условия позволили усилить традиционный ROC-анализ путем выделения соответствующей области ROC-кривой, в которой тест заведомо полезен.
format	Article
author	Файнзильберг, Л.С. Жук, Т.Н.
author_facet	Файнзильберг, Л.С. Жук, Т.Н.
author_sort	Файнзильберг, Л.С.
title	Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа
title_short	Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа
title_full	Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа
title_fullStr	Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа
title_full_unstemmed	Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа
title_sort	гарантированная оценка эффективности диагностических тестов на основе усиленного roc-анализа
publisher	Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
publishDate	2009
topic_facet	Теория систем. Системотехника
url	https://nasplib.isofts.kiev.ua/handle/123456789/82752
citation_txt	Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа / Л.С. Файнзильберг, Т.Н. Жук // Управляющие системы и машины. — 2009. — № 5. — С. 3–13. — Бібліогр.: 31 назв. — рос.
series	Управляющие системы и машины
work_keys_str_mv	AT fainzilʹbergls garantirovannaâocenkaéffektivnostidiagnostičeskihtestovnaosnoveusilennogorocanaliza AT žuktn garantirovannaâocenkaéffektivnostidiagnostičeskihtestovnaosnoveusilennogorocanaliza
first_indexed	2025-11-30T11:28:16Z
last_indexed	2025-11-30T11:28:16Z
_version_	1850214550824026112
fulltext	УСиМ, 2009, № 5 3 Теория систем. Системотехника УДК 616-07-036.8 Л.С. Файнзильберг, Т.Н. Жук Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа Предложен подход к оценке полезности диагностических методов (тестов) с использованием теории статистических решений. Доказаны формальные математические условия, при которых ожидаемые средние потери теста гарантированно меньше, чем потери классификатора, оперирующего только априорными распределениями классов. Эти условия позволили усилить тради- ционный ROC-анализ путем выделения соответствующей области ROC-кривой, в которой тест заведомо полезен. An approach to the estimation of the usefulness of diagnostic methods (tests) with the use of the statistical decisions theory is sug- gested. The formal mathematical terms are proved under which the expected average costs of the test are assured less the than costs of a classifier which operates only by a priori distributions of classes. These terms allowed the strengthening of a traditional ROC-analysis by a selection of the proper area of ROC-curve in which a test is a priori useful. Запропоновано підхід до оцінки корисності діагностичних методів (тестів) з застосуванням теорії статистичних рішень. Дове- дено формальні математичні умови, за яких очікувані середні втрати тесту гарантовано менші за втрати класифікатора, що оперує лише апріорними розподілами класів. Ці умови дозволили посилити традиційний ROC-аналіз шляхом виділення відпо- відної області ROC-кривої, в якій тест заздалегідь корисний. Введение. Эффективность алгоритмов оценки текущего состояния объектов – одна из основ- ных характеристик компьютерных систем, обес- печивающих решение задач медицинской и тех- нической диагностики [1–3]. При решении за- дач в статистической постановке традиционно считается, что диагностический алгоритм (тест) эффективен, если он основан на измерении со- вокупности диагностических признаков, имею- щих различные условные распределения веро- ятностей при разных состояниях объекта. Со- гласно определению Бен-Бассата [4] такие при- знаки называются релевантными. В работах [5, 6] было показано, что если состояния объ- екта неравновероятны, то релевантные призна- ки могут оказаться бесполезными для решения задач диагностики таких состояний. Удобным средством оценки эффективности диагностического теста является метод, осно- ванный на анализе так называемой операцион- ной характеристической кривой (ROC − Re- ceiver Operating Characteristic curve), широко известный в научных кругах, особенно за ру- бежом [7–9]. Традиционный ROC-анализ пре- дусматривает сравнение операционных харак- теристик теста – чувствительности и специ- фичности [10–18]. Обычно в качестве интег- ральной характеристики для оценки эффектив- ности теста используется площадь под ROC- кривой [19–21]. В работах [9, 22] предложено развитие ROC- анализа для случая, когда выбор решения осу- ществляется из более чем двух вариантов (ди- агнозов). Усовершенствование ROC-анализа для выбора теста с точки зрения ожидаемых потерь от принятия ошибочного решения представле- но в [23, 24], а в [25] показано практическое применение этого метода. Известен также ме- тод оценки эффективности теста, основанный на анализе кривых потерь (cost curves), который в работах [26, 27] рассматривается как альтер- натива ROC-анализу. Задача настоящего исследования – провести дальнейшее усовершенствование ROC-анализа, для обеспечения выбора диагностического тес- та, гарантированно уменьшающего априорный риск ошибочной диагностики. Традиционный ROC-анализ Первоначально ROC-анализ использовался для отображения соотношения между долей (процентом) обнаружения цели c помощью ра- даров и долей (процентом) ложной тревоги 4 УСиМ, 2009, № 5 [10, 11]. Позднее ROC–анализ нашел примене- ние в диагностических системах [12] и в ма- шинном обучении [13]. Поясним особенности этого метода на при- мере решения задачи медицинской диагности- ки (задачи скрининга), которая сводится к вы- явлению больных (класс 1V ) в большой группе обследуемых, где есть и здоровые люди (класс 2V ). При этом подразумевается, что класс 2V включает в себя не абсолютно здоровых лю- дей, а тех, у кого не наблюдается рассматри- ваемого заболевания. Пусть для выявления больных предполага- ется использовать диагностический тест. В дан- ном случае нас не будет интересовать то, как построен алгоритм диагностики, т.е. будем рас- сматривать тест как «черный ящик», который на основании доступной информации прини- мает одно из двух решений (диагнозов): поло- жительное 1=δ («Болен») или отрицательное 2=δ («Здоров»). Для оценки диагностической эффективно- сти теста проводится его «экзамен» на некото- рой репрезентативной группе пациентов с за- ранее известными диагнозами. Результаты та- кого экзамена можно представить в виде 22× матрицы (таблица). Результаты тестирования репрезентативной группы Результат тестирования Истинный диагноз Решение – «Болен» 1=δ Решение – «Здоров» 2=δ Класс V1 – «Болен» TP FN Класс V2 – «Здоров» FP TN В таблице приняты следующие обозначения: TP (True Positive) – число правильных диаг- нозов «Болен» (истинноположительный ре- зультат); TN (True Negative) – число правильных ди- агнозов «Здоров» (истинноотрицательный ре- зультат); FP (False Positive) – число здоровых, оши- бочно признанных больными (ложноположи- тельный результат или ошибка ложной тревоги); FN (False Negative) – число больных, оши- бочно признанных здоровыми (ложноотрица- тельный результат или ошибка пропуска цели). По данным таблицы легко оценить приня- тые в медицинской диагностике операционные характеристики теста – чувствительность и специфичность [1]. Чувствительность (Sensitivity) ES опреде- ляется долей (процентом) предварительно ве- рифицированных больных, которые тестом признаны больными (класс 1V ) FNTP TPS E + = , (1) а специфичность (Specificity) PS определяется долей (процентом) здоровых, которые тестами отнесены к группе здоровых (класс 2V ) FPTN TNSP + = . (2) Имея эти характеристики, можно предста- вить результаты экзамена в двумерном ROC- пространстве, в котором по оси ординат откла- дываются значения ES , а по оси абсцисс – зна- чения PS−1 (рис. 1). Таким образом, диагно- стический тест (бинарный классификатор) с фиксированными операционными характери- стиками (1) и (2) отображается точкой в ROC- пространстве (рис. 1). 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 1 - SP SE A B C D SE 1 – SP A C B D Рис. 1. Бинарные тесты в ROC-пространстве ROC-пространство дает наглядное графиче- ское представление о диагностической ценно- сти теста и позволяет сравнивать эффектив- ность различных тестов. Идеальный тест (тест А на рис. 1) располо- жен в точке с координатами (0, 1) ROC-про- странства. Такой тест всегда принимает истин- УСиМ, 2009, № 5 5 ноположительный результат без ошибок лож- ной тревоги, а значит, относит всех больных к классу больных, не причисляя к ним здоровых. Отсюда следует, что диагностически ценные тесты находятся в левом верхнем углу ROC- пространства: чем ближе точка, определяемая операционными характеристиками ES и PS , к точке А, тем эффективнее тест. Тесты, «расположенные» в левом нижнем уг- лу ROC-пространства, – «консервативны», по- скольку при малом проценте ошибок ложной тревоги имеют низкую чувствительность. По- нятно, что если консервативный тест, имеющий высокое значение специфичности, принял ре- шение «Болен», то к такому решению следует относиться с высокой степенью доверия. В то же время решение «Здоров» может быть и ошибоч- ным из-за низкой чувствительности. Тесты, «расположенные» в правом верхнем углу, «либеральны», так как при больших зна- чениях истинноположительных результатов да- ют также большой процент ошибок ложной тревоги. Поскольку такие тесты имеют высо- кое значение чувствительности, их решение «Здоров», скорее всего, правильно, в то время как противоположное решение «Болен» может быть ошибочным из-за низкой специфичности. Тесты, «расположенные» на диагонали SE = = 1 – Sp ROC-пространства (например, тест С на рис. 1), не дают дополнительную диагнос- тическую информацию о классах, а потому бесполезны. Такие тесты эквивалентны клас- сификаторам, использующим стратегию «слу- чайного угадывания» классов. Тесты, «расположенные» ниже диагонали (например, тест D на рис. 1), еще хуже тех, что используют стратегию случайного угадывания. Однако такой тест легко «переводится» в точ- ку B, симметричную относительно диагонали, заменив стратегию принятия решений на про- тивоположную [14, 15]. В этом случае значе- ние истинноположительного результата клас- сификации становится значением ошибки лож- ной тревоги и наоборот. При решении задач медицинской диагнос- тики часто используют пороговые решающие правила [16], например, правило вида принимаем решение «Болен», если 0xx > , принимаем решение «Здоров», если 0xx ≤ , (3) где x – некоторый измеряемый параметр (диаг- ностический признак), 0x – пороговое значение. В таком случае появляется возможность оце- нить чувствительность и специфичность теста при различных значениях порога 0x , что соот- ветствует последовательности точек бинарного классификатора в ROC-пространстве (рис. 2). 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 1 - SP SESE 1 – SP Рис. 2. ROC-кривая теста, основанного на пороговом решаю- щем правиле – отсортировать наблюдаемые значения признака x в порядке убывания; Из правила (3) следует, что если при фикси- рованном пороговом значения 0x пациент от- несен к классу «Здоров», то для любого более низкого значения признака x пациент также будет отнесен к этому классу. Отсюда вытека- ет следующий простой алгоритм построения экспериментальной ROC-кривой [14]: • отсортировать наблюдаемые значения приз- нака x в порядке убывания; • последовательно уменьшать (с некоторым шагом) порог 0x , перемещаясь вниз по списку отсортированных значений x, и по экзаменаци- онной выборке наблюдений вычислять соответ- ствующие пары значений ES и PS ; • отобразить полученные таким образом по- следовательности пар значений ES и PS в ROC-пространстве. Обозначим )/( 1Vxp и )/( 2Vxp – условные распределения вероятностей признака x в клас- 6 УСиМ, 2009, № 5 сах 1V и 2V . Множество }0)/(:{ 11 ≠= VxpxX будем называть носителем распределения ди- агностического признака x для класса 1V , а множество }0)/(:{ 22 ≠= VxpxX – носителем распределения x для класса V2. Принципиально возможны четыре ситуа- ции, характеризующие топологию носителей 1X , 2X (рис. 3) и соответствующие этим си- туациям формы ROC-кривых (рис. 4). Рис. 3. Топология носителей классов Ситуация 1 представляет собой случай, ко- гда множества X1 и X2 не пересекаются. В этом случае может быть установлен порог x0, пол- ностью разделяющий значения диагностичес- кого признака x для здоровых и больных паци- ентов, а значит, правило (3) определит идеаль- ный тест. График соответствующей ROC-кри- вой (рис. 4, кривая 1) проходит от точки с ко- ординатами (0,0) в точку с координатами (0,1) и далее в точку с координатами (1,1). В ситуации 2 множества X1 и X2 частично пересекаются, и соответствующая ROC-кривая имеет форму кривой 2 (рис. 4). В ситуации 3, когда множества X1 и X2 сов- падают, но условные распределения )/( 1Vxp и )/( 2Vxp различны, соответствующая ROC-кри- вая имеет форму 3 (рис. 4). Именно такая фор- ма чаще всего присуща большинству реальных диагностических тестов. И, наконец, в ситуации 4, когда совпадают не только множества X1 и X2, но и условные распределения p(x/V1) и p(x/V2), тест становит- ся бесполезным и соответствующая ROC-кри- вая лежит на диагонали (рис. 4, кривая 4). SE 1 – SP Рис. 4. Взаимосвязь ROС-кривых c топологией носителей классов Заметим, что для операционных характерис- тик тестов, лежащих выше диагонали ROC-про- странства, выполняется условие PE SS −>1 , (4) тогда как для бесполезных тестов справедливо соотношение PE SS −= 1 . Для сравнения эффективности различных ди- агностических тестов удобно использовать не- которую интегральную характеристику. В ка- честве такой характеристики часто используют площадь AUC (Area Under Curve), вычислен- ную под ROC-кривой. Очевидно, что величина AUC определяет среднюю чувствительность теста ES при воз- можных значениях специфичности 10 ≤≤ PS или среднюю специфичность теста PS при возмож- ных значениях чувствительности 10 ≤≤ ES , при- чем AUC = 1 для идеального теста и AUC = 0,5 для бесполезного теста, операционные харак- теристики которого не удовлетворяют усло- вию (4). Поэтому считается, что чем больше AUC приближается к единице, тем эффектив- нее тест [19]. Площадь под ROC-кривой может быть вы- числена с помощью правила трапеций [19], U- критерия Манна-Уитни [20] или коэффициента Джини [21]. УСиМ, 2009, № 5 7 ROC-анализ используют для нахождения оп- тимального значения порога x0, или точки от- сечения (Cut-off value). Понятно, что оптималь- ное значение x0 зависит от предъявляемых к тесту требований, т.е. от выбранного критерия оптимальности [16]. Например, в работе [17] оптимальной предлагается считать точку на ROC-кривой, которая имеет наибольшее зна- чение чувствительности при наименьшем зна- чении доли ложноположительных результатов. Эта точка может быть найдена с помощью ин- декса Йодена (J – Youden index) как максималь- ное отличие ординат ROC-кривой и диагонали (рис. 5) [18]: )1max( −+= PE SSJ . (5) SE 1 – SP C J Рис. 5. Оптимальная точка отсечения С (cut-off value) Итак, рассмотрены некоторые особенности традиционного ROC-анализа для двух классов. В общем случае число возможных диагнозов M ≥ 2. Очевидно, что для каждого истинного диагноза MVV ,...,1 диагностический тест может принять одно из M решений, но только одно из них будет правильным. Отсюда следует, что в общем случае существует MMN M −= 2 возможных ошибок диагностического теста. В рассмотренном случае (M = 2) число оши- бок N2 = 2, при числе классов M = 3 число воз- можных ошибок N3 = 6 и т.д. Следовательно, уже при M = 3 ROC-анализ становится доста- точно громоздким и не столь наглядным: вме- сто двумерной ROC-кривой требуется прово- дить анализ шестимерной ROC-поверхности. Но можно пойти и другим путем, последо- вательно решая задачу распознавания одного класса Vi ∈ {V1, …, VM} и всех остальных. При таком подходе, вместо NM-мерной ROC-по- верхности достаточно построить и проанали- зировать M обычных двумерных ROC-кривых, отображающих взаимосвязь истинноположи- тельных и ложноположительных результатов, полученных при распознавания каждого клас- са Vi ∈ {V1, …, VM} и объединенного класса MjiVV j ij i ,...,1,, == ≠ ∪ . ROC-анализ с позиции теории статисти- ческих решений Рассмотрим теперь некоторые усовершен- ствования традиционного ROC-анализа, позво- ляющие оценивать эффективность диагности- ческого теста с точки зрения ожидаемых по- терь (среднего риска). Пусть P(V1) – вероятность появления боль- ного в группе обследуемых (преваленс заболе- вания). Будем характеризовать возможные ошиб- ки диагностического теста величинами 12L , 21L , определяющими плату (потери) за одну ошиб- ку пропуска цели (невыявление больного) и ложной тревоги (отнесение здорового пациен- та к группе больных). Тогда ожидаемые потери (средний риск) от неправильной диагностики определит соотно- шение [23, 29] .)1()](1[ )1()( 211 121 LSVP LSVPR P E ⋅−⋅−+ +⋅−⋅= (6) Из (6) непосредственно следует, что два теста, имеющие операционные характеристики )1()1( , PE SS и )2()2( , PE SS , будут иметь одинаковые потери, если выполняется условие [24] m SS SS PP EE = −−− − )1()1( )1()2( )1()2( , (7) где )( )](1[ 112 121 VPL VPL m − = . (8) Семейство параллельных прямых (1ES m= − )PS− + const с положительным угловым коэф- 8 УСиМ, 2009, № 5 фициентом m, зависящим от P(V1), L12 и L21, образует в ROC-пространстве изолинии эффек- тивности (Iso-performance lines) [24]. Все тес- ты, соответствующие точкам на изолинии, име- ют одни и те же ожидаемые потери, причем, чем больше значение пересечения изолинии с осью ординат ES , тем меньше потери. Поэто- му, если изолинию эффективности провести как касательную к ROC-кривой, то в точке (или на отрезке) касания изолинии и ROC-кривой поте- ри будут минимальными [16]. Для выбора оптимального теста, минимизи- рующего ожидаемые потери, в работах [23, 24] предложен так называемый метод выпуклой ROC-оболочки (ROC convex hull method), суть которого состоит в следующем: • определяются операционные характерис- тики каждого i-го бинарного теста в ROC–про- странстве и отображаются точки с координа- тами ][iS E и ][1 iS P− , а для каждого j-го тес- та, основанного на пороговом решающем пра- виле (3), последовательно изменяется порог )( 0 jx и отображается множество пар ][)( iS j E , ][1 )( iS j P− точек j-й ROC -кривой; • строится выпуклая оболочка множества точек, что для n точек может быть выполне- но с помощью алгоритма QuickHull за время )]log([ nnO [28]; • по формуле (8) вычисляется угловой ко- эффициент m наклона изолинии эффективно- сти и отображается в ROC-пространстве се- мейство изолиний эффективности, соответству- ющих заданным значениям P(V1), L12 и L21; • точка (или их совокупность) касания изо- линии эффективности к построенной выпуклой оболочке определит операционные характе- ристики opt ES и opt PS наиболее эффективного тес- та, поскольку именно такой тест ближе всего к «идеальному» тесту с координатами 1 –Sp = 0 и SE = 1. Для иллюстрации приведенного алгоритма на рис. 6 представлены примеры эксперимен- тальных ROC-кривых трех различных тестов и соответствующая выпуклая оболочка (отмече- на пунктирной линией). Различные заданные значения P(V1), L12 и L21 определяют наклоны трех изолиний эффективности с угловыми ко- эффициентами 1m , 2m и 3m . SE 1 – SP A C B а SE 1 – SP A C B б Рис. 6. Иллюстрация метода выпуклой ROC-оболочки На рис. 6, а ROC-кривые всех трех тестов «касаются» выпуклой оболочки. Поэтому при условии 1mm = потенциально оптимальным бу- дет тест А, при m = m2 – тест В, а при m = m3 – тест С. На рис. 6, б ROC-кривая теста С не «касает- ся» выпуклой оболочки. Поэтому в такой си- туации для условия m = m3 потенциально опти- мальным с точки зрения ожидаемых потерь будет уже не тест С, как в предыдущем случае, а тест А. Еще один пример показан на рис. 7. При ус- ловии m = m1 потенциально оптимальным бу- дет тест А, при m = m2 – тест В, а в случае m = m3 оба теста А и В не обеспечивают задан- ных ожидаемых потерь, поскольку не суще- ствует точек касания соответствующей изоли- нии эффективности с выпуклой оболочкой. Понятно, что после того, как для некоторой совокупности тестов построена выпуклая обо- УСиМ, 2009, № 5 9 лочка, исследование эффективности «нового» теста предполагает перепостроение выпуклой оболочки. Однако из добавляемых тестов по- тенциально оптимальными могут быть лишь те, которые «расширяют» выпуклую оболочку. SE 1 – SP A B Рис. 7. Иллюстрация метода выпуклой ROC-оболочки Например, добавим к выпуклой оболочке, по- строенной по двум ROC-кривым, три бинар- ных теста С, D и E (рис. 8). Очевидно, что при условии m ∈ [m1, m2] оптимальными могут быть только тесты, находящиеся на ломаной АСВ. Следовательно, тест С может быть оптималь- ным, поскольку он расширяет выпуклую ROC- оболочку, в то время как тесты D и E не яв- ляются потенциально оптимальными. Достаточные условия полезности диагно- стического теста Условие (6) позволяет по заданным значе- ниям P(V1), L12 и L21 вычислить ожидаемый средний риск ошибочной диагностики (апо- стериорный риск) при использовании теста с фиксированными операционными характери- стиками SE и Sp . Возникает естественный во- прос: всегда ли такой тест полезен? Для того чтобы ответить на этот вопрос, прежде всего нужно сформулировать опреде- ление «полезность» диагностического теста. По мнению авторов, таким определением может быть условие того, что тест обеспечивает сред- ние потери меньше тех, которые наблюдались бы без привлечения диагностического теста [29]. Другими словами, понятие полезности ра- зумно связать с таким определением. Определение 1. При заданных значениях P(V1), L12 и L21 диагностический тест полезен, если выполняется строгое неравенство 0RR < , (9), т.е. апостериорный риск R строго меньше ап- риорного риска R0, реализующего стратегию принятия оптимальных решений лишь на ос- новании значений P(V1), L12 и L21. SE 1 – SP A D C E B Рис. 8. Расширение выпуклой ROC-оболочки Здесь нужны пояснения. Понятно, что если алгоритм диагностики построен формальным путем и реализует байесовскую стратегию при- нятия решений [30], обеспечивающую мини- мизацию апостериорного риска R, то заведомо выполняется условие (9) или условие R = R0. Иными словами, формально построенный ал- горитм диагностики не может быть «вредным». Однако на практике часто отсутствует полная информация об условных распределениях ве- роятностей признаков, необходимая для реали- зации байесовской стратегии, либо тест по- строен не формальным путем, а на основе «здравого» смысла и интуиции конструктора диагностической системы. В этих существенных для практического при- менения случаях при фиксированных P(V1), L12 и L21 и известных SE и Sp вместо условия (9) может выполняться на первый взгляд «парадок- сальное» условие 0RR > . Поскольку численные примеры довольно часто более убедительны, чем формальные выкладки, продемонстрируем такую ситуацию на следующем примере. Модельный пример. Пусть для выявления больных в группе из 10 тыс. чел. предполага- 10 УСиМ, 2009, № 5 ется использовать диагностический тест, вы- сокие операционные характеристики которого 9,0=ES и 9,0=PS были определены на ре- презентативной выборке наблюдений с извест- ными диагнозами. Пусть известен преваленс заболевания 02,0)( 1 =VP , а платы за ошибки пропуска цели и ложной тревоги приняты рав- ными 12112 == LL . На рис. 9 представлены ожидаемые резуль- таты тестирования. Если не использовать диаг- ностический тест, то оптимальная «стратегия», минимизирующая априорный риск R0, должна быть такой: всех обследуемых признавать здо- ровыми (в противном случае потери будут еще большими!). В этом случае средние (на одного обследуемого) априорные потери, связанные с тем, что 200 больных не будут выявлены, со- ставят 02,010000/)2001(10000/)200( 120 =⋅=⋅= LR .(10) Обследуемая группа 10000 чел. Здоровых 9800 чел. «Здоров» 8820 чел. Больных 200 чел. «Болен» 980 чел. «Здоров» 20 чел. «Болен» 180 чел. R > R0 (априорный риск R0 = 0,02 ; апостериорный риск R = 0,1) Рис. 9. Ожидаемые результаты тестирования При использовании диагностического теста с чувствительностью SE = 0,9 и специфично- стью Sp = 0,9 средние потери, связанные с лож- ноположительными результатами диагностики 980 здоровых пациентов и невыявлением 20 больных, составят .1,010000/)2019801( 10000/)20980( 1221 =⋅+⋅= =⋅+⋅= LLR (11) Следовательно, R >> R0 и такой тест нельзя признать полезным, поскольку при заданных платах за ошибки пропуска цели и ложной тре- воги он только увеличивает ожидаемые потери. Несмотря на кажущуюся «парадоксальность» того, что 0RR >> , полученный результат име- ет вполне обоснованное пояснение, приведен- ное в работе [29]: тест не является оптималь- ным по байесовской стратегии. При указанных P(V1), L12, L21, SE и Sp решения «Болен» явля- ются необоснованными с точки зрения мини- мизации апостериорного риска, а значит, для любого обследуемого всегда должен принимать- ся диагноз «Здоров», совпадающий с априор- ными решениями. Перейдем теперь к формальной стороне во- проса и покажем, что условие (4) является не- обходимым, но не достаточным условием, га- рантирующим выполнение строгого неравен- ства (9). Утверждение 1. Тест гарантированно поле- зен по Определению 1, если чувствительность SE и специфичность Sp связаны соотношением (1 ), при 1E PS m S m> − ≥ (12) или 1 (1 ), при 1,E PS m m S m> − + − < (13) где величина m , зависящая от )( 1VP , 12L и 21L , определяется соотношением (8). Доказательство. Если не использовать ди- агностический тест и принимать решения только на основании значений P(V1), L12 и L21, то ап- риорная «стратегия» сводится к одному из двух вариантов: либо всех обследуемых отно- сить к классу больных 1V , и тогда априорный риск равен )](1[ 1210 VPLR −=+ , (14) либо принимать решение о том, что каждый обследуемый здоров, и тогда априорный риск равен 0 12 1( )R L P V− = . (15) Из (14) и (15) с учетом (8) следует, что +− < 00 RR , при 1>m и +− > 00 RR , при 1<m и, естественно, +− = 00 RR , когда 1=m . Следовательно, минимальный априорный риск 0R , фигурирующий в правой части нера- венства (9), можно записать так: 12 1 0 21 1 ( ), при 1, [1 ( )], при 1. L P V m R L P V m ≥⎧ = ⎨ − <⎩ (16) УСиМ, 2009, № 5 11 Подстановка выражений (6) и (16) в нера- венство (9) после простых преобразований приводит к соотношениям (12) и (13). Утвер- ждение доказано. Условия (12) и (13) позволяют обоснованно подходить к оценке пригодности нового диаг- ностического теста с известными операцион- ными характеристиками SE и Sp для диагности- ки заболевания с преваленсом P(V1) и задан- ным соотношением потерь 1 12 21L L−ω = от оши- бок пропуска цели и ложной тревоги. Для та- кой оценки (в отличие от метода выпуклой ROC-оболочки), вообще говоря, не требуется привлекать визуальный анализ результатов в ROC-пространстве. Например, формальная под- становка данных рассмотренного модельного примера в условие (12) показывает, что тест заведомо бесполезен. В то же время на основе Утверждения 1 мож- но усилить традиционный ROC-анализ, огра- ничив соответствующую его область ROC- кривой. Рис. 10 иллюстрирует предлагаемый под- ход для случаев 1≥m (рис. 10,а) и 1<m (см. рис. 2,б). Серым цветом показаны области га- рантированной полезности теста. В соответ- ствии с (12) прямая, ограничивающая область полезности теста для случаев 1≥m , проходит через точку с координатами (0,0) и точку с ко- ординатами ( 1,/1 m ), а для случая 1<m – че- рез точку с координатами (1,1) и точку с коор- динатами )1,0( m− . Отрезок OA (см. рис. 10, а) соответствует случаю, когда P(V1) = 0,15 и 11 2112 ==ω −LL . Вид- но, что в данном случае тест бесполезен, по- скольку ROC-кривая расположена ниже отрез- ка OA. Но если допустить, что потери от про- пуска цели в четыре раза выше потерь от лож- ной тревоги, т.е. допустить, что 41 2112 =−LL , то соответствующая прямая OB уже пересекает ROC-кривую. Следовательно, тест, имеющий чувствительность %5,62=EC и специфичность PC = 80 %, окажется гарантированно полезным с учетом строгого неравенства (9), поскольку точка C, соответствующая таким операцион- ным характеристикам, расположена на допус- тимой части ROC-кривой. SE 1-SP A B C SE 1-SP а б Рис. 10. Иллюстрация идеи усиленного ROC-анализа для слу- чаев: а – m ≥ 1, б –m < 1 Заметим также, что условия (12) и (13) по- зволяют решить и обратную задачу: определить допустимый интервал соотношения потерь ω = 1 12 21L L−= , при котором тест с чувствительностью SE и специфичностью Sp можно считать полез- ным для скрининга заболевания с известным преваленсом P(V1). Этот интервал определяется формулой 1 1 1 1 1 ( ) 1 1 ( ) ( ) ( ) 1 P P E E P V S P V S P V S P V S − − − ≤ ω≤ − . (17) Например, тест, имеющий чувствительность SE = 62,5 % и специфичность Sp = 80 %, можно рекомендовать для выявления заболеваний с преваленсом P(V1) = 0,15, если допустимо со- отношение потерь от ложноотрицательных и ложноположительных ошибок в пределах 2,66 ≤ 17,7≤ ω≤ . Примечательно, что полученные результаты можно сопоставить с изолиниями эффективно- сти, упомянутых при обсуждении метода вы- пуклой ROC-оболочки. Действительно, из вы- ражения (6) следует, что уравнение изолинии с ожидаемыми потерями RR = имеет вид )( 1)1( 112 VPL RSmS PE −+−= . (18) Из сравнения (18) с (12) и (13) заключаем, что изолинии эффективности (18) совпадет с прямыми, ограничивающими области полез- ных тестов, если выполняется условие 12 1* 21 1 ( ), при 1, [1 ( )], при 1, L P V m R L P V m ≥⎧ = ⎨ − <⎩ (19) 12 УСиМ, 2009, № 5 правая часть которого совпадает с правой ча- стью (16). Таким образом, область полезных тестов ог- раничивается одной изолинией эффективности, соответствующей уровню априорного риска R0, которая непременно проходит через точку с координатами (0,0) при 1≥m или точку с ко- ординатами (1,1) при 1<m , причем, если такая изолиния пересекает ROC-кривую, то 0RR < , касается ROC-кривой, то 0RR = , не пересекает ROC-кривую, то 0RR > . Практическое применение результатов Усиленный ROC-анализ придает формаль- ной процедуре оценки эффективности диагно- стического теста наглядную интерпретацию в виде когнитивного графического образа. Пред- ложенный подход реализован в виде инстру- ментального вычислительного модуля (рис. 11), который позволяет: • автоматически строить экспериментальную ROC-кривую любого из диагностических при- знаков, хранимых в базе данных, с возможно- стью «фильтрации» записей по определенным критериям; • отобразить допустимую область ROC–про- странства, удовлетворяющую условиям (12) и (13); • вычислить допустимый интервал соотно- шения потерь по соотношению (17). Рис. 11. Интерфейс вычислительного модуля, реализующего усиленный ROC-анализ Модуль включен в состав информационной технологии ФАЗАГРАФТМ и позволил обос- новать выбор эффективного диагностического теста, обеспечивающего выявление начальных признаков ишемической болезни по фазовому портрету ЭКГ [31]. Заключение. Таким образом доказано, что условия (12) и (13) позволяют обоснованно подходить к оценке пригодности нового диаг- ностического теста с известной чувствитель- ностью и специфичностью для диагностики заболевания с преваленсом P(V1) и заданным соотношением потерь 1 2112 −=ω LL от ошибок про- пуска цели и ложной тревоги. Полученные ус- ловия позволили усилить традиционный ROC- анализ путем соответствующего ограничения области ROC-кривой. Предложенный подход нашел практическое применение при решении актуальной задачи выявления начальных при- знаков ишемической болезни сердца. 1. Власов В.В. Эффективность диагностических ис- следований. – М.: Медицина, 1988. – 256 с. 2. Ластед Л. Введение в проблему принятия решений в медицине. – М.: Мир, 1971. – 282 с. 3. Биргер И.А. Техническая диагностика. – М.: Ма- шиностроение, 1978. – 240 с. 4. Ben-Bassat M. Irrelevant features in pattern recogni- tion // IEEE Trans. Comp. – 1978. – С-27, N 8. – P. 749–766. 5. Fainzilberg L.S. Why Relevant Features May Be Unuse- ful in Statistical Recognition of Two Сlasses // Proc. of the 13th Intern. Conf. on Pat. Recog. (ICPR’96). – Viena (Austria). – 1996. – P. 730–734. 6. Файнзильберг Л.С. Оценка полезности признаков при решении задач диагностики в статистической постановке // Математические машины и систем. – 1998. – № 1. – С. 57–64. 7. Metz C.E. Fundamental ROC analysis // Progress in Medical Physics and Psychophysics Handbook of Medical Imaging. – SPIE Press, Bellingham WA. – 2000. – 1. – P. 754–769. 8. Fawcett T. Using Rule Sets to Maximize ROC Per- formance // Proc. of the IEEE Intern. Conf. on Data Mining (ICDM–2001) // IEEE Com. Soci., Los Alami- tos, CA. – 2001. – P. 131–138. 9. Ferri C., Hernández-Orallo J., Salido M.A. Volume Un- der the ROC Surface for Multiclass Problems. Exact Com- putation and Evaluation of Approximations // Techn. Rep. DSIC. 2003, Univ. Politèc. València. – P. 36–43. УСиМ, 2009, № 5 13 10. Green D.M., Swets J.A. Signal detection theory and psychophysics. – New York: John Wiley and Sons Inc., 1966. – 328 р. 11. Egan J.P. Signal detection theory and ROC analysis. – New York: Acad. Press, 1975. – 386 p. 12. Swets J.A. Measuring the accuracy of diagnostic systems // Science. – 1988. – N 240. – P. 1285–1292. 13. Spackman K.A. Signal detection theory: Valuable tools for evaluating inductive learning // Proc. of the Sixth Intern. Workshop on Machine Learning. – San Mateo, CA. – 1989. – P. 160–163. 14. Fawcett T. ROC Graphs: Notes and Practical Consid- erations for Researchers – Kluwer Acad. Publ., 2004. – 38 p. 15. Flach P., Wu S. Repairing concavities in ROC curves. // Proc. UK Workshop on Comp. Intel. – 2003. – P. 38–44. 16. Zweig M.H., Campbell G. Receiver-operating charac- teristic (ROC) plots: a fundamental evaluation tool in clinical medicine // Clinical Chemistry. – 1993. – 39, N 4. – P. 561–577. 17. Youden W.J. Index for rating diagnostic tests // Cancer. – 1950. – N 3. – P. 32–35. 18. Optimal Cut-point and Its Corresponding Youden Index to Discriminate Individuals Using Pooled Blood Sam- ples / E.F. Schlisterman, N.J. Perkins, A. Liu et al. // Epi- demiology. – 2005. – 16. – P. 73–81. 19. Van den Hout W.B. The area under an ROC curve with limited information // Medical Decision Making. – 2003. – N 23. – P. 160–166. 20. Hanley J.A., McNeil B.J. The Meaning and Use of the Area under a Receiver Operating Characteristic (ROC) Curve // Radiology. – 1982. – N 143. – P. 29–36. 21. Hand D.J., Till R.J. A simple generalization of the area under the ROC curve to multiple class classification problems // Machine Learning. – 2001. – N 45(2). – P. 171–186. 22. Srinivasan A. Note on the Location of Optimal Classi- fiers in N-dimensional ROC Space // Techn. Rep. PRG-TR-2-99, Oxford Univ. Comp. Labor., 1999. – 260 p. 23. Provost F., Fawcett T. Analysis and visualization of clas- sifier performance: Comparison under imprecise class and cost distribution // Proc. of The Third Intern. Conf. on Knowledge Discovery and Data Mining (KDD–97). – AAAI Press, 1997. – P. 43–48. 24. Provost F., Fawcett T. Robust Classification for Im- precise Environments // Machine Learning. – 2001. – 42, N 3. – P. 203–231. 25. Bettinger R. Cost-Sensitive Classifier Selection Using the ROC Convex Hull Method // Comp. Scie. and Sta- tistics. – 2003. – N 35. – P. 36–42. 26. Drummond C., Holte R.. Explicitly representing expec- ted cost: an alternative to ROC representation // Proc. of Knowledge Discovery and Datamining. – 2000. – P. 198–207. 27. Drummond C., Holte R. What ROC curves can't do (and cost curves can) // ROCAI. – 2004. – P. 19–26. 28. Barber C., Dobkin D., Huhdanpaa H. The quickhull al- gorithm for convex hull. // Techn. Rep. GCG53, Uni- versity of Minnesota. – 1993. – 185 p. 29. Файнзильберг Л.С. К вопросу о полезности диагно- стических методов в задачах скрининга // УСиМ. – 2002. – № 6. – С. 10–17. 30. Шлезингер М., Главач В. Десять лекций по статисти- ческому и структурному распознаванию. – К.: Наук. думка, 2004. – 545 с. 31. Чайковский И.А., Файнзильберг Л.С. Медицинские аспекты применения устройства ФАЗАГРАФ в кли- нической практике и в домашних условиях. К.: МНУЦИТиС НАН и МОН Украины, 2004. – 74 с. Поступила 09.06.2009 Тел. для справок: (044) 411-6904, 254-3659 (Киев) © Л.С. Файнзильберг, Т.Н. Жук, 2009 Внимание ! Оформление подписки для желающих опубликовать статьи в нашем журнале обязательно. В розничную продажу журнал не поступает. Подписной индекс 71008 << /ASCII85EncodePages false /AllowTransparency false /AutoPositionEPSFiles true /AutoRotatePages /None /Binding /Left /CalGrayProfile (Dot Gain 20%) /CalRGBProfile (sRGB IEC61966-2.1) /CalCMYKProfile (U.S. Web Coated \050SWOP\051 v2) /sRGBProfile (sRGB IEC61966-2.1) /CannotEmbedFontPolicy /Error /CompatibilityLevel 1.4 /CompressObjects /Tags /CompressPages true /ConvertImagesToIndexed true /PassThroughJPEGImages true /CreateJobTicket false /DefaultRenderingIntent /Default /DetectBlends true /DetectCurves 0.0000 /ColorConversionStrategy /CMYK /DoThumbnails false /EmbedAllFonts true /EmbedOpenType false /ParseICCProfilesInComments true /EmbedJobOptions true /DSCReportingLevel 0 /EmitDSCWarnings false /EndPage -1 /ImageMemory 1048576 /LockDistillerParams false /MaxSubsetPct 100 /Optimize true /OPM 1 /ParseDSCComments true /ParseDSCCommentsForDocInfo true /PreserveCopyPage true /PreserveDICMYKValues true /PreserveEPSInfo true /PreserveFlatness true /PreserveHalftoneInfo false /PreserveOPIComments true /PreserveOverprintSettings true /StartPage 1 /SubsetFonts true /TransferFunctionInfo /Apply /UCRandBGInfo /Preserve /UsePrologue false /ColorSettingsFile () /AlwaysEmbed [ true ] /NeverEmbed [ true ] /AntiAliasColorImages false /CropColorImages true /ColorImageMinResolution 300 /ColorImageMinResolutionPolicy /OK /DownsampleColorImages true /ColorImageDownsampleType /Bicubic /ColorImageResolution 300 /ColorImageDepth -1 /ColorImageMinDownsampleDepth 1 /ColorImageDownsampleThreshold 1.50000 /EncodeColorImages true /ColorImageFilter /DCTEncode /AutoFilterColorImages true /ColorImageAutoFilterStrategy /JPEG /ColorACSImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /ColorImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /JPEG2000ColorACSImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /JPEG2000ColorImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /AntiAliasGrayImages false /CropGrayImages true /GrayImageMinResolution 300 /GrayImageMinResolutionPolicy /OK /DownsampleGrayImages true /GrayImageDownsampleType /Bicubic /GrayImageResolution 300 /GrayImageDepth -1 /GrayImageMinDownsampleDepth 2 /GrayImageDownsampleThreshold 1.50000 /EncodeGrayImages true /GrayImageFilter /DCTEncode /AutoFilterGrayImages true /GrayImageAutoFilterStrategy /JPEG /GrayACSImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /GrayImageDict << /QFactor 0.15 /HSamples [1 1 1 1] /VSamples [1 1 1 1] >> /JPEG2000GrayACSImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /JPEG2000GrayImageDict << /TileWidth 256 /TileHeight 256 /Quality 30 >> /AntiAliasMonoImages false /CropMonoImages true /MonoImageMinResolution 1200 /MonoImageMinResolutionPolicy /OK /DownsampleMonoImages true /MonoImageDownsampleType /Bicubic /MonoImageResolution 1200 /MonoImageDepth -1 /MonoImageDownsampleThreshold 1.50000 /EncodeMonoImages true /MonoImageFilter /CCITTFaxEncode /MonoImageDict << /K -1 >> /AllowPSXObjects false /CheckCompliance [ /None ] /PDFX1aCheck false /PDFX3Check false /PDFXCompliantPDFOnly false /PDFXNoTrimBoxError true /PDFXTrimBoxToMediaBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXSetBleedBoxToMediaBox true /PDFXBleedBoxToTrimBoxOffset [ 0.00000 0.00000 0.00000 0.00000 ] /PDFXOutputIntentProfile () /PDFXOutputConditionIdentifier () /PDFXOutputCondition () /PDFXRegistryName () /PDFXTrapped /False /CreateJDFFile false /Description << /ARA <FEFF06270633062A062E062F0645002006470630064700200627064406250639062F0627062F0627062A002006440625064606340627062100200648062B062706260642002000410064006F00620065002000500044004600200645062A064806270641064206290020064406440637062806270639062900200641064A00200627064406450637062706280639002006300627062A0020062F0631062C0627062A002006270644062C0648062F0629002006270644063906270644064A0629061B0020064A06450643064600200641062A062D00200648062B0627062606420020005000440046002006270644064506460634062306290020062806270633062A062E062F062706450020004100630072006F0062006100740020064800410064006F006200650020005200650061006400650072002006250635062F0627063100200035002E0030002006480627064406250635062F062706310627062A0020062706440623062D062F062B002E0635062F0627063100200035002E0030002006480627064406250635062F062706310627062A0020062706440623062D062F062B002E> /BGR <FEFF04180437043f043e043b043704320430043904420435002004420435043704380020043d0430044104420440043e0439043a0438002c00200437043000200434043000200441044a0437043404300432043004420435002000410064006f00620065002000500044004600200434043e043a0443043c0435043d04420438002c0020043c0430043a04410438043c0430043b043d043e0020043f044004380433043e04340435043d04380020043704300020043204380441043e043a043e043a0430044704350441044204320435043d0020043f04350447043004420020043704300020043f044004350434043f0435044704300442043d04300020043f043e04340433043e0442043e0432043a0430002e002000200421044a04370434043004340435043d043804420435002000500044004600200434043e043a0443043c0435043d044204380020043c043e0433043004420020043404300020044104350020043e0442043204300440044f0442002004410020004100630072006f00620061007400200438002000410064006f00620065002000520065006100640065007200200035002e00300020043800200441043b0435043404320430044904380020043204350440044104380438002e> /CHS <FEFF4f7f75288fd94e9b8bbe5b9a521b5efa7684002000410064006f006200650020005000440046002065876863900275284e8e9ad88d2891cf76845370524d53705237300260a853ef4ee54f7f75280020004100630072006f0062006100740020548c002000410064006f00620065002000520065006100640065007200200035002e003000204ee553ca66f49ad87248672c676562535f00521b5efa768400200050004400460020658768633002> /CHT <FEFF4f7f752890194e9b8a2d7f6e5efa7acb7684002000410064006f006200650020005000440046002065874ef69069752865bc9ad854c18cea76845370524d5370523786557406300260a853ef4ee54f7f75280020004100630072006f0062006100740020548c002000410064006f00620065002000520065006100640065007200200035002e003000204ee553ca66f49ad87248672c4f86958b555f5df25efa7acb76840020005000440046002065874ef63002> /CZE <FEFF005400610074006f0020006e006100730074006100760065006e00ed00200070006f0075017e0069006a007400650020006b0020007600790074007600e101590065006e00ed00200064006f006b0075006d0065006e0074016f002000410064006f006200650020005000440046002c0020006b00740065007200e90020007300650020006e0065006a006c00e90070006500200068006f006400ed002000700072006f0020006b00760061006c00690074006e00ed0020007400690073006b00200061002000700072006500700072006500730073002e002000200056007900740076006f01590065006e00e900200064006f006b0075006d0065006e007400790020005000440046002000620075006400650020006d006f017e006e00e90020006f007400650076015900ed007400200076002000700072006f006700720061006d0065006300680020004100630072006f00620061007400200061002000410064006f00620065002000520065006100640065007200200035002e0030002000610020006e006f0076011b006a016100ed00630068002e> /DAN <FEFF004200720075006700200069006e0064007300740069006c006c0069006e006700650072006e0065002000740069006c0020006100740020006f007000720065007400740065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e007400650072002c0020006400650072002000620065006400730074002000650067006e006500720020007300690067002000740069006c002000700072006500700072006500730073002d007500640073006b007200690076006e0069006e00670020006100660020006800f8006a0020006b00760061006c0069007400650074002e0020004400650020006f007000720065007400740065006400650020005000440046002d0064006f006b0075006d0065006e0074006500720020006b0061006e002000e50062006e00650073002000690020004100630072006f00620061007400200065006c006c006500720020004100630072006f006200610074002000520065006100640065007200200035002e00300020006f00670020006e0079006500720065002e> /DEU <FEFF00560065007200770065006e00640065006e0020005300690065002000640069006500730065002000450069006e007300740065006c006c0075006e00670065006e0020007a0075006d002000450072007300740065006c006c0065006e00200076006f006e002000410064006f006200650020005000440046002d0044006f006b0075006d0065006e00740065006e002c00200076006f006e002000640065006e0065006e002000530069006500200068006f006300680077006500720074006900670065002000500072006500700072006500730073002d0044007200750063006b0065002000650072007a0065007500670065006e0020006d00f60063006800740065006e002e002000450072007300740065006c006c007400650020005000440046002d0044006f006b0075006d0065006e007400650020006b00f6006e006e0065006e0020006d006900740020004100630072006f00620061007400200075006e0064002000410064006f00620065002000520065006100640065007200200035002e00300020006f0064006500720020006800f600680065007200200067006500f600660066006e00650074002000770065007200640065006e002e> /ESP <FEFF005500740069006c0069006300650020006500730074006100200063006f006e0066006900670075007200610063006900f3006e0020007000610072006100200063007200650061007200200064006f00630075006d0065006e0074006f00730020005000440046002000640065002000410064006f0062006500200061006400650063007500610064006f00730020007000610072006100200069006d0070007200650073006900f3006e0020007000720065002d0065006400690074006f007200690061006c00200064006500200061006c00740061002000630061006c0069006400610064002e002000530065002000700075006500640065006e00200061006200720069007200200064006f00630075006d0065006e0074006f00730020005000440046002000630072006500610064006f007300200063006f006e0020004100630072006f006200610074002c002000410064006f00620065002000520065006100640065007200200035002e003000200079002000760065007200730069006f006e0065007300200070006f00730074006500720069006f007200650073002e> /ETI <FEFF004b00610073007500740061006700650020006e0065006900640020007300e4007400740065006900640020006b00760061006c006900740065006500740073006500200074007200fc006b006900650065006c007300650020007000720069006e00740069006d0069007300650020006a0061006f006b007300200073006f00620069006c0069006b0065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e00740069006400650020006c006f006f006d006900730065006b0073002e00200020004c006f006f0064007500640020005000440046002d0064006f006b0075006d0065006e00740065002000730061006100740065002000610076006100640061002000700072006f006700720061006d006d006900640065006700610020004100630072006f0062006100740020006e0069006e0067002000410064006f00620065002000520065006100640065007200200035002e00300020006a00610020007500750065006d006100740065002000760065007200730069006f006f006e00690064006500670061002e000d000a> /FRA <FEFF005500740069006c006900730065007a00200063006500730020006f007000740069006f006e00730020006100660069006e00200064006500200063007200e900650072002000640065007300200064006f00630075006d0065006e00740073002000410064006f00620065002000500044004600200070006f0075007200200075006e00650020007100750061006c0069007400e90020006400270069006d007000720065007300730069006f006e00200070007200e9007000720065007300730065002e0020004c0065007300200064006f00630075006d0065006e00740073002000500044004600200063007200e900e90073002000700065007500760065006e0074002000ea0074007200650020006f007500760065007200740073002000640061006e00730020004100630072006f006200610074002c002000610069006e00730069002000710075002700410064006f00620065002000520065006100640065007200200035002e0030002000650074002000760065007200730069006f006e007300200075006c007400e90072006900650075007200650073002e> /GRE <FEFF03a703c103b703c303b903bc03bf03c003bf03b903ae03c303c403b5002003b103c503c403ad03c2002003c403b903c2002003c103c503b803bc03af03c303b503b903c2002003b303b903b1002003bd03b1002003b403b703bc03b903bf03c503c103b303ae03c303b503c403b5002003ad03b303b303c103b103c603b1002000410064006f006200650020005000440046002003c003bf03c5002003b503af03bd03b103b9002003ba03b103c42019002003b503be03bf03c703ae03bd002003ba03b103c403ac03bb03bb03b703bb03b1002003b303b903b1002003c003c103bf002d03b503ba03c403c503c003c903c403b903ba03ad03c2002003b503c103b303b103c303af03b503c2002003c503c803b703bb03ae03c2002003c003bf03b903cc03c403b703c403b103c2002e0020002003a403b10020005000440046002003ad03b303b303c103b103c603b1002003c003bf03c5002003ad03c703b503c403b5002003b403b703bc03b903bf03c503c103b303ae03c303b503b9002003bc03c003bf03c103bf03cd03bd002003bd03b1002003b103bd03bf03b903c703c403bf03cd03bd002003bc03b5002003c403bf0020004100630072006f006200610074002c002003c403bf002000410064006f00620065002000520065006100640065007200200035002e0030002003ba03b103b9002003bc03b503c403b103b303b503bd03ad03c303c403b503c103b503c2002003b503ba03b403cc03c303b503b903c2002e> /HEB <FEFF05D405E905EA05DE05E905D5002005D105D405D205D305E805D505EA002005D005DC05D4002005DB05D305D9002005DC05D905E605D505E8002005DE05E105DE05DB05D9002000410064006F006200650020005000440046002005D405DE05D505EA05D005DE05D905DD002005DC05D405D305E405E105EA002005E705D305DD002D05D305E405D505E1002005D005D905DB05D505EA05D905EA002E002005DE05E105DE05DB05D90020005000440046002005E905E005D505E605E805D5002005E005D905EA05E005D905DD002005DC05E405EA05D905D705D4002005D105D005DE05E605E205D505EA0020004100630072006F006200610074002005D5002D00410064006F00620065002000520065006100640065007200200035002E0030002005D505D205E805E105D005D505EA002005DE05EA05E705D305DE05D505EA002005D905D505EA05E8002E05D005DE05D905DD002005DC002D005000440046002F0058002D0033002C002005E205D905D905E005D5002005D105DE05D305E805D905DA002005DC05DE05E905EA05DE05E9002005E905DC0020004100630072006F006200610074002E002005DE05E105DE05DB05D90020005000440046002005E905E005D505E605E805D5002005E005D905EA05E005D905DD002005DC05E405EA05D905D705D4002005D105D005DE05E605E205D505EA0020004100630072006F006200610074002005D5002D00410064006F00620065002000520065006100640065007200200035002E0030002005D505D205E805E105D005D505EA002005DE05EA05E705D305DE05D505EA002005D905D505EA05E8002E> /HRV (Za stvaranje Adobe PDF dokumenata najpogodnijih za visokokvalitetni ispis prije tiskanja koristite ove postavke. Stvoreni PDF dokumenti mogu se otvoriti Acrobat i Adobe Reader 5.0 i kasnijim verzijama.) /HUN <FEFF004b0069007600e1006c00f30020006d0069006e0151007300e9006701710020006e0079006f006d00640061006900200065006c0151006b00e90073007a00ed007401510020006e0079006f006d00740061007400e100730068006f007a0020006c006500670069006e006b00e1006200620020006d0065006700660065006c0065006c0151002000410064006f00620065002000500044004600200064006f006b0075006d0065006e00740075006d006f006b0061007400200065007a0065006b006b0065006c0020006100200062006500e1006c006c00ed007400e10073006f006b006b0061006c0020006b00e90073007a00ed0074006800650074002e0020002000410020006c00e90074007200650068006f007a006f00740074002000500044004600200064006f006b0075006d0065006e00740075006d006f006b00200061007a0020004100630072006f006200610074002000e9007300200061007a002000410064006f00620065002000520065006100640065007200200035002e0030002c0020007600610067007900200061007a002000610074007400f3006c0020006b00e9007301510062006200690020007600650072007a006900f3006b006b0061006c0020006e00790069007400680061007400f3006b0020006d00650067002e> /ITA <FEFF005500740069006c0069007a007a006100720065002000710075006500730074006500200069006d0070006f007300740061007a0069006f006e00690020007000650072002000630072006500610072006500200064006f00630075006d0065006e00740069002000410064006f00620065002000500044004600200070006900f900200061006400610074007400690020006100200075006e00610020007000720065007300740061006d0070006100200064006900200061006c007400610020007100750061006c0069007400e0002e0020004900200064006f00630075006d0065006e007400690020005000440046002000630072006500610074006900200070006f00730073006f006e006f0020006500730073006500720065002000610070006500720074006900200063006f006e0020004100630072006f00620061007400200065002000410064006f00620065002000520065006100640065007200200035002e003000200065002000760065007200730069006f006e006900200073007500630063006500730073006900760065002e> /JPN <FEFF9ad854c18cea306a30d730ea30d730ec30b951fa529b7528002000410064006f0062006500200050004400460020658766f8306e4f5c6210306b4f7f75283057307e305930023053306e8a2d5b9a30674f5c62103055308c305f0020005000440046002030d530a130a430eb306f3001004100630072006f0062006100740020304a30883073002000410064006f00620065002000520065006100640065007200200035002e003000204ee5964d3067958b304f30533068304c3067304d307e305930023053306e8a2d5b9a306b306f30d530a930f330c8306e57cb30818fbc307f304c5fc59808306730593002> /KOR <FEFFc7740020c124c815c7440020c0acc6a9d558c5ec0020ace0d488c9c80020c2dcd5d80020c778c1c4c5d00020ac00c7a50020c801d569d55c002000410064006f0062006500200050004400460020bb38c11cb97c0020c791c131d569b2c8b2e4002e0020c774b807ac8c0020c791c131b41c00200050004400460020bb38c11cb2940020004100630072006f0062006100740020bc0f002000410064006f00620065002000520065006100640065007200200035002e00300020c774c0c1c5d0c11c0020c5f40020c2180020c788c2b5b2c8b2e4002e> /LTH <FEFF004e006100750064006f006b0069007400650020016100690075006f007300200070006100720061006d006500740072007500730020006e006f0072011700640061006d00690020006b0075007200740069002000410064006f00620065002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b00750072006900650020006c0061006200690061007500730069006100690020007000720069007400610069006b007900740069002000610075006b01610074006f00730020006b006f006b007900620117007300200070006100720065006e006700740069006e00690061006d00200073007000610075007300640069006e0069006d00750069002e0020002000530075006b0075007200740069002000500044004600200064006f006b0075006d0065006e007400610069002000670061006c006900200062016b007400690020006100740069006400610072006f006d00690020004100630072006f006200610074002000690072002000410064006f00620065002000520065006100640065007200200035002e0030002000610072002000760117006c00650073006e0117006d00690073002000760065007200730069006a006f006d00690073002e> /LVI <FEFF0049007a006d0061006e0074006f006a00690065007400200161006f00730020006900650073007400610074012b006a0075006d00750073002c0020006c0061006900200076006500690064006f00740075002000410064006f00620065002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b006100730020006900720020012b00700061016100690020007000690065006d01130072006f00740069002000610075006700730074006100730020006b00760061006c0069007401010074006500730020007000690072006d007300690065007300700069006501610061006e006100730020006400720075006b00610069002e00200049007a0076006500690064006f006a006900650074002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b006f002000760061007200200061007400760113007200740020006100720020004100630072006f00620061007400200075006e002000410064006f00620065002000520065006100640065007200200035002e0030002c0020006b0101002000610072012b00200074006f0020006a00610075006e0101006b0101006d002000760065007200730069006a0101006d002e> /NLD (Gebruik deze instellingen om Adobe PDF-documenten te maken die zijn geoptimaliseerd voor prepress-afdrukken van hoge kwaliteit. De gemaakte PDF-documenten kunnen worden geopend met Acrobat en Adobe Reader 5.0 en hoger.) /NOR <FEFF004200720075006b00200064006900730073006500200069006e006e007300740069006c006c0069006e00670065006e0065002000740069006c002000e50020006f0070007000720065007400740065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e00740065007200200073006f006d00200065007200200062006500730074002000650067006e0065007400200066006f00720020006600f80072007400720079006b006b0073007500740073006b00720069006600740020006100760020006800f800790020006b00760061006c0069007400650074002e0020005000440046002d0064006f006b0075006d0065006e00740065006e00650020006b0061006e002000e50070006e00650073002000690020004100630072006f00620061007400200065006c006c00650072002000410064006f00620065002000520065006100640065007200200035002e003000200065006c006c00650072002000730065006e006500720065002e> /POL <FEFF0055007300740061007700690065006e0069006100200064006f002000740077006f0072007a0065006e0069006100200064006f006b0075006d0065006e007400f300770020005000440046002000700072007a0065007a006e00610063007a006f006e00790063006800200064006f002000770079006400720075006b00f30077002000770020007700790073006f006b00690065006a0020006a0061006b006f015b00630069002e002000200044006f006b0075006d0065006e0074007900200050004400460020006d006f017c006e00610020006f007400770069006500720061010700200077002000700072006f006700720061006d006900650020004100630072006f00620061007400200069002000410064006f00620065002000520065006100640065007200200035002e0030002000690020006e006f00770073007a0079006d002e> /PTB <FEFF005500740069006c0069007a006500200065007300730061007300200063006f006e00660069006700750072006100e700f50065007300200064006500200066006f0072006d00610020006100200063007200690061007200200064006f00630075006d0065006e0074006f0073002000410064006f0062006500200050004400460020006d00610069007300200061006400650071007500610064006f00730020007000610072006100200070007200e9002d0069006d0070007200650073007300f50065007300200064006500200061006c007400610020007100750061006c00690064006100640065002e0020004f007300200064006f00630075006d0065006e0074006f00730020005000440046002000630072006900610064006f007300200070006f00640065006d0020007300650072002000610062006500720074006f007300200063006f006d0020006f0020004100630072006f006200610074002000650020006f002000410064006f00620065002000520065006100640065007200200035002e0030002000650020007600650072007300f50065007300200070006f00730074006500720069006f007200650073002e> /RUM <FEFF005500740069006c0069007a00610163006900200061006300650073007400650020007300650074010300720069002000700065006e007400720075002000610020006300720065006100200064006f00630075006d0065006e00740065002000410064006f006200650020005000440046002000610064006500630076006100740065002000700065006e0074007200750020007400690070010300720069007200650061002000700072006500700072006500730073002000640065002000630061006c006900740061007400650020007300750070006500720069006f006100720103002e002000200044006f00630075006d0065006e00740065006c00650020005000440046002000630072006500610074006500200070006f00740020006600690020006400650073006300680069007300650020006300750020004100630072006f006200610074002c002000410064006f00620065002000520065006100640065007200200035002e00300020015f00690020007600650072007300690075006e0069006c006500200075006c0074006500720069006f006100720065002e> /RUS <FEFF04180441043f043e043b044c04370443043904420435002004340430043d043d044b04350020043d0430044104420440043e0439043a043800200434043b044f00200441043e043704340430043d0438044f00200434043e043a0443043c0435043d0442043e0432002000410064006f006200650020005000440046002c0020043c0430043a04410438043c0430043b044c043d043e0020043f043e04340445043e0434044f04490438044500200434043b044f00200432044b0441043e043a043e043a0430044704350441044204320435043d043d043e0433043e00200434043e043f0435044704300442043d043e0433043e00200432044b0432043e04340430002e002000200421043e043704340430043d043d044b04350020005000440046002d0434043e043a0443043c0435043d0442044b0020043c043e0436043d043e0020043e0442043a0440044b043204300442044c002004410020043f043e043c043e0449044c044e0020004100630072006f00620061007400200438002000410064006f00620065002000520065006100640065007200200035002e00300020043800200431043e043b043504350020043f043e04370434043d043804450020043204350440044104380439002e> /SKY <FEFF0054006900650074006f0020006e006100730074006100760065006e0069006100200070006f0075017e0069007400650020006e00610020007600790074007600e100720061006e0069006500200064006f006b0075006d0065006e0074006f0076002000410064006f006200650020005000440046002c0020006b0074006f007200e90020007300610020006e0061006a006c0065007001610069006500200068006f0064006900610020006e00610020006b00760061006c00690074006e00fa00200074006c0061010d00200061002000700072006500700072006500730073002e00200056007900740076006f00720065006e00e900200064006f006b0075006d0065006e007400790020005000440046002000620075006400650020006d006f017e006e00e90020006f00740076006f00720069016500200076002000700072006f006700720061006d006f006300680020004100630072006f00620061007400200061002000410064006f00620065002000520065006100640065007200200035002e0030002000610020006e006f0076016100ed00630068002e> /SLV <FEFF005400650020006e006100730074006100760069007400760065002000750070006f0072006100620069007400650020007a00610020007500730074007600610072006a0061006e006a006500200064006f006b0075006d0065006e0074006f0076002000410064006f006200650020005000440046002c0020006b006900200073006f0020006e0061006a007000720069006d00650072006e0065006a016100690020007a00610020006b0061006b006f0076006f00730074006e006f0020007400690073006b0061006e006a00650020007300200070007200690070007200610076006f0020006e00610020007400690073006b002e00200020005500730074007600610072006a0065006e006500200064006f006b0075006d0065006e0074006500200050004400460020006a00650020006d006f0067006f010d00650020006f0064007000720065007400690020007a0020004100630072006f00620061007400200069006e002000410064006f00620065002000520065006100640065007200200035002e003000200069006e0020006e006f00760065006a01610069006d002e> /SUO <FEFF004b00e40079007400e40020006e00e40069007400e4002000610073006500740075006b007300690061002c0020006b0075006e0020006c0075006f00740020006c00e400680069006e006e00e4002000760061006100740069007600610061006e0020007000610069006e006100740075006b00730065006e002000760061006c006d0069007300740065006c00750074007900f6006800f6006e00200073006f00700069007600690061002000410064006f0062006500200050004400460020002d0064006f006b0075006d0065006e007400740065006a0061002e0020004c0075006f0064007500740020005000440046002d0064006f006b0075006d0065006e00740069007400200076006f0069006400610061006e0020006100760061007400610020004100630072006f0062006100740069006c006c00610020006a0061002000410064006f00620065002000520065006100640065007200200035002e0030003a006c006c00610020006a006100200075007500640065006d006d0069006c006c0061002e> /SVE <FEFF0041006e007600e4006e00640020006400650020006800e4007200200069006e0073007400e4006c006c006e0069006e006700610072006e00610020006f006d002000640075002000760069006c006c00200073006b006100700061002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e007400200073006f006d002000e400720020006c00e4006d0070006c0069006700610020006600f60072002000700072006500700072006500730073002d007500740073006b00720069006600740020006d006500640020006800f600670020006b00760061006c0069007400650074002e002000200053006b006100700061006400650020005000440046002d0064006f006b0075006d0065006e00740020006b0061006e002000f600700070006e00610073002000690020004100630072006f0062006100740020006f00630068002000410064006f00620065002000520065006100640065007200200035002e00300020006f00630068002000730065006e006100720065002e> /TUR <FEFF005900fc006b00730065006b0020006b0061006c006900740065006c0069002000f6006e002000790061007a006401310072006d00610020006200610073006b013100730131006e006100200065006e0020006900790069002000750079006100620069006c006500630065006b002000410064006f006200650020005000440046002000620065006c00670065006c0065007200690020006f006c0075015f007400750072006d0061006b0020006900e70069006e00200062007500200061007900610072006c0061007201310020006b0075006c006c0061006e0131006e002e00200020004f006c0075015f0074007500720075006c0061006e0020005000440046002000620065006c00670065006c0065007200690020004100630072006f006200610074002000760065002000410064006f00620065002000520065006100640065007200200035002e003000200076006500200073006f006e0072006100730131006e00640061006b00690020007300fc007200fc006d006c00650072006c00650020006100e70131006c006100620069006c00690072002e> /UKR <FEFF04120438043a043e0440043804410442043e043204430439044204350020044604560020043f043004400430043c043504420440043800200434043b044f0020044104420432043e04400435043d043d044f00200434043e043a0443043c0435043d044204560432002000410064006f006200650020005000440046002c0020044f043a04560020043d04300439043a04400430044904350020043f045604340445043e0434044f0442044c00200434043b044f0020043204380441043e043a043e044f043a04560441043d043e0433043e0020043f0435044004350434043404400443043a043e0432043e0433043e0020043404400443043a0443002e00200020042104420432043e04400435043d045600200434043e043a0443043c0435043d0442043800200050004400460020043c043e0436043d04300020043204560434043a0440043804420438002004430020004100630072006f006200610074002004420430002000410064006f00620065002000520065006100640065007200200035002e0030002004300431043e0020043f04560437043d04560448043e04570020043204350440044104560457002e> /ENU (Use these settings to create Adobe PDF documents best suited for high-quality prepress printing. Created PDF documents can be opened with Acrobat and Adobe Reader 5.0 and later.) >> /Namespace [ (Adobe) (Common) (1.0) ] /OtherNamespaces [ << /AsReaderSpreads false /CropImagesToFrames true /ErrorControl /WarnAndContinue /FlattenerIgnoreSpreadOverrides false /IncludeGuidesGrids false /IncludeNonPrinting false /IncludeSlug false /Namespace [ (Adobe) (InDesign) (4.0) ] /OmitPlacedBitmaps false /OmitPlacedEPS false /OmitPlacedPDF false /SimulateOverprint /Legacy >> << /AddBleedMarks false /AddColorBars false /AddCropMarks false /AddPageInfo false /AddRegMarks false /ConvertColors /ConvertToCMYK /DestinationProfileName () /DestinationProfileSelector /DocumentCMYK /Downsample16BitImages true /FlattenerPreset << /PresetSelector /MediumResolution >> /FormElements false /GenerateStructure false /IncludeBookmarks false /IncludeHyperlinks false /IncludeInteractive false /IncludeLayers false /IncludeProfiles false /MultimediaHandling /UseObjectSettings /Namespace [ (Adobe) (CreativeSuite) (2.0) ] /PDFXOutputIntentProfileSelector /DocumentCMYK /PreserveEditing true /UntaggedCMYKHandling /LeaveUntagged /UntaggedRGBHandling /UseDocumentProfile /UseDocumentBleed false >> ] >> setdistillerparams << /HWResolution [2400 2400] /PageSize [612.000 792.000] >> setpagedevice

Гарантированная оценка эффективности диагностических тестов на основе усиленного ROC-анализа

Репозитарії

Схожі ресурси