Эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности
Предложен новый непараметрический метод DDα-процедура для автоматической классификации на θ ≥ 2 классов по многомерным данным. Классификатор DDα применен на имитационных и реальных данных. Приведено сравнение частоты ошибок при применении DDα и других дискриминантных методов....
Gespeichert in:
| Datum: | 2013 |
|---|---|
| Hauptverfasser: | , , |
| Format: | Artikel |
| Sprache: | Russian |
| Veröffentlicht: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2013
|
| Schriftenreihe: | Управляющие системы и машины |
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/83143 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности / Т. Ланге, К. Мослер, П. Можаровский // Управляющие системы и машины. — 2013. — № 2. — С. 47-58. — Бібліогр.: 29 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-83143 |
|---|---|
| record_format |
dspace |
| spelling |
nasplib_isofts_kiev_ua-123456789-831432025-02-23T17:42:55Z Эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности The Efficient Depth Based Classification Using a Projective Invariant of a Class Membership Ефективна глибинна класифікація за допомогою проективного інваріанту належності до класу Ланге, Т. Мослер, К. Можаровский, П. Искусственный интеллект и обработка знаний Предложен новый непараметрический метод DDα-процедура для автоматической классификации на θ ≥ 2 классов по многомерным данным. Классификатор DDα применен на имитационных и реальных данных. Приведено сравнение частоты ошибок при применении DDα и других дискриминантных методов. The DDα-procedure is a nonparametric method for the supervised classification of multidimensional objects originating from θ ≥ 2 classes. The behavior of the DDα-classifier is investigated on the simulated as well as real data. The new procedure outperforms many existing discrimination methods, including SVM, regarding training speed, while its error rate is comparable with those techniques. Запропоновано новий непараметричний метод DDα-процедура для автоматичної класифікації на θ ≥ 2 класів багатовимірних даних. Класифікатор DDα застосовано до імітаційних та реальних даних. Наведено порівняння частоти помилок при застосуванні DDα та інших дискримінантних методів. 2013 Article Эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности / Т. Ланге, К. Мослер, П. Можаровский // Управляющие системы и машины. — 2013. — № 2. — С. 47-58. — Бібліогр.: 29 назв. — рос. 0130-5395 https://nasplib.isofts.kiev.ua/handle/123456789/83143 004.93 ru Управляющие системы и машины application/pdf Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Искусственный интеллект и обработка знаний Искусственный интеллект и обработка знаний |
| spellingShingle |
Искусственный интеллект и обработка знаний Искусственный интеллект и обработка знаний Ланге, Т. Мослер, К. Можаровский, П. Эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности Управляющие системы и машины |
| description |
Предложен новый непараметрический метод DDα-процедура для автоматической классификации на θ ≥ 2 классов по многомерным данным. Классификатор DDα применен на имитационных и реальных данных. Приведено сравнение частоты ошибок при применении DDα и других дискриминантных методов. |
| format |
Article |
| author |
Ланге, Т. Мослер, К. Можаровский, П. |
| author_facet |
Ланге, Т. Мослер, К. Можаровский, П. |
| author_sort |
Ланге, Т. |
| title |
Эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности |
| title_short |
Эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности |
| title_full |
Эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности |
| title_fullStr |
Эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности |
| title_full_unstemmed |
Эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности |
| title_sort |
эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности |
| publisher |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| publishDate |
2013 |
| topic_facet |
Искусственный интеллект и обработка знаний |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/83143 |
| citation_txt |
Эффективная глубинная классификация с помощью проективного инварианта классовой принадлежности / Т. Ланге, К. Мослер, П. Можаровский // Управляющие системы и машины. — 2013. — № 2. — С. 47-58. — Бібліогр.: 29 назв. — рос. |
| series |
Управляющие системы и машины |
| work_keys_str_mv |
AT langet éffektivnaâglubinnaâklassifikaciâspomoŝʹûproektivnogoinvariantaklassovojprinadležnosti AT moslerk éffektivnaâglubinnaâklassifikaciâspomoŝʹûproektivnogoinvariantaklassovojprinadležnosti AT možarovskijp éffektivnaâglubinnaâklassifikaciâspomoŝʹûproektivnogoinvariantaklassovojprinadležnosti AT langet theefficientdepthbasedclassificationusingaprojectiveinvariantofaclassmembership AT moslerk theefficientdepthbasedclassificationusingaprojectiveinvariantofaclassmembership AT možarovskijp theefficientdepthbasedclassificationusingaprojectiveinvariantofaclassmembership AT langet efektivnaglibinnaklasifíkacíâzadopomogoûproektivnogoínvaríantunaležnostídoklasu AT moslerk efektivnaglibinnaklasifíkacíâzadopomogoûproektivnogoínvaríantunaležnostídoklasu AT možarovskijp efektivnaglibinnaklasifíkacíâzadopomogoûproektivnogoínvaríantunaležnostídoklasu |
| first_indexed |
2025-11-24T05:53:35Z |
| last_indexed |
2025-11-24T05:53:35Z |
| _version_ |
1849649912342380544 |
| fulltext |
УСиМ, 2013, № 2 47
УДК 004.93
Т. Ланге, К. Мослер, П. Можаровский
Эффективная глубинная классификация
с помощью проективного инварианта классовой принадлежности
Предложен новый непараметрический метод DD-процедура для автоматической классификации на 2 классов по много-
мерным данным. Классификатор DD применен на имитационных и реальных данных. Приведено сравнение частоты ошибок
при применении DD и других дискриминантных методов.
The DD-procedure is a nonparametric method for the supervised classification of multidimensional objects originating from 2
classes. The behavior of the DD-classifier is investigated on the simulated as well as real data. The new procedure outperforms many
existing discrimination methods, including SVM, regarding training speed, while its error rate is comparable with those techniques.
Запропоновано новий непараметричний метод DD-процедура для автоматичної класифікації на 2 класів багатовимірних даних.
Класифікатор DD застосовано до імітаційних та реальних даних. Наведено порівняння частоти помилок при застосуванні
DD та інших дискримінантних методів.
Введение. Статья посвящена всемирно извест-
ному ученому в области самоорганизации и
самообучения в распознавании образов [1–5]
академику Алексею Григорьевичу Ивахненко.
Одна из авторов, Т. Ланге, с большой благодар-
ностью и радостью вспоминает педагогичес-
кий талант своего первого научного руководи-
теля А.Г. Ивахненко, который поддержал и раз-
вил научный интерес у сотен своих аспирантов.
В статье описана идея предлагаемого мето-
да с исторической справкой; вводится понятие
преобразования глубины, которое переводит
данные из d-размерного объектного простран-
ства в -размерное пространство глубины. Так-
же предложено первое обсуждение проблемы
«аутсайдеров» (не «outlier») – точек, имеющих
нулевой вектор глубин; рассмотрена модифи-
кация -процедуры в некоторых деталях, а так-
же несколько теоретических результатов пове-
дения DD-процедуры на эллиптических и
зеркальных симметрических распределениях;
приведены результаты имитации и сравнения;
вычисления на примерах реальных данных.
Описание идеи метода
В настоящее время наблюдается новая вол-
на интереса к теории самообучения, связанная
с появлением непараметрического инструмен-
тария в статистике. При этом особенно выде-
ляют построение функций глубины, таких как
предложенная в 1974 году полупространствен-
ная глубина [6] или выдвинутая в 1990 году
симплексная глубина [7]. Несмотря на то, что
только в последнее десятилетие функции глу-
бины начали применяться в классификации с
использованием обучающих последовательно-
стей (т.е. с учителем), они дали новый и мощ-
ный импульс теории распознавания образов.
В случае обучения с учителем классифици-
рующая функция строится с помощью обучаю-
щего набора данных в d-мерном пространстве,
где каждая точка описывает один объект, при-
надлежащий определенному классу. В обучаю-
щем наборе данных «учитель» маркирует каж-
дый объект меткой, указывающей на то, к ка-
кому классу он принадлежит. Таким образом,
имеется два или больше маркированных раз-
ными «стиккерами» облаков обучающих дан-
ных в d-мерном пространстве. Глубина данных
измеряет центрированность определенной точ-
ки относительно каждого облака. Она опреде-
ляет степень близости к каждому «стиккеру»
любой точки в d-мерном пространстве.
Для задач классификации это может быть
решено по-разному. Многие авторы использо-
вали идеи глубины данных в области класси-
фикации с учителем. В 1999 году впервые бы-
ли отмечены полезность и многосторонность
глубинных трансформаций в многомерном ана-
лизе [8]. Была введена нотация «DD-диаграм-
мы» для двухмерного представления многомер-
ных объектов с помощью их глубин данных
относительно двух заданных распределений.
На плоскости ( = 2 для двух классов) абс-
циссами (без ординат) служат значения глубин.
48 УСиМ, 2013, № 2
Для каждого объекта (точки) на DD-диаграмме
рассчитывается его глубина относительно ка-
ждого из двух классов. Принадлежность объ-
екта к какому-либо классу можно определять
по тому, в каком классе он имеет максималь-
ную глубину.
Многие авторы [9–11] применяли этот или
подобные методы. В [12, 13] описана разде-
ляющая функция, линейная в плоскости, бази-
рующейся на оценках ядра проекции глубины,
соответственно «Lp-глубины». В настоящее вре-
мя авторы [14] используют полиномиальные
разделяющие функции на DD-диаграмме для
классификации объектов с помощью представ-
ления их глубины.
Все эти методы отличаются разным исполь-
зованием глубины, и все они открыты для из-
менений и расширений. Общим во всех упомя-
нутых методах есть то, что многомерное про-
странство объектов (размерность которых ино-
гда может быть очень большой) преобразовы-
вается в пространство редуцированной размер-
ности значений глубин этих объектов, и задача
классификации решается в новом пространстве
глубин.
Однако существует много нерешенных во-
просов, связанных с глубиной данных. Какая
из известных мер глубины – наилучшая ? Ка-
кой классифицирующий алгоритм лучше всего
применить на данных, описывающих глубину ?
И, наконец, можно ли расширить процедуру
для случаев, где имеется больше чем два клас-
са ( > 2) ? Упомянутые источники по-разному
отвечают на эти вопросы.
Полупространственные и симплексные глу-
бины, использованные в работах [8, 9, 14], за-
висят только от комбинаторной структуры дан-
ных. При этом они устойчивы в охваченной об-
ласти данных, т.е. они робастны к выбросам, но
вычисления могут быть громоздкими или даже
невозможными. С другой стороны, глубина Ма-
халанобиса [15], тоже применяемая в упомяну-
тых трудах, требует мало вычислений, но в боль-
шей степени неробастна. Более того, она зави-
сит только от первых двух моментов и не от-
ражает несимметричности данных. Более ро-
бастные формы глубины Махаланобиса также
остаются нечувствительными к несимметрич-
ности данных.
Использованная в [9] L1-глубина имеет ана-
логичные недостатки. В [12] применяется фор-
ма Lp-глубины, которая легко вычисляется при
известном p. Можно определить p с помощью
адаптивной процедуры, но для этого необходим
большой объем вычислений. В [11] использу-
ется максимальная глубина зоноида в комби-
нации с глубиной Махаланобиса. Тот и другой
метод могут эффективно использоваться даже
в случае большой размерности, но оба страда-
ют отсутствием робастности.
В [14] описан другой подход, в котором про-
блема классификации на DD-диаграмме реша-
ется конструированием полиномиальной ли-
нии, разделяющей единичный квадрант с ми-
нимальной частотой ложных классификаций.
Степень полинома (до трех) выбирается путем
перекрестной проверки. Подобным образом (ме-
тодом валидации) определяются разделяющие
функции в [12, 13]. При наличии > 2 классов
обычно используется двухэтапная процедура
классификации: в начале применяются
2
классификаторов, выбранных попарно для всех
классов; на втором этапе точку относят к тому
классу, к которому ее чаще всего относили на
этапе 1.
В данной статье применяется глубина зо-
ноида [16, 17], так как она эффективно вычис-
ляется для многомерных данных (включая
20d и более), а также имеет отличные тео-
ретические свойства – непрерывность и стати-
стическое заключение. Однако глубина зонои-
да имеет и слабые стороны. Например, если важ-
на робастность, то необходимо предваритель-
но обработать данные процедурой нахождения
выбросов.
Для финальной классификации в простран-
стве глубин используется разновидность -про-
цедуры [18–20], которая просто и очень эф-
фективно работает на пространствах с неболь-
шим числом измерений, а пространство глубин
таким и есть. Для классификации двух классов
используем DD-диаграммы, а для > 2 классов
УСиМ, 2013, № 2 49
применяем -мерные глубинные диаграммы.
Принадлежность точки к классу определяется
по максимальному значению одного из
2
би-
нарных классификаторов в -мерном простран-
стве глубин.
Следует обратить внимание на то, что при
каждой бинарной классификации используется
вся информация о глубинах, которая относится
ко всем классам. Такой метод назовем DD-
методом и применим его как на искусственных,
так и на реальных данных. Полученные резуль-
таты отличаются от представленных в [12–14].
Особенности процедуры классификации:
эффективность процедуры вычисления для
объектов большой размерности;
высокая скорость процедуры классифика-
ции D-трансформированных данных;
использование полной многомерной ин-
формации для классификации > 2 классов.
Преобразование глубины
Функция глубины – это функция, показы-
вающая, насколько близко к «центру» конеч-
ного множества X R
d находится заданная точ-
ка x, т.е. насколько «глубоко» она находится в
этом множестве. Функция глубины – функция
( , ) ( ) [0,1], ,d d
Xx X D x x R X R ,
удовлетворяющая следующим ограничениям:
аффинно инвариантна; полунепрерывна свер-
ху; квазивогнута в точке x (т.е. имеет выпук-
лые верхние Лебеговы множества); стремится
к нулю при || ||x .
Иногда налагаются два более слабых огра-
ничения: ортогональная инвариантность; убы-
вание вдоль лучей, которые начинаются в точ-
ке с максимальной глубиной (т.е. имеет верх-
ние Лебеговы множества в виде звезды). Ис-
следование этих ограничений и многих специ-
альных понятий глубины данных описано в
[17, 21–24].
Пусть данные в R
d необходимо классифици-
ровать на 2 классов, и X1, , Xq R
d – обу-
чающие множества для этих классов, имеющие
конечные размерности | |j jn X ; D – глубина
данных. Функцию R
d[0, 1]q, отображающую:
))(,),((:
1
xDxDdx
qXX , (1)
назовем представлением глубины. Каждый
объект характеризируется вектором, в котором
компонент указывают его глубину (близость)
относительно классов. В частности, обучаю-
щие наборы Xj R
d
переходят в множества в
пространстве [0,1] , характеризующие исходные
классы в глубинном пространстве. Заметим, что
«близость» точек в исходном пространстве пе-
реходит в «близость» в их представлении. Те-
перь задачей классификации становится разбие-
ние глубинного пространства [0,1] на частей.
Покажем сказанное на примере (рис. 1), где
исходное d-мерное пространство признаков
трансформируется в -мерное глубинное про-
странство -классов.
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
● ●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
d = 2 = 2
Рис. 1. Исходное пространство признаков; DD-диаграмма: глу-
бинное пространство двух классов
В качестве простого правила разбиения в но-
вом пространстве можно, например, предложить
следующее: точка классифицируется как при-
надлежащая тому классу, в котором она имеет
наибольшее значение глубины [9, 10]). Это зна-
чит, что пространство глубин разбито на час-
тей, разделенных между собой с помощью се-
кущих гиперплоскостей. Такая классификация с
помощью максимальной глубины есть линей-
ным правилом. Нелинейное правило классифи-
кации было применено в [14], где рассмотрено
построение разделяющей полиномиальной ли-
нии до третьего порядка для пространства [0,
1]2, т.е. в случае, если = 2 [12, 13].
Учитывая несколько важных свойств глуби-
ны данных, ( )XD x обращается в ноль вне вы-
пуклой оболочки X. Это происходит в случае с
50 УСиМ, 2013, № 2
полупространственной и симплексной глуби-
ной, а также глубиной зоноида, но не с глуби-
ной Махаланобиса и Lp-глубиной. Точка, кото-
рая не находится внутри выпуклой оболочки
по крайней мере одного из обучающих мно-
жеств, отображается на начало координат про-
странства глубин. Такую точку будем называть
«аутсайдер». Конечно, она не может быть ни
правильно классифицирована, ни проигнориро-
вана. Рассмотрим три возможных подхода для
классификации этой точки. Каждый из подхо-
дов содержит в себе несколько различных ва-
риантов реализации:
классифицировать случайным образом с ве-
роятностями, равными ожидаемой доле вход-
ных точек быть классифицированными;
использовать алгоритм k-ближайших сосе-
дей с правильно подобранным расстоянием – ев-
клидовым, Lp-расстоянием, Махаланобиса с оцен-
ками моментов, расстоянием Махаланобиса с
робастными оценками MCD, например [25];
классифицировать с использованием мак-
симальной глубины Махаланобиса (используя
оценки моментов или MCD) или с использова-
нием максимума другой глубины, которая долж-
ным образом расширена вне выпуклой оболоч-
ки, как, например, в [11].
В [26] доказываются следующие утвержде-
ния относительно глубины.
Утверждение 1. Пусть D – аффинно инва-
риантная функция глубины, а P – эллиптиче-
ское распределение. Тогда для любого (0, 1]
верхнее Лебегово множество
( ) { | ( ) }d
PD P x R D x (2)
есть эллипсоид.
Утверждение 2. 1) Пусть D – глубина зоно-
ида, а ( , ', )P Ell BB r – унимодальное эллипти-
ческое распределение. Тогда для любого непу-
стого верхнего Лебегова множества функции
плотности {x R
d f(x) } существует = ()
такое, что:
{ | ( ) } ( )dx R f x D P . (3)
2) Если к тому же носитель функции r пред-
ставляет собой замкнутый интервал, то – не-
прерывная, строго возрастающая функция. Тог-
да справедливо ( ) ( ( ))PD x f x и, следовательно,
( ) ( ) ( ) ( )P Pf x f y D x D y . (4)
Альфа-процедура
Вначале проводится предварительный от-
бор и оставляется для дальнейшей обработки
только те m свойств pq, для которых можно
найти два пороговых значения 0
1qx и 0
2qx , раз-
деляющие ось значения свойства pq в три сег-
мента (рис. 2).
Рис. 2. Пересечение объектов, относящихся к двум классам
После этого вводим понятие разделяющей
силы, определяемой для отдельного свойства
как q
qF p
l
, где ωq – число объектов, рас-
положенных вне сегмента пересечения свойства
pq, l – длина обучающей выборки, т.е. число
объектов.
Для синтеза пространства шаг за шагом вы-
бираются признаки, имеющие наилучшие раз-
деляющие мощности.
Каждый новый признак редуцирует сегмент
пересечения и увеличивает число правильно
классифицированных объектов. Применяется
следующее определение разделяющей силы при-
знака на k-м шагу селекции:
1
0, 0k k k
kF x
l l
,
где ωk–1 – аккумулированное число правильно
классифицированных объектов перед выбором
k-го признака, а ωk – такое же число после вы-
бора k-го признака.
На первом шагу выбирается свойство с наи-
лучшей разделяющей мощностью как базовый
признак f0 (рис. 3) и представляется вместе с
его численными значениями для всех объектов
как ось.
На следующем шаге к системе координат
добавляется второе свойство pk и определяют-
ся позиции всех объектов на плоскости, опре-
деляемой осями f0 и pk. Далее в этой плоскости
формируется новая ось, которая вращается во-
УСиМ, 2013, № 2 51
круг начала системы координат на угол до
тех пор, пока проекции объектов на нее не да-
дут наилучшего разделения объектов.
Рис. 3. Альфа-процедура, первый шаг
Эта процедура повторяется для всех остав-
шихся свойств, и из них выбирается свойство,
дающее наилучшее разделение объектов на
соответствующей оси 1
~
f . Это новое свойство
берется как следующий признак, и таким обра-
зом строится первый репер (рис. 4).
1-й репер
«Искусственное»
Рис. 4. Альфа-процедура, второй шаг
На третьем шаге добавляется следующее
свойство pj как третья ось и определяются по-
зиции всех объектов на новой плоскости, ко-
торая образуется осями 1
~
f и pj. Затем строим
новую ось в этой новой плоскости и вращаем
эту ось вокруг начала системы координат на
угол α до тех пор, пока проекции объектов на
нее не дадут лучшее разделение объектов. Эта
процедура повторяется для всех оставшихся
свойств, и из них выбирается наилучшее, кото-
рое формирует второй репер (рис. 5). В нашем
простом примере уже третий шаг ведет к без-
ошибочному разделению объектов.
В случае, если после перебора всех призна-
ков полное разделение объектов не достигну-
то, используется специальный критерий оста-
новки [27]. Вектор Дарбу разделяющей реша-
ющей плоскости описывается последователь-
ностью значений:
0 0 0
2
2 3
0 0 0
0
1
cos , sin cos ,...,
sin cos ,..., sin ; ,
n n
k k
k k
n
q k n
k q
n n
где позиция номера в последовательности со-
ответствует номеру шага процедуры.
Нуль-пересечение
2-й репер
Рис. 5. Альфа-процедура, третий шаг
Учитывая, что порядок элементов вектора
Дарбу определяется индукцией процедуры, они
должны приписываться к своим свойствам в
обратном порядке в практических задачах клас-
сификации. Пример разделяющей решающей
плоскости и декомпозиции соответствующего
направляющего вектора показан на рис. 6 и 7.
Свойства, не выбранные процедурой, не учи-
тываются для классификации.
Нуль-пересечение
Рис. 6. Разделяющая решающая плоскость
52 УСиМ, 2013, № 2
Примечание. Если разделение объектов не-
возможно в оригинальном пространстве свойств,
то следует расширить это пространство конст-
руированием расширенных свойств типа xiq xir ;
i =1, , l ; q, r = 1, , m .
Расстояние до разделяющего
гиперпространства
Рис. 7. Декомпозиция направляющего вектора разделяющей
решающей плоскости
В [26] доказаны следующие теоремы отно-
сительно алгоритма DD.
Теорема 1 (Байесово правило). Пусть F и
G – распределение вероятностей в R
d с плот-
ностями f и g соответственно; H – такая гипер-
плоскость, что G – зеркальное отражение F по
отношению к H, и f g в одном из отделяемых
этой гиперплоскостью полупространств. Тогда,
приняв за основу 50 : 50 независимых приме-
ров из F и G, DD-процедура асимптотически
придет к линейному разделяющему правилу, со-
ответствующему биссектрисе DD-диаграммы.
Теорема 2. Пусть F, G – унимодальные эл-
липтические распределения вероятностей, F =
( , ', )FEll BB r , ( , ', )GG Ell BB r . Тогда, при-
няв за основу 50 : 50 независимых примеров из
F иG , DD-процедура асимптотически придет
к линейному разделяющему правилу, соответ-
ствующему биссектрисе DD-диаграммы.
Имитация
Исследуем обобщающую способность DD-
классификатора путем моделирования, и срав-
нение его как с известными традиционными,
так и с глубинными классификаторами, пред-
лагаемыми в более поздней литературе. При
этом внимание уделим трем случаям:
«идеализированные» условия нормального
распределения;
условия «тяжелых хвостов» на примере
распределения Коши;
внутри- и межклассовая асимметрия (под
последним термином будем понимать принад-
лежность классов к разным семействам распре-
делений).
Для этой цели DD-классификатор запро-
граммирован в среде статистического програм-
мирования «R» с реализацией критических по
скорости модулей на C++; программная часть
может быть получена по запросу у авторов.
Сравнение для каждой отдельной задачи обу-
чения распознаванию образов (для каждой пары
распределений, представляющих классы) проис-
ходит следующим образом. Вначале генерирует-
ся обучающая выборка, содержащая по 200 на-
блюдений в каждом классе, на которых и осу-
ществляется обучение всех рассматриваемых
классификаторов. После этого распознается про-
верочная выборка, содержащая по 500 наблю-
дений в каждом классе, и для каждого класси-
фикатора подсчитывается допущенная ошибка
(в долях единицы). Повторение изложенной по-
следовательности действий 100 раз формирует
для каждого классификатора массив из 100 зна-
чений – ошибок распознавания, отображаемый
бокс-диаграммой из «усатых ящиков». Для каж-
дой задачи бокс-диаграммы рассматриваемых
классификаторов представляют комбинирован-
ную диаграмму ошибок распознавания – ком-
пактный рисунок, удобный для визуального
сравнения.
Обобщающая способность DD-классифи-
катора сравнивается в первую очередь с тремя
традиционными классификаторами: линейным
(LDA) и квадратичным (QDA) дискриминант-
ным анализом и классификатором k ближайших
соседей (KNN), где k определяется методом
скользящего контроля. Рассматриваются также
классификаторы максимальной глубины [10] на
основе глубины Махаланобиса (MM), симплекс-
ной (MS) и полупространственной (MH) глу-
бин, а также предлагаемые в [14] DD-класси-
фикаторы с тем же набором глубин (DM, DS и
УСиМ, 2013, № 2 53
DH соответственно). На каждой комбиниро-
ванной бокс-диаграмме ошибки распознавания
перечисленных классификаторов выстроены
вертикально в порядке упоминания и дополне-
ны DD-классификатором (DD).
Поскольку в данном разделе рассматрива-
ются двумерные распределения, симплексная
и полупространственная глубины вычисляются
точно при помощи R-пакета «depth», так как на
плоскости существует естественный порядок
углов, а для глубины зоноида в DD-класси-
фикаторе используется симплексный алгоритм
[28], работающий эффективно в любой размер-
ности. При этом исключается проблема отли-
чающихся априорных вероятностей классов, со-
ставляющая существенные трудности для клас-
сификаторов максимальной глубины дискри-
минантного анализа. Для DD-классификаторов
применяются оригинальные настройки из [14]:
разделение на DD-диаграмме выполняется по-
линомиальной кривой, проходящей через нача-
ло координат, степень {1,2,3} которой выбира-
ется методом перекрестной проверки с 10 частя-
ми, а константа логистической функции, сгла-
живающей эмпирический риск (что позволяет
его минимизировать), принимается t=100. В
качестве аргумента полиномиальной функции
принимается глубина относительно «первого»
класса (оси DD-диаграммы не меняются мес-
тами). Аутсайдеры, возникающие при исполь-
зовании симплексной (в MS и DS) и полупро-
странственной (в MH и DH) глубин и глубины
зоноида (в DD), относятся случайным обра-
зом к одному из классов, что можно рассмат-
ривать как наихудший, но все же «честный»,
вариант их классификации; это применимо для
LDA, QDA, KNN, MM и DM.
В первом случае рассматривается нормаль-
ное распределение в двух постановках задачи
классификации: с разницей а) только в поло-
жении и б) в положении и масштабе. В а) клас-
сы генерируются из нормальных распределе-
ний N (1, 1) и N (2, 2) с одинаковой кова-
риационной матрицей 1 2
11
14
, отлича-
ющихся лишь математическим ожиданием:
1 (0,0)T и 2 (1,1)T (комбинированные диа-
граммы ошибок распознавания приведены на
рис. 8, вверху). Наиболее успешно справляется
LDA, так как именно на такую модель он и рас-
считан, слегка превосходя QDA, оперирующее
двумя ковариационными матрицами, и MM и
DM, допускающие эллиптичность распределе-
ния. Хотя остальные классификаторы (вклю-
чая DD) несколько уступают упомянутым, их
применение повышает ошибку распознавания
лишь незначительно – на единицы процентов.
0,28 0,30 0,32 0,34 0,36 0,38
0,20 0,25 0,30 0,35 0,40 0,45 0,50
Рис. 8. Комбинированные диаграммы ошибок распознавания
для нормальных распределений, отличающихся поло-
жением (вверху), положением и масштабом (внизу)
Для б) разными принимаются также и кова-
риационные матрицы: 1 та же, 12 4 (см.
54 УСиМ, 2013, № 2
рис. 8, внизу). Это увеличивает ошибку клас-
сификаторов максимальной глубины, а также
LDA, поскольку функциональная зависимость
между глубиной и плотностью распределения
различна для двух классов. QDA, как и ожида-
лось, несколько превосходит остальные клас-
сификаторы, также показывающие вполне при-
емлемые результаты.
Второй случай также рассматривает анало-
гичную разницу а) в положении и б) в положе-
нии и масштабе, но для распределений с «тяже-
лыми хвостами», допускающих выбросы. Для
этого используется двумерное распределение
Коши: а)
0 11
,
0 14
Cauchy
для одного класса и
1 11
,
1 14
Cauchy
для другого (см. рис. 9, вверху),
и б)
0 11
,
0 14
Cauchy
и
1 4 4
,
1 416
Cauchy
соответственно (см. рис. 9, внизу). Классифика-
торы, использующие моментные оценки (LDA,
QDA, MM и DM), показывают высокий уро-
вень ошибки классификации на а), дополняясь,
как и в первом случае, классификаторами мак-
симальной глубины (MS и MH) на б). DD-клас-
сификатор на а) допускает больше ошибок, чем
классификаторы максимальной глубины и DD-
классификаторы (за исключением использую-
щих глубину Махаланобиса), из-за невысокой
робастности используемой им глубины зонои-
да, но «исправляется» и показывает вполне при-
емлемую ошибку на б).
В третьем случае для моделирования внут-
риклассовой асимметрии используется а) дву-
мерное экспоненциальное распределение Мар-
шалла–Олкина: }),min{},,(min{ 122121 ZZZZ для
одного класса и (min{Z2, Z12}+0,5, min{Z1, Z12}+
+0,5) для другого, где Z1 Exp (1), Z2 Exp (0,5)
и Z12 Exp (0,75) (рис. 10, вверху). Межклассо-
вая асимметрия б) представлена нормальным
0 1 0
,
0 0 1
N
и экспоненциальным (Exp(1),
Exp(1)) распределениями с независимыми мар-
гиналами (см. рис. 10, внизу). В обоих случа-
ях диаграммы ошибок схожи, приемлемые
ошибки показывают KNN и DD-классифика-
торы; DD-классификатор также справляется
с задачей.
0,35 0,40 0,45 0,50 0,55 0,60 0,65
0,30 0,35 0,40 0,45 0,50 0,55 0,60
Рис. 9. Комбинированные диаграммы ошибок распознавания
для распределений Коши, отличающихся положением
(вверху) и положением и масштабом (внизу)
По этим результатам моделирования можно
сделать вывод, что DD-классификатор обла-
дает хорошей обобщающей способностью на
эллиптически распределенных данных, устой-
чив против выбросов и демонстрирует хоро-
ший потенциал обучения распознаванию асим-
метричных распределений и классов, порож-
денных распределениями разных семейств.
УСиМ, 2013, № 2 55
0,15 0,20 0,25 0,30 0,35
0,15 0,20 0,25 0,30
Рис. 10. Комбинированные диаграммы ошибок распознавания для
внутри- (вверху) и меж- (внизу) классовой асимметрии
Эксперименты с реальными данными
Проведем сравнение обобщающей способ-
ности предложенного классификатора с исполь-
зованием реальных данных.
Набор данных Synthetic представляет собой
два класса, каждый из которых содержит дву-
мерные наблюдения из двух нормальных рас-
пределений, отличающихся положением и мас-
штабом; обучающая выборка состоит из 1000
точек, проверочная – из 250.
Glass насчитывает 214 образцов стекла, опи-
санных содержанием восьми оксидов и значе-
нием показателя преломления; для сравнения
классификаторов используется лишь пять наи-
более значимых атрибутов и два класса, пред-
ставленных большинством наблюдений (в це-
лом 146 образцов, из них 70 – в одном классе и
76 – во втором).
Из 209 рассматриваемых в Biomedical образ-
цов крови, представленных четырьмя атрибу-
тами, внимание уделяется 194 образцам, не со-
держащим отсутствующих значений. Еще один
набор двумерных данных Hemophilia содержит
75 пар логарифмированных измерений у жен-
щин, 45 из которых – носительницы гемофи-
лии типа А. Diabetes содержит три класса (33 +
+ 36 + 76 = 145) индивидуумов, страдающих раз-
ными типами диабета, охарактеризованных пя-
тью показателями. Набор данных BloodTransfu-
sion представлен тремя атрибутами (число ме-
сяцев со времени первого и последнего донор-
ства и общее число донорств) 748 доноров кро-
ви, разделенных на два класса по признаку до-
норства в марте 2007 года. Более подробное опи-
сание данных можно найти в сети «Интернет»
на общественном репозитории http://archive.ics.
uci.edu/ml [29] и в пристатейном списке.
DD-классификатор сравнивается со стан-
дартными классификаторами: линейным (LDA)
и квадратичным (QDA) дискриминантным ана-
лизом и классификатором ближайших соседей
(k-NN), а также с глубинными классификатора-
ми, основанными на проекционной (PD) [13] и
Lp-глубине (LpD) [12], и различными класси-
фикаторами, использующими глубину Махала-
нобиса (MD), на основе данных из [12, 13]. При-
менение DD-классификатора, как и любого
другого, использующего глубинное представ-
ление и функцию глубины, нулевую вне вы-
пуклой оболочки, должно быть дополнено со-
ответствующим методом классификации аутсай-
деров. В качестве таких методов используются:
классификатор ближайших соседей, всегда учи-
тывающий только одно обучающее наблюде-
ние, расположенное наиболее близко исходя из
евклидова расстояния; классификатор макси-
мальной глубины [10], основанный на быстро
рассчитываемой глубине Махаланобиса, с ис-
пользованием как моментных, так и робастных
(Minimum Covariance Determinant – MCD) оце-
нок положения и масштаба. Для обоих класси-
фикаторов максимальной глубины априорные
56 УСиМ, 2013, № 2
вероятности аппроксимируются пропорциями
классов в обучающей выборке.
В [13] предложены методы робастной клас-
сификации с использованием проекционной глу-
бины (PD) с одно- и многомасштабным спосо-
бом юстировки классификатора (Single- и Multi-
scale), проводится их сравнение с традицион-
ными классификаторами (LDA, QDA и k-NN) и
классификатором максимальной глубины Ма-
халанобиса, использующим моментные (MD) и
робастные (MDMCD, коэффициент робастности
= 0,75) оценки (табл. 1).
Для Synthetic, где обучающая и проверочная
выборки заданы, приводится ошибка (в про-
центах) на проверочной выборке. Поскольку
для Glass и Biomedical разделение на обучаю-
щую и проверочную выборки отсутствует,
обучающая формируется случайным выбором
100 наблюдений (по 50 из каждого класса) из
Glass и 150 наблюдений (100 и 50) из
Biomedical (значения для набора данных
Biomedical не специфицируется в [13] и вы-
браны авторами). Проверочная выборка фор-
мируется из оставшихся наблюдений, и такое
случайное разделение проводится 500 раз. В
табл. 1 приведены усредненные зна-
чения ошибок (в процентах), полу-
ченных на проверочной выборке,
дополненные стандартным откло-
нением (в скобках внизу), также
представляющим собой в данном
случае важный показатель. Послед-
ние три колонки табл. 1 отобража-
ют результаты для DD-классифи-
катора с применением описанных
методов классификации аутсайде-
ров, обозначенных 1 NN, Mah.depth
(Mom.) и Mah.Depth (MCD) соот-
ветственно.
Из табл. 1 следует, что хотя на
Synthetic DD-классификатор не-
сколько уступает PD-классифика-
тору, для Biomedical он показывает
вполне сравнимые результаты. Для
Glass-результатов, сравнимых с PD,
но с меньшими стандартными от-
клонениями, удается достичь при
использовании расстояния Махаланобиса в 1-NN
(ошибки и стандартные отклонения равны 25,79
(0,17) и 24,73 (0,18) для моментных и робаст-
ных оценок), в то время как Mah.depth в этом
случае показывает значительно худшие ре-
зультаты.
В табл. 2 приведено сравнение DD-класси-
фикатора с классификатором, основанным на
Lp-глубине [12], с использованием тех же мето-
дов классификации аутсайдеров, что и в табл. 1,
и трех дополнительных наборов данных (Hemo-
philia, Diabetes и BloodTransfusion). При этом
обучающая выборка формируется случайным
образом и насчитывает 100 наблюдений для
Glass, Biomedical и Diabetes, 50 для Hemophilia,
а для BloodTransfusion – половину наличных
данных. Оставшиеся наблюдения используются
для проверки обобщающей способности, и раз-
деление, как и выше, повторяется 500 раз. На
всех шести наборах данных DD-классифи-
катор в общем уступает LpD-классификатору,
хотя его обобщающая способность во многом
зависит от метода классификации аутсайдеров.
При его правильном выборе ошибка, допускае-
мая DD-классификатором, близка к таковой
Т а б л и ц а 1. Сравнение на реальных данных с классификатором, основан-
ным на проекционной глубине
MD MDMCD PD DD
Mah. depth
Набор
данных
LDA QDA k-NN Single-
scale
Multi-
scale
Single-
scale
Multi-
scale
Single-
scale
Multi-
scale
1-NN
Mom. MCD
Synthetic 10,80 10,20 11,70 13,00 11,60 10,30 10,40 10,00 10,50 12,10 11,90 12,00
30,59 36,13 22,88 26,59 26,14 24,92 24,43 25,70 25,24 29,45 30,09 35,06
Glass
(0,25) (0,26) (0,24) (0,25) (0,25) (0,25) (0,25) (0,34) (0,33) (0,20) (0,18) (0,22)
15,66 12,57 17,88 12,44 12,04 14,25 14,03 12,37 12,18 13,51 12,91 15,23Bio-
medical (0,14) (0,12) (0,15) (0,13) (0,12) (0,13) (0,14) (0,14) (0,13) (0,14) (0,14) (0,16)
Т а б л и ц а 2. Сравнение на реальных данных с классификатором на основе Lp-
глубины
MD LpD DD
Mah. depth
Набор
данных
LDA QDA k-NN
Mom. MCD Mom. MCD 1-NN
Mom. MCD
Synthetic 10,80 10,20 11,70 10,20 10,60 9,60 10,70 12,10 11,90 12,00
15,22 15,47 15,79 15,84 17,13 15,39 16,43 16,63 18,65 19,39
Hemophilia
(0,27) (0,26) (0,30) (0,30) (0,32) (0,32) (0,32) (0,20) (0,22) (0,22)
30,69 36,13 22,78 26,80 24,80 27,64 24,75 30,13 32,88 36,82
Glass
(0,25) (0,25) (0,24) (0,26) (0,29) (0,29) (0,26) (0,19) (0,22) (0,23)
15,64 12,57 17,81 12,35 14,48 12,68 15,11 13,74 14,34 17,28
Biomedical
(0,12) (0,12) (0,14) (0,14) (0,15) (0,15) (0,15) (0,09) (0,12) (0,14)
10,46 9,39 10,04 8,22 11,49 9,39 11,92 10,77 12,70 15,90
Diabetes
(0,18) (0,18) (0,18) (0,18) (0,22) (0,21) (0,27) (0,12) (0,18) (0,19)
23,08 22,61 27,69 22,75 22,17 22,30 22,06 23,11 22,59 22,17Blood Trans-
fusion (0,03) (0,05) (0,09) (0,07) (0,08) (0,07) (0,07) (0,06) (0,06) (0,06)
УСиМ, 2013, № 2 57
для LpD-классификатора (для набора данных
Glass ее можно значительно уменьшить, исполь-
зуя расстояние Махаланобиса в 1-NN). Так, для
Hemophilia, например, рекомендуется 1-NN,
когда для BloodTransfusion все предложенные
методы показывают неплохие результаты.
Заключение. Предложенный новый метод
обучения распознаванию образов отличается
полной непараметричностью. DD-классифи-
катор, используя глубину зоноида, отображает
данные в -мерное глубинное пространство, в
полиномиальном расширении которого классы
обучающей выборки разделяются линейным ре-
шающим правилом при помощи -процедуры.
Благодаря этому сочетанию DD-классифика-
тор обладает высокой скоростью как обучения,
так и классификации, превосходя существую-
щие непараметрические классификаторы. Он
также показывает вполне конкурентоспособ-
ную ошибку в задачах обучения распознава-
нию образов с эллиптически распределенными
классами, проявляя при этом устойчивость к
выбросам в данных. Эксперименты показыва-
ют применимость предлагаемого метода к
асимметричным данным, а также при наличии
классов, порожденных разными семействами
распределений.
В отличие от большинства предлагаемых в
литературе процедур, DD-классификатор рас-
сматривает полное пространство глубин (отно-
сительно всех рассматриваемых в задаче клас-
сов), выполняя бинарное разделение. Метод не
нуждается в юстировке отдельных определен-
ных параметров модели. DD-классификатор
легко может быть применим в комбинации с
другими методами классификации, а также для
конструирования новых нотаций глубины, вклю-
чая функциональную.
Теоретические результаты показывают, что
метод сходится к Байесовскому классификато-
ру в случаях, когда два класса являются зер-
кальным отражением друг друга, и для эллип-
тически распределенных классов, отличающих-
ся лишь положением. Применяемая в методе
глубина зоноида обладает рядом преимуществ
как в теоретическом, так и в вычислительном
смысле: в первую очередь она может быть эф-
фективно рассчитана для многомерных данных,
даже в размерностях порядка 15–20 и более.
Хотя тот факт, что ее максимум достигается в
математическом ожидании, и влечет потерю
робастности для глубины, DD-классификатор
справляется с загрязненными выбросами дан-
ными. Это можно объяснить тем, что обучаю-
щая выборка сперва отображается в компакт-
ное пространство – единичный гиперкуб, и
лишь потом разделяется -процедурой, кото-
рая, оперируя координатными осями, отлича-
ется высокой степенью робастности.
Перспективным для будущих исследований
есть более детальное теоретическое изучение
свойств DD-классификатора, его обобщающей
способности на асимметричных распределениях
и распределениях с «тяжелыми хвостами», а
также выбор, возможно адаптивный, более эф-
фективных методов классификации аутсайде-
ров и нотаций глубины.
1. Ивахненко А.Г. Самообучающиеся системы распо-
знавания и автоматического управления. – Киев:
Техніка, 1969. – 392 с.
2. Ивахненко А.Г. Системы эвристической самоорга-
низации в технической кибернетике. – Там же,
1971. – 372 с.
3. Персептрон – система распознавания образов / Под
ред. А.Г. Ивахненко. – Киев: Наук. думка, 1975. –
432 с.
4. Self-organizing methods in modeling: GMDH type
algorithms / Ed. S.J. Farlow. – New York, Basel: Mar-
cel Decker Inc., 1984. – 350 p.
5. Ивахненко А.Г., Степашко В.С. Помехоустойчивость
моделирования. – Киев: Наук. думка, 1985. – 216 с.
6. Tukey J.W. Mathematics and the picturing of data //
Proc. of the Int. Congr. of Mathematicians / Ed.
R.D. James. – 2. – Montreal: Canadian Mathematical
Congress, 1975. – P. 523–531.
7. Liu R.Y. On a notion of data depth based on random sim-
plices // Annals of Statistics. – 1990. – 18. – P. 405–414.
8. Liu R.Y., Parelius J., Singh K. Multivariate analysis of
the data depth: descriptive statistics and inference //
Annals of Statistics – 1999. – 27. – P. 783–858.
9. Jornsten R. Clustering and classification based on the
L1 data depth // J. of Multivariate Analysis. – 2004. –
90. – P. 67–89.
10. Ghosh A.K., Chaudhuri P. On maximum depth and
related classifiers // Scandinavian J. of Statistics. –
2005. – 32. – P. 327–350.
58 УСиМ, 2013, № 2
11. Mosler K., Hoberg R. Data analysis and classification
with the zonoid depth // Data depth: robust multivari-
ate analysis, computational geometry and applications
/ Eds. R. Liu, R. Serfling, D. Souvaine. – New York:
American Mathematical Society, 2006. – P. 49–59.
12. Dutta S., Ghosh A.K. On classification based on Lp
depth with an adaptive choice of p / Technical Report
Number R5. – Indian Statistical Institute. – Kolkata:
Statistics and Mathematics Unit, 2011. – 16 р.
13. Dutta S., Ghosh A.K. On robust classification using
projection depth // Annals of the Institute of Statistical
Mathematics. – 2012. – 64. – P. 657–676.
14. Li J., Cuesta-Albertos J.A., Liu R.Y. DD-classifier:
nonparametric classification procedure based on DD-
plot // J. of the American Statistical Association. –
2012. – 107. – P. 737–753.
15. Mahalanobis P. On the generalized distance in statis-
tics // Proc. of the National Institute of Sciences of In-
dia. – 1936. – 2(1). – P. 49–55.
16. Koshevoy G., Mosler K. Zonoid trimming for multi-
variate distributions // Annals of Statistics. – 1997. –
25. – P. 1998–2017.
17. Mosler K. Multivariate dispersion, central regions and
depth: the lift zonoid approach. – New York: Springer,
2002. – 291 p.
18. Vasil’ev V.I. The reduction principle in pattern recog-
nition learning (PRL) problem // Pat. Recog. and Im-
age Analysis. – 1991. – N 1. – P. 23–52.
19. Васильев В.И. Принцип редукции в задачах обна-
ружения закономерностей. I // Кибернетика и сис-
темный анализ. – 2003. – № 5. – С. 69–81.
20. Васильев В.И., Ланге Т.И. Принцип дуальности в
проблемах обучения распознавания образов // Ки-
бернетика и вычислительная техника. – 1998. –
121. – С. 7–17.
21. Zuo Y.J., Serfling R. General notions of statistical
depth function // Annals of Statistics. – 2000. – 28. –
P. 461–482.
22. Dyckerhoff R. Data depths satisfying the projection
property // Advances in Statistical Analysis. – 2004. –
88. – P. 163–190.
23. Serfling R. Depth functions in nonparametric multi-
variate inference // Data depth: robust multivariate analy-
sis, computational geometry and applications / Eds.
R. Liu, R. Serfling, D. Souvaine. – New York: American
Mathematical Society, 2006. – P. 1–16.
24. Cascos I. Data depth: Multivariate statistics and ge-
ometry // New perspectives in stochastic geometry /
Eds. W. Kendall, I. Molchanov. – Oxford: Oxford
University Press, 2010. – P. 398–423.
25. Hubert M., Van Driessen K. Fast and robust discrimi-
nant analysis // Computational Statistics and Data
Analysis. – 2004. – 45. – P. 301–320.
26. Lange T., Mosler K., Mozharovskyi P. Fast nonparamet-
ric classification based on data depth. – www.wisostat.
ini–Koeln.de/Forschung/Papers/DPO112.pdf
27. Васильев В.И. Теория редукции в проблемах экст-
раполяции // Проблемы управления и информати-
ки. – 1996. – № 1–2. – С. 239–251.
28. Dyckerhoff R., Koshevoy G., Mosler K. Zonoid data
depth: theory and computation // Proc. in computa-
tionnal statistics / Ed. A. Prat. – Heidelberg: Physica-
Verlag, 1996. – P. 235–240.
29. Asuncion A., Newman D. Machine Learning Repository
/ Univ. of Calif., Center for Machine Learning and In-
tell. Syst., Irvine, 2007. – Access mode. – http://archive.
ics.uci.edu/ml/ (18.12.2012). – Machine Learning Re-
pository.
E-mail: tatjana.lange@hs-merseburg.de, mosler@statistik.uni-
koeln.de, mozharovskyi@statistik.uni-koeln.de
© Т. Ланге, К. Мослер, П. Можаровский, 2013
<<
/ASCII85EncodePages false
/AllowTransparency false
/AutoPositionEPSFiles true
/AutoRotatePages /None
/Binding /Left
/CalGrayProfile (Dot Gain 20%)
/CalRGBProfile (sRGB IEC61966-2.1)
/CalCMYKProfile (U.S. Web Coated \050SWOP\051 v2)
/sRGBProfile (sRGB IEC61966-2.1)
/CannotEmbedFontPolicy /Error
/CompatibilityLevel 1.4
/CompressObjects /Tags
/CompressPages true
/ConvertImagesToIndexed true
/PassThroughJPEGImages true
/CreateJobTicket false
/DefaultRenderingIntent /Default
/DetectBlends true
/DetectCurves 0.0000
/ColorConversionStrategy /CMYK
/DoThumbnails false
/EmbedAllFonts true
/EmbedOpenType false
/ParseICCProfilesInComments true
/EmbedJobOptions true
/DSCReportingLevel 0
/EmitDSCWarnings false
/EndPage -1
/ImageMemory 1048576
/LockDistillerParams false
/MaxSubsetPct 100
/Optimize true
/OPM 1
/ParseDSCComments true
/ParseDSCCommentsForDocInfo true
/PreserveCopyPage true
/PreserveDICMYKValues true
/PreserveEPSInfo true
/PreserveFlatness true
/PreserveHalftoneInfo false
/PreserveOPIComments true
/PreserveOverprintSettings true
/StartPage 1
/SubsetFonts true
/TransferFunctionInfo /Apply
/UCRandBGInfo /Preserve
/UsePrologue false
/ColorSettingsFile ()
/AlwaysEmbed [ true
]
/NeverEmbed [ true
]
/AntiAliasColorImages false
/CropColorImages true
/ColorImageMinResolution 300
/ColorImageMinResolutionPolicy /OK
/DownsampleColorImages true
/ColorImageDownsampleType /Bicubic
/ColorImageResolution 300
/ColorImageDepth -1
/ColorImageMinDownsampleDepth 1
/ColorImageDownsampleThreshold 1.50000
/EncodeColorImages true
/ColorImageFilter /DCTEncode
/AutoFilterColorImages true
/ColorImageAutoFilterStrategy /JPEG
/ColorACSImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/ColorImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/JPEG2000ColorACSImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/JPEG2000ColorImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/AntiAliasGrayImages false
/CropGrayImages true
/GrayImageMinResolution 300
/GrayImageMinResolutionPolicy /OK
/DownsampleGrayImages true
/GrayImageDownsampleType /Bicubic
/GrayImageResolution 300
/GrayImageDepth -1
/GrayImageMinDownsampleDepth 2
/GrayImageDownsampleThreshold 1.50000
/EncodeGrayImages true
/GrayImageFilter /DCTEncode
/AutoFilterGrayImages true
/GrayImageAutoFilterStrategy /JPEG
/GrayACSImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/GrayImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/JPEG2000GrayACSImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/JPEG2000GrayImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/AntiAliasMonoImages false
/CropMonoImages true
/MonoImageMinResolution 1200
/MonoImageMinResolutionPolicy /OK
/DownsampleMonoImages true
/MonoImageDownsampleType /Bicubic
/MonoImageResolution 1200
/MonoImageDepth -1
/MonoImageDownsampleThreshold 1.50000
/EncodeMonoImages true
/MonoImageFilter /CCITTFaxEncode
/MonoImageDict <<
/K -1
>>
/AllowPSXObjects false
/CheckCompliance [
/None
]
/PDFX1aCheck false
/PDFX3Check false
/PDFXCompliantPDFOnly false
/PDFXNoTrimBoxError true
/PDFXTrimBoxToMediaBoxOffset [
0.00000
0.00000
0.00000
0.00000
]
/PDFXSetBleedBoxToMediaBox true
/PDFXBleedBoxToTrimBoxOffset [
0.00000
0.00000
0.00000
0.00000
]
/PDFXOutputIntentProfile ()
/PDFXOutputConditionIdentifier ()
/PDFXOutputCondition ()
/PDFXRegistryName ()
/PDFXTrapped /False
/CreateJDFFile false
/Description <<
/ARA <FEFF06270633062A062E062F0645002006470630064700200627064406250639062F0627062F0627062A002006440625064606340627062100200648062B062706260642002000410064006F00620065002000500044004600200645062A064806270641064206290020064406440637062806270639062900200641064A00200627064406450637062706280639002006300627062A0020062F0631062C0627062A002006270644062C0648062F0629002006270644063906270644064A0629061B0020064A06450643064600200641062A062D00200648062B0627062606420020005000440046002006270644064506460634062306290020062806270633062A062E062F062706450020004100630072006F0062006100740020064800410064006F006200650020005200650061006400650072002006250635062F0627063100200035002E0030002006480627064406250635062F062706310627062A0020062706440623062D062F062B002E0635062F0627063100200035002E0030002006480627064406250635062F062706310627062A0020062706440623062D062F062B002E>
/BGR <FEFF04180437043f043e043b043704320430043904420435002004420435043704380020043d0430044104420440043e0439043a0438002c00200437043000200434043000200441044a0437043404300432043004420435002000410064006f00620065002000500044004600200434043e043a0443043c0435043d04420438002c0020043c0430043a04410438043c0430043b043d043e0020043f044004380433043e04340435043d04380020043704300020043204380441043e043a043e043a0430044704350441044204320435043d0020043f04350447043004420020043704300020043f044004350434043f0435044704300442043d04300020043f043e04340433043e0442043e0432043a0430002e002000200421044a04370434043004340435043d043804420435002000500044004600200434043e043a0443043c0435043d044204380020043c043e0433043004420020043404300020044104350020043e0442043204300440044f0442002004410020004100630072006f00620061007400200438002000410064006f00620065002000520065006100640065007200200035002e00300020043800200441043b0435043404320430044904380020043204350440044104380438002e>
/CHS <FEFF4f7f75288fd94e9b8bbe5b9a521b5efa7684002000410064006f006200650020005000440046002065876863900275284e8e9ad88d2891cf76845370524d53705237300260a853ef4ee54f7f75280020004100630072006f0062006100740020548c002000410064006f00620065002000520065006100640065007200200035002e003000204ee553ca66f49ad87248672c676562535f00521b5efa768400200050004400460020658768633002>
/CHT <FEFF4f7f752890194e9b8a2d7f6e5efa7acb7684002000410064006f006200650020005000440046002065874ef69069752865bc9ad854c18cea76845370524d5370523786557406300260a853ef4ee54f7f75280020004100630072006f0062006100740020548c002000410064006f00620065002000520065006100640065007200200035002e003000204ee553ca66f49ad87248672c4f86958b555f5df25efa7acb76840020005000440046002065874ef63002>
/CZE <FEFF005400610074006f0020006e006100730074006100760065006e00ed00200070006f0075017e0069006a007400650020006b0020007600790074007600e101590065006e00ed00200064006f006b0075006d0065006e0074016f002000410064006f006200650020005000440046002c0020006b00740065007200e90020007300650020006e0065006a006c00e90070006500200068006f006400ed002000700072006f0020006b00760061006c00690074006e00ed0020007400690073006b00200061002000700072006500700072006500730073002e002000200056007900740076006f01590065006e00e900200064006f006b0075006d0065006e007400790020005000440046002000620075006400650020006d006f017e006e00e90020006f007400650076015900ed007400200076002000700072006f006700720061006d0065006300680020004100630072006f00620061007400200061002000410064006f00620065002000520065006100640065007200200035002e0030002000610020006e006f0076011b006a016100ed00630068002e>
/DAN <FEFF004200720075006700200069006e0064007300740069006c006c0069006e006700650072006e0065002000740069006c0020006100740020006f007000720065007400740065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e007400650072002c0020006400650072002000620065006400730074002000650067006e006500720020007300690067002000740069006c002000700072006500700072006500730073002d007500640073006b007200690076006e0069006e00670020006100660020006800f8006a0020006b00760061006c0069007400650074002e0020004400650020006f007000720065007400740065006400650020005000440046002d0064006f006b0075006d0065006e0074006500720020006b0061006e002000e50062006e00650073002000690020004100630072006f00620061007400200065006c006c006500720020004100630072006f006200610074002000520065006100640065007200200035002e00300020006f00670020006e0079006500720065002e>
/DEU <FEFF00560065007200770065006e00640065006e0020005300690065002000640069006500730065002000450069006e007300740065006c006c0075006e00670065006e0020007a0075006d002000450072007300740065006c006c0065006e00200076006f006e002000410064006f006200650020005000440046002d0044006f006b0075006d0065006e00740065006e002c00200076006f006e002000640065006e0065006e002000530069006500200068006f006300680077006500720074006900670065002000500072006500700072006500730073002d0044007200750063006b0065002000650072007a0065007500670065006e0020006d00f60063006800740065006e002e002000450072007300740065006c006c007400650020005000440046002d0044006f006b0075006d0065006e007400650020006b00f6006e006e0065006e0020006d006900740020004100630072006f00620061007400200075006e0064002000410064006f00620065002000520065006100640065007200200035002e00300020006f0064006500720020006800f600680065007200200067006500f600660066006e00650074002000770065007200640065006e002e>
/ESP <FEFF005500740069006c0069006300650020006500730074006100200063006f006e0066006900670075007200610063006900f3006e0020007000610072006100200063007200650061007200200064006f00630075006d0065006e0074006f00730020005000440046002000640065002000410064006f0062006500200061006400650063007500610064006f00730020007000610072006100200069006d0070007200650073006900f3006e0020007000720065002d0065006400690074006f007200690061006c00200064006500200061006c00740061002000630061006c0069006400610064002e002000530065002000700075006500640065006e00200061006200720069007200200064006f00630075006d0065006e0074006f00730020005000440046002000630072006500610064006f007300200063006f006e0020004100630072006f006200610074002c002000410064006f00620065002000520065006100640065007200200035002e003000200079002000760065007200730069006f006e0065007300200070006f00730074006500720069006f007200650073002e>
/ETI <FEFF004b00610073007500740061006700650020006e0065006900640020007300e4007400740065006900640020006b00760061006c006900740065006500740073006500200074007200fc006b006900650065006c007300650020007000720069006e00740069006d0069007300650020006a0061006f006b007300200073006f00620069006c0069006b0065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e00740069006400650020006c006f006f006d006900730065006b0073002e00200020004c006f006f0064007500640020005000440046002d0064006f006b0075006d0065006e00740065002000730061006100740065002000610076006100640061002000700072006f006700720061006d006d006900640065006700610020004100630072006f0062006100740020006e0069006e0067002000410064006f00620065002000520065006100640065007200200035002e00300020006a00610020007500750065006d006100740065002000760065007200730069006f006f006e00690064006500670061002e000d000a>
/FRA <FEFF005500740069006c006900730065007a00200063006500730020006f007000740069006f006e00730020006100660069006e00200064006500200063007200e900650072002000640065007300200064006f00630075006d0065006e00740073002000410064006f00620065002000500044004600200070006f0075007200200075006e00650020007100750061006c0069007400e90020006400270069006d007000720065007300730069006f006e00200070007200e9007000720065007300730065002e0020004c0065007300200064006f00630075006d0065006e00740073002000500044004600200063007200e900e90073002000700065007500760065006e0074002000ea0074007200650020006f007500760065007200740073002000640061006e00730020004100630072006f006200610074002c002000610069006e00730069002000710075002700410064006f00620065002000520065006100640065007200200035002e0030002000650074002000760065007200730069006f006e007300200075006c007400e90072006900650075007200650073002e>
/GRE <FEFF03a703c103b703c303b903bc03bf03c003bf03b903ae03c303c403b5002003b103c503c403ad03c2002003c403b903c2002003c103c503b803bc03af03c303b503b903c2002003b303b903b1002003bd03b1002003b403b703bc03b903bf03c503c103b303ae03c303b503c403b5002003ad03b303b303c103b103c603b1002000410064006f006200650020005000440046002003c003bf03c5002003b503af03bd03b103b9002003ba03b103c42019002003b503be03bf03c703ae03bd002003ba03b103c403ac03bb03bb03b703bb03b1002003b303b903b1002003c003c103bf002d03b503ba03c403c503c003c903c403b903ba03ad03c2002003b503c103b303b103c303af03b503c2002003c503c803b703bb03ae03c2002003c003bf03b903cc03c403b703c403b103c2002e0020002003a403b10020005000440046002003ad03b303b303c103b103c603b1002003c003bf03c5002003ad03c703b503c403b5002003b403b703bc03b903bf03c503c103b303ae03c303b503b9002003bc03c003bf03c103bf03cd03bd002003bd03b1002003b103bd03bf03b903c703c403bf03cd03bd002003bc03b5002003c403bf0020004100630072006f006200610074002c002003c403bf002000410064006f00620065002000520065006100640065007200200035002e0030002003ba03b103b9002003bc03b503c403b103b303b503bd03ad03c303c403b503c103b503c2002003b503ba03b403cc03c303b503b903c2002e>
/HEB <FEFF05D405E905EA05DE05E905D5002005D105D405D205D305E805D505EA002005D005DC05D4002005DB05D305D9002005DC05D905E605D505E8002005DE05E105DE05DB05D9002000410064006F006200650020005000440046002005D405DE05D505EA05D005DE05D905DD002005DC05D405D305E405E105EA002005E705D305DD002D05D305E405D505E1002005D005D905DB05D505EA05D905EA002E002005DE05E105DE05DB05D90020005000440046002005E905E005D505E605E805D5002005E005D905EA05E005D905DD002005DC05E405EA05D905D705D4002005D105D005DE05E605E205D505EA0020004100630072006F006200610074002005D5002D00410064006F00620065002000520065006100640065007200200035002E0030002005D505D205E805E105D005D505EA002005DE05EA05E705D305DE05D505EA002005D905D505EA05E8002E05D005DE05D905DD002005DC002D005000440046002F0058002D0033002C002005E205D905D905E005D5002005D105DE05D305E805D905DA002005DC05DE05E905EA05DE05E9002005E905DC0020004100630072006F006200610074002E002005DE05E105DE05DB05D90020005000440046002005E905E005D505E605E805D5002005E005D905EA05E005D905DD002005DC05E405EA05D905D705D4002005D105D005DE05E605E205D505EA0020004100630072006F006200610074002005D5002D00410064006F00620065002000520065006100640065007200200035002E0030002005D505D205E805E105D005D505EA002005DE05EA05E705D305DE05D505EA002005D905D505EA05E8002E>
/HRV (Za stvaranje Adobe PDF dokumenata najpogodnijih za visokokvalitetni ispis prije tiskanja koristite ove postavke. Stvoreni PDF dokumenti mogu se otvoriti Acrobat i Adobe Reader 5.0 i kasnijim verzijama.)
/HUN <FEFF004b0069007600e1006c00f30020006d0069006e0151007300e9006701710020006e0079006f006d00640061006900200065006c0151006b00e90073007a00ed007401510020006e0079006f006d00740061007400e100730068006f007a0020006c006500670069006e006b00e1006200620020006d0065006700660065006c0065006c0151002000410064006f00620065002000500044004600200064006f006b0075006d0065006e00740075006d006f006b0061007400200065007a0065006b006b0065006c0020006100200062006500e1006c006c00ed007400e10073006f006b006b0061006c0020006b00e90073007a00ed0074006800650074002e0020002000410020006c00e90074007200650068006f007a006f00740074002000500044004600200064006f006b0075006d0065006e00740075006d006f006b00200061007a0020004100630072006f006200610074002000e9007300200061007a002000410064006f00620065002000520065006100640065007200200035002e0030002c0020007600610067007900200061007a002000610074007400f3006c0020006b00e9007301510062006200690020007600650072007a006900f3006b006b0061006c0020006e00790069007400680061007400f3006b0020006d00650067002e>
/ITA <FEFF005500740069006c0069007a007a006100720065002000710075006500730074006500200069006d0070006f007300740061007a0069006f006e00690020007000650072002000630072006500610072006500200064006f00630075006d0065006e00740069002000410064006f00620065002000500044004600200070006900f900200061006400610074007400690020006100200075006e00610020007000720065007300740061006d0070006100200064006900200061006c007400610020007100750061006c0069007400e0002e0020004900200064006f00630075006d0065006e007400690020005000440046002000630072006500610074006900200070006f00730073006f006e006f0020006500730073006500720065002000610070006500720074006900200063006f006e0020004100630072006f00620061007400200065002000410064006f00620065002000520065006100640065007200200035002e003000200065002000760065007200730069006f006e006900200073007500630063006500730073006900760065002e>
/JPN <FEFF9ad854c18cea306a30d730ea30d730ec30b951fa529b7528002000410064006f0062006500200050004400460020658766f8306e4f5c6210306b4f7f75283057307e305930023053306e8a2d5b9a30674f5c62103055308c305f0020005000440046002030d530a130a430eb306f3001004100630072006f0062006100740020304a30883073002000410064006f00620065002000520065006100640065007200200035002e003000204ee5964d3067958b304f30533068304c3067304d307e305930023053306e8a2d5b9a306b306f30d530a930f330c8306e57cb30818fbc307f304c5fc59808306730593002>
/KOR <FEFFc7740020c124c815c7440020c0acc6a9d558c5ec0020ace0d488c9c80020c2dcd5d80020c778c1c4c5d00020ac00c7a50020c801d569d55c002000410064006f0062006500200050004400460020bb38c11cb97c0020c791c131d569b2c8b2e4002e0020c774b807ac8c0020c791c131b41c00200050004400460020bb38c11cb2940020004100630072006f0062006100740020bc0f002000410064006f00620065002000520065006100640065007200200035002e00300020c774c0c1c5d0c11c0020c5f40020c2180020c788c2b5b2c8b2e4002e>
/LTH <FEFF004e006100750064006f006b0069007400650020016100690075006f007300200070006100720061006d006500740072007500730020006e006f0072011700640061006d00690020006b0075007200740069002000410064006f00620065002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b00750072006900650020006c0061006200690061007500730069006100690020007000720069007400610069006b007900740069002000610075006b01610074006f00730020006b006f006b007900620117007300200070006100720065006e006700740069006e00690061006d00200073007000610075007300640069006e0069006d00750069002e0020002000530075006b0075007200740069002000500044004600200064006f006b0075006d0065006e007400610069002000670061006c006900200062016b007400690020006100740069006400610072006f006d00690020004100630072006f006200610074002000690072002000410064006f00620065002000520065006100640065007200200035002e0030002000610072002000760117006c00650073006e0117006d00690073002000760065007200730069006a006f006d00690073002e>
/LVI <FEFF0049007a006d0061006e0074006f006a00690065007400200161006f00730020006900650073007400610074012b006a0075006d00750073002c0020006c0061006900200076006500690064006f00740075002000410064006f00620065002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b006100730020006900720020012b00700061016100690020007000690065006d01130072006f00740069002000610075006700730074006100730020006b00760061006c0069007401010074006500730020007000690072006d007300690065007300700069006501610061006e006100730020006400720075006b00610069002e00200049007a0076006500690064006f006a006900650074002000500044004600200064006f006b0075006d0065006e007400750073002c0020006b006f002000760061007200200061007400760113007200740020006100720020004100630072006f00620061007400200075006e002000410064006f00620065002000520065006100640065007200200035002e0030002c0020006b0101002000610072012b00200074006f0020006a00610075006e0101006b0101006d002000760065007200730069006a0101006d002e>
/NLD (Gebruik deze instellingen om Adobe PDF-documenten te maken die zijn geoptimaliseerd voor prepress-afdrukken van hoge kwaliteit. De gemaakte PDF-documenten kunnen worden geopend met Acrobat en Adobe Reader 5.0 en hoger.)
/NOR <FEFF004200720075006b00200064006900730073006500200069006e006e007300740069006c006c0069006e00670065006e0065002000740069006c002000e50020006f0070007000720065007400740065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e00740065007200200073006f006d00200065007200200062006500730074002000650067006e0065007400200066006f00720020006600f80072007400720079006b006b0073007500740073006b00720069006600740020006100760020006800f800790020006b00760061006c0069007400650074002e0020005000440046002d0064006f006b0075006d0065006e00740065006e00650020006b0061006e002000e50070006e00650073002000690020004100630072006f00620061007400200065006c006c00650072002000410064006f00620065002000520065006100640065007200200035002e003000200065006c006c00650072002000730065006e006500720065002e>
/POL <FEFF0055007300740061007700690065006e0069006100200064006f002000740077006f0072007a0065006e0069006100200064006f006b0075006d0065006e007400f300770020005000440046002000700072007a0065007a006e00610063007a006f006e00790063006800200064006f002000770079006400720075006b00f30077002000770020007700790073006f006b00690065006a0020006a0061006b006f015b00630069002e002000200044006f006b0075006d0065006e0074007900200050004400460020006d006f017c006e00610020006f007400770069006500720061010700200077002000700072006f006700720061006d006900650020004100630072006f00620061007400200069002000410064006f00620065002000520065006100640065007200200035002e0030002000690020006e006f00770073007a0079006d002e>
/PTB <FEFF005500740069006c0069007a006500200065007300730061007300200063006f006e00660069006700750072006100e700f50065007300200064006500200066006f0072006d00610020006100200063007200690061007200200064006f00630075006d0065006e0074006f0073002000410064006f0062006500200050004400460020006d00610069007300200061006400650071007500610064006f00730020007000610072006100200070007200e9002d0069006d0070007200650073007300f50065007300200064006500200061006c007400610020007100750061006c00690064006100640065002e0020004f007300200064006f00630075006d0065006e0074006f00730020005000440046002000630072006900610064006f007300200070006f00640065006d0020007300650072002000610062006500720074006f007300200063006f006d0020006f0020004100630072006f006200610074002000650020006f002000410064006f00620065002000520065006100640065007200200035002e0030002000650020007600650072007300f50065007300200070006f00730074006500720069006f007200650073002e>
/RUM <FEFF005500740069006c0069007a00610163006900200061006300650073007400650020007300650074010300720069002000700065006e007400720075002000610020006300720065006100200064006f00630075006d0065006e00740065002000410064006f006200650020005000440046002000610064006500630076006100740065002000700065006e0074007200750020007400690070010300720069007200650061002000700072006500700072006500730073002000640065002000630061006c006900740061007400650020007300750070006500720069006f006100720103002e002000200044006f00630075006d0065006e00740065006c00650020005000440046002000630072006500610074006500200070006f00740020006600690020006400650073006300680069007300650020006300750020004100630072006f006200610074002c002000410064006f00620065002000520065006100640065007200200035002e00300020015f00690020007600650072007300690075006e0069006c006500200075006c0074006500720069006f006100720065002e>
/RUS <FEFF04180441043f043e043b044c04370443043904420435002004340430043d043d044b04350020043d0430044104420440043e0439043a043800200434043b044f00200441043e043704340430043d0438044f00200434043e043a0443043c0435043d0442043e0432002000410064006f006200650020005000440046002c0020043c0430043a04410438043c0430043b044c043d043e0020043f043e04340445043e0434044f04490438044500200434043b044f00200432044b0441043e043a043e043a0430044704350441044204320435043d043d043e0433043e00200434043e043f0435044704300442043d043e0433043e00200432044b0432043e04340430002e002000200421043e043704340430043d043d044b04350020005000440046002d0434043e043a0443043c0435043d0442044b0020043c043e0436043d043e0020043e0442043a0440044b043204300442044c002004410020043f043e043c043e0449044c044e0020004100630072006f00620061007400200438002000410064006f00620065002000520065006100640065007200200035002e00300020043800200431043e043b043504350020043f043e04370434043d043804450020043204350440044104380439002e>
/SKY <FEFF0054006900650074006f0020006e006100730074006100760065006e0069006100200070006f0075017e0069007400650020006e00610020007600790074007600e100720061006e0069006500200064006f006b0075006d0065006e0074006f0076002000410064006f006200650020005000440046002c0020006b0074006f007200e90020007300610020006e0061006a006c0065007001610069006500200068006f0064006900610020006e00610020006b00760061006c00690074006e00fa00200074006c0061010d00200061002000700072006500700072006500730073002e00200056007900740076006f00720065006e00e900200064006f006b0075006d0065006e007400790020005000440046002000620075006400650020006d006f017e006e00e90020006f00740076006f00720069016500200076002000700072006f006700720061006d006f006300680020004100630072006f00620061007400200061002000410064006f00620065002000520065006100640065007200200035002e0030002000610020006e006f0076016100ed00630068002e>
/SLV <FEFF005400650020006e006100730074006100760069007400760065002000750070006f0072006100620069007400650020007a00610020007500730074007600610072006a0061006e006a006500200064006f006b0075006d0065006e0074006f0076002000410064006f006200650020005000440046002c0020006b006900200073006f0020006e0061006a007000720069006d00650072006e0065006a016100690020007a00610020006b0061006b006f0076006f00730074006e006f0020007400690073006b0061006e006a00650020007300200070007200690070007200610076006f0020006e00610020007400690073006b002e00200020005500730074007600610072006a0065006e006500200064006f006b0075006d0065006e0074006500200050004400460020006a00650020006d006f0067006f010d00650020006f0064007000720065007400690020007a0020004100630072006f00620061007400200069006e002000410064006f00620065002000520065006100640065007200200035002e003000200069006e0020006e006f00760065006a01610069006d002e>
/SUO <FEFF004b00e40079007400e40020006e00e40069007400e4002000610073006500740075006b007300690061002c0020006b0075006e0020006c0075006f00740020006c00e400680069006e006e00e4002000760061006100740069007600610061006e0020007000610069006e006100740075006b00730065006e002000760061006c006d0069007300740065006c00750074007900f6006800f6006e00200073006f00700069007600690061002000410064006f0062006500200050004400460020002d0064006f006b0075006d0065006e007400740065006a0061002e0020004c0075006f0064007500740020005000440046002d0064006f006b0075006d0065006e00740069007400200076006f0069006400610061006e0020006100760061007400610020004100630072006f0062006100740069006c006c00610020006a0061002000410064006f00620065002000520065006100640065007200200035002e0030003a006c006c00610020006a006100200075007500640065006d006d0069006c006c0061002e>
/SVE <FEFF0041006e007600e4006e00640020006400650020006800e4007200200069006e0073007400e4006c006c006e0069006e006700610072006e00610020006f006d002000640075002000760069006c006c00200073006b006100700061002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e007400200073006f006d002000e400720020006c00e4006d0070006c0069006700610020006600f60072002000700072006500700072006500730073002d007500740073006b00720069006600740020006d006500640020006800f600670020006b00760061006c0069007400650074002e002000200053006b006100700061006400650020005000440046002d0064006f006b0075006d0065006e00740020006b0061006e002000f600700070006e00610073002000690020004100630072006f0062006100740020006f00630068002000410064006f00620065002000520065006100640065007200200035002e00300020006f00630068002000730065006e006100720065002e>
/TUR <FEFF005900fc006b00730065006b0020006b0061006c006900740065006c0069002000f6006e002000790061007a006401310072006d00610020006200610073006b013100730131006e006100200065006e0020006900790069002000750079006100620069006c006500630065006b002000410064006f006200650020005000440046002000620065006c00670065006c0065007200690020006f006c0075015f007400750072006d0061006b0020006900e70069006e00200062007500200061007900610072006c0061007201310020006b0075006c006c0061006e0131006e002e00200020004f006c0075015f0074007500720075006c0061006e0020005000440046002000620065006c00670065006c0065007200690020004100630072006f006200610074002000760065002000410064006f00620065002000520065006100640065007200200035002e003000200076006500200073006f006e0072006100730131006e00640061006b00690020007300fc007200fc006d006c00650072006c00650020006100e70131006c006100620069006c00690072002e>
/UKR <FEFF04120438043a043e0440043804410442043e043204430439044204350020044604560020043f043004400430043c043504420440043800200434043b044f0020044104420432043e04400435043d043d044f00200434043e043a0443043c0435043d044204560432002000410064006f006200650020005000440046002c0020044f043a04560020043d04300439043a04400430044904350020043f045604340445043e0434044f0442044c00200434043b044f0020043204380441043e043a043e044f043a04560441043d043e0433043e0020043f0435044004350434043404400443043a043e0432043e0433043e0020043404400443043a0443002e00200020042104420432043e04400435043d045600200434043e043a0443043c0435043d0442043800200050004400460020043c043e0436043d04300020043204560434043a0440043804420438002004430020004100630072006f006200610074002004420430002000410064006f00620065002000520065006100640065007200200035002e0030002004300431043e0020043f04560437043d04560448043e04570020043204350440044104560457002e>
/ENU (Use these settings to create Adobe PDF documents best suited for high-quality prepress printing. Created PDF documents can be opened with Acrobat and Adobe Reader 5.0 and later.)
>>
/Namespace [
(Adobe)
(Common)
(1.0)
]
/OtherNamespaces [
<<
/AsReaderSpreads false
/CropImagesToFrames true
/ErrorControl /WarnAndContinue
/FlattenerIgnoreSpreadOverrides false
/IncludeGuidesGrids false
/IncludeNonPrinting false
/IncludeSlug false
/Namespace [
(Adobe)
(InDesign)
(4.0)
]
/OmitPlacedBitmaps false
/OmitPlacedEPS false
/OmitPlacedPDF false
/SimulateOverprint /Legacy
>>
<<
/AddBleedMarks false
/AddColorBars false
/AddCropMarks false
/AddPageInfo false
/AddRegMarks false
/ConvertColors /ConvertToCMYK
/DestinationProfileName ()
/DestinationProfileSelector /DocumentCMYK
/Downsample16BitImages true
/FlattenerPreset <<
/PresetSelector /MediumResolution
>>
/FormElements false
/GenerateStructure false
/IncludeBookmarks false
/IncludeHyperlinks false
/IncludeInteractive false
/IncludeLayers false
/IncludeProfiles false
/MultimediaHandling /UseObjectSettings
/Namespace [
(Adobe)
(CreativeSuite)
(2.0)
]
/PDFXOutputIntentProfileSelector /DocumentCMYK
/PreserveEditing true
/UntaggedCMYKHandling /LeaveUntagged
/UntaggedRGBHandling /UseDocumentProfile
/UseDocumentBleed false
>>
]
>> setdistillerparams
<<
/HWResolution [2400 2400]
/PageSize [612.000 792.000]
>> setpagedevice
|