Подход к построению ансамбля классификаторов с использованием генетического алгоритма

В статье рассматривается новый эволюционный подход к построению ансамбля классификаторов. Предложенный подход разработан на основе генетического алгоритма с модифицированной схемой реализации. В процессе оптимизации происходит определение параметров как отдельных классификаторов,&a...

Повний опис

Збережено в:

Бібліографічні деталі
Дата:	2009
Автори:	Новоселова, Н.А., Том, И.Э.
Формат:	Стаття
Мова:	Російська
Опубліковано:	Інститут проблем штучного інтелекту МОН України та НАН України 2009
Теми:	Интеллектуальный анализ данных
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/8021
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Подход к построению ансамбля классификаторов с использованием генетического алгоритма / Н.А. Новоселова, И.Э. Том // Штучний інтелект. — 2009. — № 3. — С. 81-88. — Бібліогр.: 11 назв. — рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1860236635557330944
author	Новоселова, Н.А. Том, И.Э.
author_facet	Новоселова, Н.А. Том, И.Э.
citation_txt	Подход к построению ансамбля классификаторов с использованием генетического алгоритма / Н.А. Новоселова, И.Э. Том // Штучний інтелект. — 2009. — № 3. — С. 81-88. — Бібліогр.: 11 назв. — рос.
collection	DSpace DC
description	В статье рассматривается новый эволюционный подход к построению ансамбля классификаторов. Предложенный подход разработан на основе генетического алгоритма с модифицированной схемой реализации. В процессе оптимизации происходит определение параметров как отдельных классификаторов, так и всего ансамбля. С использованием подхода выполнено построение ансамбля классификаторов на нескольких наборах данных из архива данных по машинному обучению и на одном реальном наборе медицинских данных. Сравнительное тестирование показало преимущества использования предложенного подхода при работе с многомерными данными, характеризующимися большим количеством признаков. У статті розглядається новий еволюційний підхід до побудови ансамблю класифікаторів. Запропонований підхід розроблений на основі генетичного алгоритму з модифікованою схемою реалізації. У процесі оптимізації відбувається визначення параметрів як окремих класифікаторів, так і всього ансамблю. З використанням підходу виконана побудова ансамблю класифікаторів на декількох наборах даних з архіву даних по машинному навчанню й на одному реальному наборі медичних даних. Порівняльне тестування показало переваги використання запропонованого підходу при роботі з багатовимірними даними, що характеризуються більшою кількістю ознак. The paper proposes a new evolutionary approach to classifier ensemble design. The proposed approach is developed on the basis of genetic algorithm with modified realization scheme as applied to the optimization of feature set decomposition into the subsets, which define the individual ensemble’s classifiers and provide the high classification accuracy. During optimization both individual classifiers’ parameters and the ensemble parameters are defined. With the approach a few ensembles were designed for several datasets from machine learning database and for one real medical dataset. The comparative testing shows the advantages of the proposed approach for multivariate data analysis with great number of features.
first_indexed	2025-12-07T18:24:37Z
format	Article
fulltext	«Штучний інтелект» 3’2009 81 2Н УДК 004.8 Н.А. Новоселова, И.Э. Том Объединенный институт проблем информатики Национальной академии наук Беларуси, г. Минск novosel@newman.bas-net.by, tom@newman.bas-net.by Подход к построению ансамбля классификаторов с использованием генетического алгоритма В статье рассматривается новый эволюционный подход к построению ансамбля классификаторов. Предложенный подход разработан на основе генетического алгоритма с модифицированной схемой реализации. В процессе оптимизации происходит определение параметров как отдельных классификаторов, так и всего ансамбля. С использованием подхода выполнено построение ансамбля классификаторов на нескольких наборах данных из архива данных по машинному обучению и на одном реальном наборе медицинских данных. Сравнительное тестирование показало преимущества использования предложенного подхода при работе с многомерными данными, характеризующимися большим количеством признаков. Введение Согласно литературным источникам [1], [2] использование комбинации класси- фикаторов позволяет повысить точность классификации при решении практических задач. Среди всех имеющихся методов построения ансамбля классификаторов наибо- лее популярными являются «bagging» и «boosting» [3], которые основаны на манипу- ляциях с исходным обучающим множеством с целью построения нескольких клас- сификаторов. Теоретические и эмпирические результаты показывают, что результат комбинации классификаторов наиболее эффективен, когда классификаторы являются независимыми [4]. Для построения независимых классификаторов наиболее эффек- тивным методом является обучение отдельных членов ансамбля на различающихся подмножествах признаков [5], [6]. Таким образом, построение ансамбля классифика- торов на основе декомпозиции исходного набора признаков, описывающих объекты данных, в большинстве случаев имеет преимущества. Известно большое количество публикаций, исследующих свойства ансамблей классификаторов, которые построены с использованием различных подмножеств признаков. Например, в работе [5] была продемонстрирована возможность использования рандомизированных подмножеств признаков для построения ансамбля классификаторов. Однако, когда размерность признакового пространства достаточно большая, такой способ является неэффективным. В работе [2] использовался эвристический алгоритм для декомпозиции множества признаков на несколько некоррелированных подмножеств, который, являясь локально оптимальным, не гарантировал получение наилучшего результата. В настоящей работе представлен подход к построению ансамбля классифика- торов, отличительной особенностью которого является использование генетического алгоритма (ГА) для одновременного отбора нескольких подмножеств признаков для построения отдельных классификаторов, входящих в состав ансамбля. Использова- Новоселова Н.А., Том И.Э. «Искусственный интеллект» 3’2009 82 2Н ние ГА для решения оптимизационной задачи декомпозиции исходного множества признаков для построения ансамбля классификаторов объясняется следующими при- чинами:  простотой кодирования решения оптимизационной задачи;  отсутствием ограничений на гладкость оптимизируемой функции, что позволяет в качестве последней использовать точность классификации с использованием ансамбля;  отсутствием эффективных субоптимальных алгоритмов отбора подмножеств приз- наков для классификаторов, составляющих ансамбль. В предыдущих работах [7-9] ГА использовался в основном для оптимизации отбора информативных признаков для построения индивидуального классификатора. В этом случае все множество признаков разбивалось на два подмножества, одно из которых полностью отбрасывалось и не использовалось при решении классификацион- ной задачи. Предлагаемый в настоящей статье подход позволяет использовать все исходное множество признаков для построения ансамбля классификаторов с одно- временным обучением как параметров индивидуальных классификаторов, так и всего ансамбля. 1. Формальное определение ансамбля классификаторов Пусть имеется множество  1, , c    меток классов и пусть  1, , T Mx x x R   T Mx x x R  – набор признаков, описывающих объект данных. Классификатором является отображение следующего вида:  : 0,1 ,cMD R  где D(x) – вектор размерности c, у которого i-й компонент определяет степень при- надлежности x классу i, i = 1,…,c. В системах, основанных на комбинации k класси- фикаторов, выходы отдельных классификаторов агрегируются для получения окон- чательного классификационного решения: 1( ) ( ( ), , ( ))kD x F D x D x  , где F – оператор агрегирования. Выходом каждого отдельного классификатора для некоторого объекта данных x является с-мерный вектор ,1 ,( ) ( ), , ( ) T i i i cD x d x d x    , i = 1,…,k. Выходом всей комбинации классификаторов является с-мерный вектор –  1( ) ( ), , ( ) T cD x x x   . Если необходимо определить для объекта x единственную метку класса, то класс s соответствует максимальному значению степеней принадлежности: , ,( ) ( ) 1, ,i s i jd x d x j c    – для отдельных классификаторов; ( ) ( ), 1, ,s tx x t c     – для всего ансамбля. Существуют различные операторы, позволяющие комбинировать выходы отдель- ных классификаторов ансамбля. К ним относятся: оператор максимума, минимума, произведения, усреднения, решение «большинством голосов» и т.д. В нашем иссле- довании отдельные классификаторы комбинируются с использованием метода «боль- шинством голосов», который является достаточно популярным и простым в реализации. Пусть с-мерный вектор  ,1 ,( ) ( ), , ( ) 0,1 T c i i i cD x d x d x    – выход классификато- ра Di, i = 1,…,k для входного объекта x. Значение  , ( ) 0,1i jd x  означает поддержку, Подход к построению ансамбля классификаторов... «Штучний інтелект» 3’2009 83 2Н оказываемую классификатором Di гипотезе о том, что x относится к классу j. Для того, чтобы определить «голос» классификатора в поддержку единственного класса, мы огрубляем классификационное решение, а именно выбираем класс  , ,( ) max ( ) .s i s i jj d x d x  Таким образом, классификационное решение для каждого Di формулируется как бинарный вектор h iD , имеющий единицу в позиции s и ноль в остальных позициях: , 1, ( ) 0, h i j j s d x j s     . Решение «большинством голосов» Fmaj, представленное в виде с-мерного векто- ра, рассчитывается следующим образом:    1( ) ( ), , ( ) , ( ) 0,1T maj c jF D x d x d x d x   , j = 1,…,c и , 1,..., , 1 1 1, ( ) max ( ) ( ) 0, k k h h i j s c i s i ij d x d x d x          , где k – количество классификаторов в ансамбле. В нашем исследовании мы используем различные подмножества исходных признаков для построения ансамбля классификаторов. В качестве отдельного клас- сификатора используется метод ближайших соседей [10]. 2. Подход к построению ансамбля классификаторов Предложенный подход к построению ансамбля классификаторов разработан на основе ГА, который имеет модифицированную схему реализации применительно к задаче оптимизации разбиения множества признаков на подмножества, определяю- щие отдельные классификаторы ансамбля. Таким образом, формулируется следующая оптимизационная задача: Пусть  – множество различных разбиений множества признаков, характеризую- щих объект данных, на k подмножеств, каждое из которых соответствует отдельному классификатору. Каждое разбиение представляет собой некоторую комбинацию вход- ных признаков из максимально возможного количества комбинаций (k+1)M, где M – количество входных признаков. Требуется найти такое разбиение S  , которое яв- ляется решением задачи оптимизации с одним критерием: max f1(S), где f1(S) – количество правильно классифицированных объектов с использованием ансамбля классификаторов. Общая схема реализации предложенного подхода с использованием ГА пред- ставлена на рис. 1. Согласно рис. 1, случайным образом формируется поколение ГА путем различных разбиений всего множества признаков A обучающей выборки на k подмножеств Aj, kj 1 . С использованием каждого из подмножеств признаков, зако- дированных в k отдельных особях ГА, выполняется построение k классификаторов. Классификационные решения отдельных классификаторов комбинируются с исполь- зованием рассмотренного выше оператора агрегирования «большинством голосов», определяя решение ансамбля классификаторов. Затем в цикле выполняются генети- ческие операции рекомбинации и отбора особей ГА в новое поколение решений оп- тимизационной задачи, где в качестве функции приспособленности особи выступает результат классификации данных ансамблем классификаторов. Новоселова Н.А., Том И.Э. «Искусственный интеллект» 3’2009 84 2Н Рисунок 1 – Схема предложенного подхода Одним из ключевых вопросов, возникающих при использовании ГА для решения прикладной задачи, является способ кодирования решения в особи, подвергающейся воздействию генетических операторов. В нашем исследовании в особи (хромосоме) ГА кодируется решение задачи разбиения множества признаков на подмножества для построения ансамбля классификаторов. Особь представляет собой множество признаков, каждый из которых отнесен к некоторому подмножеству, i-й ген соот- ветствует i-му признаку. Были использованы две схемы кодирования: 1. В первой схеме каждый ген принимает значение от 1 до k, которое соот- ветствует подмножеству признаков, определяющему индивидуальный классификатор. В этом случае множество исходных признаков делится на несколько непересекаю- щихся подмножеств. Пространство поиска равно (k+1)M, где M – количество входных признаков, например, при k = 3, и количеству признаков M = 7, возможное представ- ление особи ГА представлено на рис. 2. Рисунок 2 – Первая схема кодирования особи ГА 2. Во второй схеме существует возможность определения пересекающихся под- множеств признаков. Размерность пространства поиска равна (2k)M, где M – количест- во входных признаков. Пример кодирования особи ГА с тремя классификаторами и количеством признаков M = 7 представлен на рис. 3. Рисунок 3 – Вторая схема кодирования особи ГА Выборка данных 1, , , ,i i i i M Mx i i n x x x R      Шаг работы генетического алгоритма Классификация Агрегирование «большинством голосов» Подмножество признаков A1 Классификатор 1 Подмножество признаков A2 Классификатор 2 Подмножество признаков Ak Классификатор k    Классификатор 2 2 2 1 3 1 3 3 Классификатор 1 Классификатор 3 Классификатор 2 2 4 6 7 5 1 3 Классификатор 1 Классификатор 3 Подход к построению ансамбля классификаторов... «Штучний інтелект» 3’2009 85 2Н Для кодирования представленной на рис. 3 особи используются следующие обозначения: если значение гена равно 1 – признак принадлежит только первому подмножеству; если значение гена равно 2 – признак принадлежит только второму подмножеству; если значение гена равно 3 – признак принадлежит только третьему подмножеству; если значение гена равно 4 – признак принадлежит только первому и второму под- множеству; если значение гена равно 5 – признак принадлежит только первому и третьему под- множеству; если значение гена равно 6 – признак принадлежит только второму и третьему под- множеству; если значение гена равно 7 – признак принадлежит одновременно всем трем подмно- жествам. 3. Результаты экспериментов Разработанный подход к построению ансамбля классификаторов с использова- нием ГА был протестирован (табл. 1) на двух наборах данных из архива данных по машинному обучению (http://www.ics.uci.edu/~mlearn/): по болезни сердца Heart, по определению типов вин Wine, и на одном наборе медицинских данных пациентов с тран- зиторными ишемическими атаками (ТИА). Для оценки точности классификации ансамблем классификаторов мы разбивали исследуемые наборы данных на две части, одна из которых использовалась для обу- чения ансамбля (обучающая выборка), а вторая – для тестирования результатов (тес- товая выборка). Таблица 1 – Описание наборов данных для тестирования Набор данных Количество объектов данных Количество признаков Количество классов Heart 303 13 2 Wine 178 13 3 ТИА 101 41 4 Было поставлено четыре эксперимента по построению ансамбля классификаторов: 1) построение ансамбля из трех классификаторов на основе непересекающихся подмножеств признаков; 2) построение ансамбля из пяти классификаторов на основе непересекающихся подмножеств признаков; 3) построение ансамбля из семи классификаторов на основе непересекающихся подмножеств признаков; 4) построение ансамбля из трех классификаторов на основе пересекающихся под- множеств признаков. Для каждого набора данных был построен как индивидуальный классификатор с использованием подмножества признаков, отобранных с использованием ГА, ранее описанного авторами в [11], так и ансамбль классификаторов. Авторы выражают благодарность Мастыкину А.С. (Белорусский государственный медицин- ский университет, г. Минск, Беларусь) за предоставление данных по ТИА для проведения анализа. Новоселова Н.А., Том И.Э. «Искусственный интеллект» 3’2009 86 2Н Для проведения экспериментов были выбраны следующие параметры ГА:  Размер популяции – 100 – 200.  Максимальное количество генераций – 100.  Вероятность скрещивания Pскр = 0,8.  Вероятность мутации Pмут = 0,1. Результаты экспериментов, полученные для каждого из наборов данных, представ- лены в табл. 2 – 4. В столбце «Точность классификации» указана точность класси- фикации тестовой выборки. В связи с небольшим количеством признаков, характери- зующих объект данных в наборах данных Heart и Wine, ансамбль классификаторов строится с использованием трех или пяти подмножеств признаков. Таблица 2 – Результаты эксперимента для набора данных Heart Количество подмножеств признаков Точность классификации Лучшее решение – особь ГА Классификатор (метод k-ближайших соседей) 1 классификатор 0,754 Все признаки Классификатор с отбором признаков 1 классификатор 0,829 0,0,1,0,0,0,0,0,0,0,0,1,1 Ансамбль классификаторов (схема 1) 3 классификатора 0,848 0,3,2,0,1,1,3,0,1,0,1,3,1 или 2,1,2,0,1,0,1,0,1,0,2,3,3 5 классификаторов 0,865 0,1,5,1,1,3,1,0,3,1,2,4,3 Ансамбль классификаторов (схема 2) 3 классификатора 0,865 3,7,2,2,4,3,4,3,7,6,0,5,3 Согласно табл. 2, для набора данных Heart классификатор на отобранном под- множестве наиболее информативных признаков улучшает результаты классифика- ции тестовой выборки с 75,4% до 82,9%. Наилучшие результаты классификации дают ансамбль из пяти классификаторов с непересекающимися подмножествами при- знаков и ансамбль из трех классификаторов с пересекающимися подмножествами признаков. Таблица 3 – Результаты эксперимента для набора данных Wine Количество подмножеств признаков Точность классификации Лучшее решение – особь ГА Классификатор (метод k-ближайших соседей) 1 классификатор 0,95 Все признаки Классификатор с отбором признаков 1 классификатор 0,994 1,1,0,0,1,0,1,1,0,1,1,0,1 Ансамбль классификаторов (схема 1) 3 классификатора 0,994 3,1,1,1,2,3,3,0,2,2,3,0,3 5 классификаторов 0,994 2,0,1,1,2,1,2,2,1,4,4,1,4 Ансамбль классификаторов (схема 2) 3 классификатора 0,994 6,6,1,0,5,5,7,0,2,6,6,1,7 Подход к построению ансамбля классификаторов... «Штучний інтелект» 3’2009 87 2Н Как видно из табл. 3, для набора данных Wine построенный классификатор на отобранном подмножестве наиболее информативных признаков улучшает результаты классификации тестовой выборки с 75,4% до 82,9%. Точность классификации ан- самбля из трех и пяти классификаторов с непересекающимися подмножествами признаков и ансамбля из трех классификаторов с пересекающимися подмножествами признаков не лучше, чем точность отдельного классификатора с отобранным под- множеством признаков. Это можно объяснить тем, что почти все признаки набора данных Wine информативны, что подтверждается высокой точностью классификации тестовой выборки с использованием одного классификатора и всех признаков. Сле- довательно, построение ансамбля классификаторов путем разбиения множества при- знаков на несколько подмножеств не улучшает точности классификации и не является необходимым в этом случае. Таблица 4 – Результаты эксперимента для набора данных ТИА Количество подмножеств признаков Точность классификации Классификатор (метод k- ближайших соседей) 1 классификатор 0,604 Классификатор с отбором признаков 1 классификатор 0,802 Ансамбль классификаторов (схема 1) 3 классификатора 0,852 5 классификаторов 0,861 7 классификаторов 0,792 Ансамбль классификаторов (схема 2) 3 классификатора 0,871 Согласно табл. 4, для набора данных ТИА классификатор на отобранном под- множестве наиболее информативных признаков существенно улучшает результаты классификации тестовой выборки с 60,4% до 80,2%. Наилучшие результаты класси- фикации дают ансамбль из пяти классификаторов с непересекающимися подмножест- вами признаков (86,1%) и ансамбль из трех классификаторов с пересекающимися подмножествами признаков (87,1%). Как следует из результатов вычислительных экспериментов с тремя наборами данных, предложенный в настоящей работе подход к построению ансамбля класси- фикаторов обеспечивает получение более высокой точности классификации объектов, характеризующихся большим количеством признаков. Мы надеемся, что это будет подтверждено дальнейшими экспериментами с более широкой номенклатурой тесто- вых и реальных наборов данных. Как следует из анализа результатов экспериментов, использование в классификаторе всех признаков, включающих как информативные, так и избыточные, дает наихудшие результаты классификации. Использование клас- сификатора, построенного на отборе только одного подмножества информативных признаков, может привести к игнорированию хороших альтернативных решений, кото- рые могут стать составной частью ансамбля классификаторов и в комплексе обеспечить более высокую точность классификации. Заключение В представленной работе описан подход к построению ансамбля классификаторов на основе применения модифицированного ГА. Отличительной чертой предложен- ного подхода является представление задачи построения ансамбля классификаторов Новоселова Н.А., Том И.Э. «Искусственный интеллект» 3’2009 88 2Н как задачи оптимизации разбиения исходного множества признаков на подмножест- ва, определяющие отдельные классификаторы ансамбля. Применение ГА в качестве инструмента решения оптимизационной задачи позволяет в автоматическом режиме находить такие комбинации классификаторов, которые обеспечивают максимум точ- ности классификации объектов данных ансамблем. Причем в процессе оптимизации происходит определение параметров как отдельных классификаторов, так и их ан- самбля. Выполнено тестирование предложенного подхода на нескольких наборах данных, что показало более высокую точность классификации с использованием ан- самбля классификаторов, чем с использованием отдельных классификаторов. Дальнейшим направлением исследований является решение задачи построения ансамбля класси- фикаторов с возможностью определения типа для каждого индивидуального класси- фикатора, который будет кодироваться в расширенной хромосоме ГА. Литература 1. Multiple Classifier Systems / J. Kittler & F. Roli (editors) // Proc. of 2nd International Workshop, MCS2001, (Cambridge, UK, 2-4 July 2001) / Lecture Notes in Computer Science. – Vol. 2096. – Springer-Verlag, Berlin. 2. Vishwath P. Fusion of multiple approximate nearest neighbor classifier for fast and efficient classifica- tion / P. Vishwath, M.N. Murty, C. Bhatnagar, // Information fusion. – 2004. – Vol. 5. – P. 239-250. 3. Quinlan J.R. Bagging, boosting and C4.5 / J.R. Quinlan // Proceedings of AAA/IAAI. – 1996. – Vol. 1. – Р. 725-730. 4. Tumer K. Decimated input ensembles for improved generalization / K. Tumer, N.C. Oza // Proceedings of the International Joint Conference on Neural Networks. – Washington, DC. – 1999. 5. Bay S.D. Nearest neighbor classifiers from multiple feature subsets / S.D. Bay // Intelligent data ana- lysis. – 1999. – Vol. 3. – P. 191-209. 6. Bryll R. Attribute bagging: improving accuracy of classifier ensembles by using random feature subsets / R. Bryll, R. Gutierrez-Osuna, F. Quek // Pattern Recognition. – 2003. – Vol. 36. – P. 1291-1302. 7. Siedlecki W. A note on genetic algorithms for large scale feature selection / W. Siedlecki, J. Sklansky // Pattern Recognition Letters. – 1989. – Vol. 10, № 5. – P. 335-347. 8. Dimensionality reduction using genetic algorithms / Raymer M.L. [et al.] // IEEE Transactions on Evolu- tionary Computation. – 2000. – Vol. 4, № 2. – P. 164-171. 9. Kuncheva L.I. Nearest neighbor classifier: simultaneous editing and feature selection / L.I. Kuncheva, L.C. Jain // Pattern Recognition Letters. – 1999. – Vol. 20. – P. 1149-1156. 10. Cover T.M. Nearest neighbor pattern classification / T.M. Cover, P.E. Hart // IEEE Transactions on In- formation Theory. – 1967. – Vol. 13, № 1. – P. 21-27. 11. Новоселова Н.А. Эволюционный подход к выделению информативных признаков в задачах ана- лиза медицинских данных / Н.А. Новоселова, И.Э. Том, А.С. Мастыкин // Искусственный интел- лект. – 2008. – № 3. – С. 105-112. Н.А. Новосьолова, I.Э. Том Підхід до побудови ансамблю класифікаторів з використанням генетичного алгоритму У статті розглядається новий еволюційний підхід до побудови ансамблю класифікаторів. Запропонований підхід розроблений на основі генетичного алгоритму з модифікованою схемою реалізації. У процесі оптимізації відбувається визначення параметрів як окремих класифікаторів, так і всього ансамблю. З використанням підходу виконана побудова ансамблю класифікаторів на декількох наборах даних з архіву даних по машинному навчанню й на одному реальному наборі медичних даних. Порівняльне тестування показало переваги використання запропонованого підходу при роботі з багатовимірними даними, що характеризуються більшою кількістю ознак. N.A. Novoselova, I.E. Tom Design of Classifier Ensemble by Genetic Algorithm The paper proposes a new evolutionary approach to classifier ensemble design. The proposed approach is developed on the basis of genetic algorithm with modified realization scheme as applied to the optimization of feature set decomposition into the subsets, which define the individual ensemble’s classifiers and provide the high classification accuracy. During optimization both individual classifiers’ parameters and the ensemble parameters are defined. With the approach a few ensembles were designed for several datasets from machine learning database and for one real medical dataset. The comparative testing shows the advantages of the proposed approach for multivariate data analysis with great number of features. Статья поступила в редакцию 15.06.2009.
id	nasplib_isofts_kiev_ua-123456789-8021
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	1561-5359
language	Russian
last_indexed	2025-12-07T18:24:37Z
publishDate	2009
publisher	Інститут проблем штучного інтелекту МОН України та НАН України
record_format	dspace
spelling	Новоселова, Н.А. Том, И.Э. 2010-04-26T15:33:06Z 2010-04-26T15:33:06Z 2009 Подход к построению ансамбля классификаторов с использованием генетического алгоритма / Н.А. Новоселова, И.Э. Том // Штучний інтелект. — 2009. — № 3. — С. 81-88. — Бібліогр.: 11 назв. — рос. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/8021 004.8 В статье рассматривается новый эволюционный подход к построению ансамбля классификаторов. Предложенный подход разработан на основе генетического алгоритма с модифицированной схемой реализации. В процессе оптимизации происходит определение параметров как отдельных классификаторов, так и всего ансамбля. С использованием подхода выполнено построение ансамбля классификаторов на нескольких наборах данных из архива данных по машинному обучению и на одном реальном наборе медицинских данных. Сравнительное тестирование показало преимущества использования предложенного подхода при работе с многомерными данными, характеризующимися большим количеством признаков. У статті розглядається новий еволюційний підхід до побудови ансамблю класифікаторів. Запропонований підхід розроблений на основі генетичного алгоритму з модифікованою схемою реалізації. У процесі оптимізації відбувається визначення параметрів як окремих класифікаторів, так і всього ансамблю. З використанням підходу виконана побудова ансамблю класифікаторів на декількох наборах даних з архіву даних по машинному навчанню й на одному реальному наборі медичних даних. Порівняльне тестування показало переваги використання запропонованого підходу при роботі з багатовимірними даними, що характеризуються більшою кількістю ознак. The paper proposes a new evolutionary approach to classifier ensemble design. The proposed approach is developed on the basis of genetic algorithm with modified realization scheme as applied to the optimization of feature set decomposition into the subsets, which define the individual ensemble’s classifiers and provide the high classification accuracy. During optimization both individual classifiers’ parameters and the ensemble parameters are defined. With the approach a few ensembles were designed for several datasets from machine learning database and for one real medical dataset. The comparative testing shows the advantages of the proposed approach for multivariate data analysis with great number of features. ru Інститут проблем штучного інтелекту МОН України та НАН України Интеллектуальный анализ данных Подход к построению ансамбля классификаторов с использованием генетического алгоритма Підхід до побудови ансамблю класифікаторів з використанням генетичного алгоритму Design of Classifier Ensemble by Genetic Algorithm Article published earlier
spellingShingle	Подход к построению ансамбля классификаторов с использованием генетического алгоритма Новоселова, Н.А. Том, И.Э. Интеллектуальный анализ данных
title	Подход к построению ансамбля классификаторов с использованием генетического алгоритма
title_alt	Підхід до побудови ансамблю класифікаторів з використанням генетичного алгоритму Design of Classifier Ensemble by Genetic Algorithm
title_full	Подход к построению ансамбля классификаторов с использованием генетического алгоритма
title_fullStr	Подход к построению ансамбля классификаторов с использованием генетического алгоритма
title_full_unstemmed	Подход к построению ансамбля классификаторов с использованием генетического алгоритма
title_short	Подход к построению ансамбля классификаторов с использованием генетического алгоритма
title_sort	подход к построению ансамбля классификаторов с использованием генетического алгоритма
topic	Интеллектуальный анализ данных
topic_facet	Интеллектуальный анализ данных
url	https://nasplib.isofts.kiev.ua/handle/123456789/8021
work_keys_str_mv	AT novoselovana podhodkpostroeniûansamblâklassifikatorovsispolʹzovaniemgenetičeskogoalgoritma AT tomié podhodkpostroeniûansamblâklassifikatorovsispolʹzovaniemgenetičeskogoalgoritma AT novoselovana pídhíddopobudoviansamblûklasifíkatorívzvikoristannâmgenetičnogoalgoritmu AT tomié pídhíddopobudoviansamblûklasifíkatorívzvikoristannâmgenetičnogoalgoritmu AT novoselovana designofclassifierensemblebygeneticalgorithm AT tomié designofclassifierensemblebygeneticalgorithm

Подход к построению ансамбля классификаторов с использованием генетического алгоритма

Репозитарії

Схожі ресурси