Программная система поддержки процессов интеллектуального анализа больших массивов данных
Описаны структура и функциональные возможности программной системы поддержки процесса интеллектуального анализа больших массивов данных. Уделено внимание этапам подготовки данных, организации вычислительного процесса, визуализации результатов. Приведен пример решения с помощью системы задачи булевог...
Gespeichert in:
| Veröffentlicht in: | Компьютерная математика |
|---|---|
| Datum: | 2009 |
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Russisch |
| Veröffentlicht: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2009
|
| Schlagworte: | |
| Online Zugang: | https://nasplib.isofts.kiev.ua/handle/123456789/84548 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Программная система поддержки процессов интеллектуального анализа больших массивов данных / А.Е. Скукис // Компьютерная математика. — 2009. — № 2. — С. 72-79. — Бібліогр.: 5 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| _version_ | 1859477423296348160 |
|---|---|
| author | Скукис, А.Е. |
| author_facet | Скукис, А.Е. |
| citation_txt | Программная система поддержки процессов интеллектуального анализа больших массивов данных / А.Е. Скукис // Компьютерная математика. — 2009. — № 2. — С. 72-79. — Бібліогр.: 5 назв. — рос. |
| collection | DSpace DC |
| container_title | Компьютерная математика |
| description | Описаны структура и функциональные возможности программной системы поддержки процесса интеллектуального анализа больших массивов данных. Уделено внимание этапам подготовки данных, организации вычислительного процесса, визуализации результатов. Приведен пример решения с помощью системы задачи булевого квадратичного программирования без ограничений.
Описані структура та функціональні можливості програмної системи підтримки процесу інтелектуального аналізу великих масивів даних. Приділено увагу етапам підготовки даних, організації обчислювального експерименту, візуалізації результатів. Наведено приклад розв’язання з допомогою системи задачі булевого квадратичного програмування без обмежень.
The structure and functional capabilities of program system for support large scale Data Mining processes are described. The stages of data preparation, computational process organization and results visualization are considered. An example of unconstraint binary quadratic problem solving by the system is provided.
|
| first_indexed | 2025-11-24T11:53:39Z |
| format | Article |
| fulltext |
72 Компьютерная математика. 2009, № 2
Описаны структура и функцио-
нальные возможности програм-
мной системы поддержки про-
цесса интеллектуального анализа
больших массивов данных. Уде-
лено внимание этапам подготов-
ки данных, организации вычисли-
тельного процесса, визуализации
результатов. Приведен пример
решения с помощью системы за-
дачи булевого квадратичного про-
граммирования без ограничений.
© А.Е. Скукис, 2009
ÓÄÊ 381.3
À.Å. ÑÊÓÊÈÑ
ÏÐÎÃÐÀÌÌÍÀß ÑÈÑÒÅÌÀ
ÏÎÄÄÅÐÆÊÈ ÏÐÎÖÅÑÑÎÂ
ÈÍÒÅËËÅÊÒÓÀËÜÍÎÃÎ ÀÍÀËÈÇÀ
ÁÎËÜØÈÕ ÌÀÑÑÈÂÎÂ ÄÀÍÍÛÕ
Введение. Для математического и програм-
много обеспечения ряда задач, которые воз-
никают при интеллектуальном анализе
больших массивов данных, на базе новых
эффективных алгоритмов дискретного про-
граммирования [1] разработан прототип про-
граммной системы (ППС) его поддержки. На
примере важных четырех классов задач (за-
дача А задача булевого квадратичного про-
граммирования без ограничений, задача В
поиска максимальной клики, задача С о мак-
симальном разрезе ориентированного графа,
задача D раскраски графа) предложен еди-
ный общий подход к их решению, основан-
ный на использовании метода глобального
равновесного поиска [2]. Рассматриваемые в
рамках интеллектуальном анализе больших
массивов данных задачи дискретной оптими-
зации, как правило, имеют сложную приро-
ду, что требует применения эффективных
методов их решения. С учетом этого обстоя-
тельства и результатов проведенного анализа
существующих программных средств пред-
ложены архитектура и функциональное на-
полнение [3] ППС для поддержки процесса
решения названных задач, выполнена ее про-
граммная реализация.
Программное обеспечение для комплексного
решения задач классов A – D объединено еди-
ным информационным подходом. Этот подход
означает наличие развитых средств поддержки
данных и широкое использование возможно-
стей объектно-ориентированного програм-
мирования [4]. При реализации функций
ППС учтены специфика задач дискретной
ПРОГРАММНАЯ СИСТЕМА ПОДДЕРЖКИ ПРОЦЕССОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА …
Компьютерная математика. 2009, № 2 73
оптимизации и использованы современные технологии программирования. ППС
предоставляет пользователям удобный механизм описания моделей решаемых
задач, имеет развитый инструмент подготовки данных и организации вычисли-
тельного процесса. Функции администрирования ресурсов системы позволяют
пользователям проводить вычислительные эксперименты независимо друг от дру-
га. ППС реализован средствами быстрой разработки программ Microsoft Visual
C++ 2005 Express Edition с использованием языка программирования С++ [5].
Структура ППС. ППС состоит из файловой базы данных, совокупности
прикладных оптимизационных модулей и интерфейса пользователя. Его струк-
тура показана на рис. 1.
РИС. 1. Структура ППС
Файловая база данных представляет собой структурированный набор папок,
которые содержат файлы входных, выходных и рабочих данных прикладных
модулей, а также исполняемые файлы алгоритмов решения задач. На рис. 2 по-
казана общая схема структуры файловой базы данных задач. Назначение папок
будет описано далее. Интерфейс пользователя содержит средства, позволяющие
осуществлять подготовку данных, формировать задания для решения задач, про-
сматривать, редактировать и выводить результаты.
РИС. 2. Схема структуры файловой базы данных
Администрирование
доступа
Подготовка данных
Вывод данных
и
визуализация
результатов
Организация
вычислительного
эксперимента
Файловая
база
данных
Интерфейс
пользователя
А.Е. СКУКИС
Компьютерная математика. 2009, № 2 74
Доступ к ППС авторизован, что позволяет распределять ресурсы системы
между пользователями, список которых формируется и сопровождается админи-
стратором системы. Реквизитами пользователя являются индивидуальный иден-
тификационный код, пароль и путь к части базы данных.
Функциональные возможности. Администрирование доступа и настройка
параметров ППС предусматривают определение индивидуальных параметров
проведения вычислительного эксперимента. Последний характеризуется датой
проведения, вариантом входных данных, версией прикладных модулей, которые
реализуют алгоритмы решаемых задач, местом сохранения выходных данных.
Организация вычислений предусматривает определение варианта входных
данных задачи, алгоритма ее решения, способа проведения вычислений. Систе-
ма предоставляет возможность решения задач как в автономном, так и в пакет-
ном режимах. Процесс вычислений может быть остановлен для уточнения зна-
чений параметров задачи и алгоритма. По его завершению предусмотрено про-
смотр, редактирование и печать выходных данных.
Контекстная подсказка и детальная помощь дают возможность правильно
применять ППС для анализа больших массивов данных на основе включенных в
ее состав алгоритмов дискретной оптимизации.
Основной компонент интерфейса пользователя – главная экранная форма.
Она содержит главное меню системы, функциональные кнопки быстрого досту-
па к пунктам главного меню, кнопки максимизации, минимизации, нормализа-
ции и закрытия формы. Общение пользователя с ППС осуществляется с помо-
щью главного меню, которое содержит перечень функций, предназначенных для
проведения вычислительного эксперимента.
Главное меню состоит из пунктов “Задачи”, “Помощь”, “Параметры” и
“Выход”. Пункт меню “Задачи” содержит подпункты с названиями решаемых с
помощью ППС задач, пункт “Помощь” – подпункты детального описания мате-
матических моделей задач классов A – D и этапов их решения. Пункт меню “Па-
раметры” включает настройки параметров системы и функции ее администри-
рования. В ППС также реализован доступ к отдельным пунктам меню с помо-
щью кнопок быстрого доступа, которые располагаются на панели под строчкой
главного меню.
Применение ППС. Рассмотрим принцип применения ППС для интеллекту-
ального анализа больших массивов данных на примере решения задачи А буле-
вого квадратичного программирования без ограничений. Математическая мо-
дель задачи может быть представлена в виде:
найти
=1 =1
max ( ) = ,
n n
n
ij i j
i j
f x q x x x B
⎧ ⎫
∈⎨ ⎬
⎩ ⎭
∑∑
где ijq – элементы симметричной действительной матрицы Q порядка n, nB –
множество n-мерных векторов с координатами 0 или 1.
ПРОГРАММНАЯ СИСТЕМА ПОДДЕРЖКИ ПРОЦЕССОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА …
Компьютерная математика. 2009, № 2 75
Для решения задачи необходимо подготовить входные данные. Они могут
быть сформированы программно – датчики случайных чисел, результаты вы-
числений с помощью других программ и систем; подготовлены с использовани-
ем произвольного редактора текстовых файлов. Данные размещаются в базе
данных, структура которой показана на рис. 3.
РИС. 3. Структура базы данных задачи А
Папка ”benchmarks” содержит файлы входных данных задачи. Формат фай-
лов – текстовый. Их названия (название варианта входных данных) формируют-
ся произвольным образом. В первой строчке файла указывается размерность
матрицы Q (см. описание математической модели) и количество ее ненулевых
элементов. Следующие строчки – это позиции и значения ненулевых элементов.
В папке ”exe_files” размещены exe-файлы программ, которые реализуют
алгоритмы решения задачи. Для задачи А в системе представлен один алгоритм
глобального равновесного поиска (ГРП), которому соответствует exe-файл
с именем ubqp_ges_pr1.
Папка ”param” содержит файлы с параметрами алгоритма. Для каждого
алгоритма существует файл начальных значений параметров и файлы со значе-
ниями параметров, которые не совпадают с начальными. Название файла
начальных значений параметров формируется следующим образом:
param_<название варианта входных данных>_<название алгоритма>_initial.
Названия других файлов формируются системой автоматически и трактуются
следующим образом: param_<название варианта входных данных>_<название
алгоритма>_N, где N – порядковый номер варианта параметров.
Алгоритм ubqp_ges_pr1 использует шесть параметров: номер решения зада-
чи; максимальное количество попыток решения задачи; количество повторов
основного цикла ГРП; время (в секундах), отведенное для решения задачи; зна-
чение целевой функции, при достижении которого необходимо завершить ре-
шение задачи; значение параметра tabu алгоритма табу, используемого алгорит-
мом ГРП. Значения этих параметров указываются в отдельной строчке файла
параметров.
В папку ”result” записываются файлы решения задачи. Формат файлов тек-
стовый. Имена файлов формируются системой автоматически и трактуются сле-
дующим образом:
<название варианта входных данных>_record_<название алгоритма>_ <но-
мер варианта параметров>;
<название варианта входных данных>_record_solution_<название алгорит-
ма>_ <номер варианта параметров>.
А.Е. СКУКИС
Компьютерная математика. 2009, № 2 76
Файлы, в именах которых есть ключевое слово record, содержат номер ре-
шения задачи; время, за которое оно получено; найденное значение целевой
функции; наилучшее известное значение целевой функции.
Файлы, в именах которых есть словосочетание record_solution, содержат
решение задачи, найденное значение целевой функции.
Папка ”work” содержит рабочие файлы, которые формируются и использу-
ются алгоритмом решения задачи.
Для начала решения задачи необходимо выбрать пункт меню “Задачи” –>
–>“Задача A булевого квадратичного программирования без ограничений”. При
выборе этого пункта или при нажатии кнопки быстрого доступа к пункту меню
на экране появится форма, которая состоит из закладок: “Математическая мо-
дель”, “Входные данные”, “Параметры”, “Выполнение”, отображенных далее на
соответствующих рисунках.
Закладка “Математическая модель” содержит краткое описание математи-
ческой модели задачи.
Закладка “Входные данные” (рис. 4) предназначена для определения даты
проведения вычислительного эксперимента, каталога задачи; выбора (автоном-
ного или пакетного) режима ее решения, алгоритма решения задачи и варианта
входных данных.
РИС. 4. Форма для задачи А. Закладка “Входные данные”
Группа полей “Каталог задачи” определяет путь к базе данных задачи. Кор-
невой каталог выбирается в диалоговом режиме, а структура вложенных папок
определяется системой автоматически.
ПРОГРАММНАЯ СИСТЕМА ПОДДЕРЖКИ ПРОЦЕССОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА …
Компьютерная математика. 2009, № 2 77
Поле “Пакетное решение” предназначено для определения режима решения
задачи. Если это поле выбрано, то вычисления будут проводиться для несколь-
ких вариантов входных данных. В противном случае – для одного.
Поле со списком “Алгоритм” определяет алгоритм, которым будет решаться
задача.
Поле “Задача” предназначено для определения входных данных задачи. Ин-
формация в нем может быть представлена в двух вариантах. Первый – поле “Па-
кетное решение” не выбрано. Тогда, при нажатии на кнопку , которая нахо-
дится справа от поля “Задача”, в диалоговом режиме выбирается вариант вход-
ных данных. Название этого варианта переносится в поле “Задача”.
Второй вариант – поле “Пакетное решение” выбрано. В этом случае при на-
жатии на кнопку , которая находится справа от поля “Задача”, в диалоговом
режиме выбирается несколько вариантов входных данных. Диалог проходит
в два этапа. На первом этапе предлагается определить, будет ли проводиться
добавление варианта входных данных в пакет или нет. Если да, то на втором
этапе выбирается вариант входных данных. По завершению диалога в поле
“Задача” будет помещен текст “Пакетное решение”.
Закладка “Параметры” (рис. 5) предназначена для определения набора вход-
ных параметров алгоритма, которым будет решаться задача. Значения парамет-
ров можно просмотреть, отредактировать и сохранить. Выбор варианта входных
параметров производится в диалоговом режиме. Значения параметров отобра-
жаются в соответствующих полях групп “Параметры задачи” и “Параметры
алгоритма”.
РИС. 5. Форма для задачи А. Закладка “Параметры”
А.Е. СКУКИС
Компьютерная математика. 2009, № 2 78
Закладка “Выполнение” (рис. 6) предназначена для управления процессом
вычислений и просмотра выходных данных задачи.
РИС. 6. Форма для задачи А. Закладка “Выполнение”
Для запуска выбранного алгоритма на выполнение предназначена кнопка
“Выполнить (Relise)”. Процесс вычислений отображается в отдельном окне.
Последний можно остановить. Для этого предназначена кнопка “Остановить”.
По окончанию процесса вычислений результаты решения задачи можно
просмотреть, отредактировать и напечатать. Для этого предназначены соответ-
ственно кнопки “Результат”, “Редактировать / Сохранить”.
Получить детальную информацию о задаче, работе с ППС можно восполь-
зовавшись пунктом главного меню “Помощь”.
Заключение. Разработан ППС, предназначенный для поддержки процесса
решения задач, которые возникают при интеллектуальном анализе больших мас-
сивов данных, с помощью новых эффективных алгоритмов дискретного про-
граммирования. При его программной реализации была учтена специфика задач
дискретного программирования, применена объектно-ориентированная техноло-
гия программирования.
Созданный ППС предоставляет пользователям удобный механизм описания
моделей решаемых задач, обладает развитым инструментом подготовки данных
и организации вычислительного процесса. Средства визуализации результатов
решения задач дают возможность интерпретировать данные в терминах пред-
метной области. Функции администрирования ресурсов системы позволяют
пользователям системы проводить вычислительные эксперименты независимо
друг от друга.
ПРОГРАММНАЯ СИСТЕМА ПОДДЕРЖКИ ПРОЦЕССОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА …
Компьютерная математика. 2009, № 2 79
О.Є. Скукіс
ПРОГРАМНА СИСТЕМА ПІДТРИМКИ ПРОЦЕСІВ ІНТЕЛЕКТУАЛЬНОГО АНАЛІЗУ
ВЕЛИКИХ МАСИВІВ ДАНИХ
Описані структура та функціональні можливості програмної системи підтримки процесу
інтелектуального аналізу великих масивів даних. Приділено увагу етапам підготовки даних,
організації обчислювального експерименту, візуалізації результатів. Наведено приклад
розв’язання з допомогою системи задачі булевого квадратичного програмування без
обмежень.
O.E. Skukis
THE PROGRAM SYSTEM FOR SUPPORT LARGE SCALE DATA MINING PROCESSES
The structure and functional capabilities of program system for support large scale Data Mining
processes are described. The stages of data preparation, computational process organization and
results visualization are considered. An example of unconstraint binary quadratic problem solving
by the system is provided.
1. Сергиенко И.В., Шило В.П. Задачи дискретной оптимизации: проблемы, методы реше-
ния, исследования. – Киев: Наук. думка, 2003. – 264 с.
2. Шило В.П. Метод глобального равновесного поиска // Кибернетика и системный
анализ. – 1999. – № 1. – С. 74–81.
3. Скукис А.Е. Объектно-ориентированный подход к построению программных систем для
решения задач дискретной оптимизации // Компьютерная математика. – 2007. – Вып. 2.
– С. 80–85.
4. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений
на С++, 2-е изд. / Пер. с англ. – М.: Изд-во Бином, 1998. – 560 с.
5. Visual C++ 2005: базовый курс. : Пер. с англ. – М.: ООО “Изд. дом «Вильямс»”, 2007.
– 1152 с.
Получено 09.04.2009
Îá àâòîðàõ:
Скукис Алексей Евгеньевич,
аспирант, научный сотрудник
Института кибернетики имени В.М. Глушкова НАН Украины.
e-mail askukis@yahoo.com
|
| id | nasplib_isofts_kiev_ua-123456789-84548 |
| institution | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| issn | ХХХХ-0003 |
| language | Russian |
| last_indexed | 2025-11-24T11:53:39Z |
| publishDate | 2009 |
| publisher | Інститут кібернетики ім. В.М. Глушкова НАН України |
| record_format | dspace |
| spelling | Скукис, А.Е. 2015-07-10T11:34:56Z 2015-07-10T11:34:56Z 2009 Программная система поддержки процессов интеллектуального анализа больших массивов данных / А.Е. Скукис // Компьютерная математика. — 2009. — № 2. — С. 72-79. — Бібліогр.: 5 назв. — рос. ХХХХ-0003 https://nasplib.isofts.kiev.ua/handle/123456789/84548 381.3 Описаны структура и функциональные возможности программной системы поддержки процесса интеллектуального анализа больших массивов данных. Уделено внимание этапам подготовки данных, организации вычислительного процесса, визуализации результатов. Приведен пример решения с помощью системы задачи булевого квадратичного программирования без ограничений. Описані структура та функціональні можливості програмної системи підтримки процесу інтелектуального аналізу великих масивів даних. Приділено увагу етапам підготовки даних, організації обчислювального експерименту, візуалізації результатів. Наведено приклад розв’язання з допомогою системи задачі булевого квадратичного програмування без обмежень. The structure and functional capabilities of program system for support large scale Data Mining processes are described. The stages of data preparation, computational process organization and results visualization are considered. An example of unconstraint binary quadratic problem solving by the system is provided. ru Інститут кібернетики ім. В.М. Глушкова НАН України Компьютерная математика Инструментальные средства информационных технологий Программная система поддержки процессов интеллектуального анализа больших массивов данных Програмна система підтримки процесів інтелектуального аналізу великих масивів даних The program system for support large scale data mining processes Article published earlier |
| spellingShingle | Программная система поддержки процессов интеллектуального анализа больших массивов данных Скукис, А.Е. Инструментальные средства информационных технологий |
| title | Программная система поддержки процессов интеллектуального анализа больших массивов данных |
| title_alt | Програмна система підтримки процесів інтелектуального аналізу великих масивів даних The program system for support large scale data mining processes |
| title_full | Программная система поддержки процессов интеллектуального анализа больших массивов данных |
| title_fullStr | Программная система поддержки процессов интеллектуального анализа больших массивов данных |
| title_full_unstemmed | Программная система поддержки процессов интеллектуального анализа больших массивов данных |
| title_short | Программная система поддержки процессов интеллектуального анализа больших массивов данных |
| title_sort | программная система поддержки процессов интеллектуального анализа больших массивов данных |
| topic | Инструментальные средства информационных технологий |
| topic_facet | Инструментальные средства информационных технологий |
| url | https://nasplib.isofts.kiev.ua/handle/123456789/84548 |
| work_keys_str_mv | AT skukisae programmnaâsistemapodderžkiprocessovintellektualʹnogoanalizabolʹšihmassivovdannyh AT skukisae programnasistemapídtrimkiprocesívíntelektualʹnogoanalízuvelikihmasivívdanih AT skukisae theprogramsystemforsupportlargescaledataminingprocesses |