Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи

У статті досліджується проблема нарощення ефективності текстоорієнтованих інформаційно-аналітичних систем за рахунок підвищення точності та швидкості попередньої орфокорекції природномовних текстових даних. Пропонується орієнтована на інтегрування до складу інформаційно-аналітичної системи архі...

Повний опис

Збережено в:

Бібліографічні деталі
Опубліковано в: :	Штучний інтелект
Дата:	2010
Автори:	Гончаренко, П.С., Заболотня, Т.М., Михайлюк, А.Ю., Тарасенко, В.П.
Формат:	Стаття
Мова:	Ukrainian
Опубліковано:	Інститут проблем штучного інтелекту МОН України та НАН України 2010
Теми:	Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск
Онлайн доступ:	https://nasplib.isofts.kiev.ua/handle/123456789/56276
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи / П.С. Гончаренко, Т.М. Заболотня, А.Ю. Михайлюк, В.П. Тарасенко // Штучний інтелект. — 2010. — № 3. — С. 184-190. — Бібліогр.: 11 назв. — укр.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	nasplib_isofts_kiev_ua-123456789-56276
record_format	dspace
spelling	Гончаренко, П.С. Заболотня, Т.М. Михайлюк, А.Ю. Тарасенко, В.П. 2014-02-15T17:38:44Z 2014-02-15T17:38:44Z 2010 Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи / П.С. Гончаренко, Т.М. Заболотня, А.Ю. Михайлюк, В.П. Тарасенко // Штучний інтелект. — 2010. — № 3. — С. 184-190. — Бібліогр.: 11 назв. — укр. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/56276 004.421 У статті досліджується проблема нарощення ефективності текстоорієнтованих інформаційно-аналітичних систем за рахунок підвищення точності та швидкості попередньої орфокорекції природномовних текстових даних. Пропонується орієнтована на інтегрування до складу інформаційно-аналітичної системи архітектура програмного агента-орфокоректора, який реалізує комбінацію контекстно-асоціативного та імовірнісного підходів до автоматизованого виправлення орфографічних помилок. В статье исследуется проблема наращивания эффективности текстоориентированных информационно-аналитических систем за счет повышения точности и скорости предварительной орфокоррекции естественноязыковых текстовых данных. Предлагается ориентированная на интегрирование в состав информационно-аналитической системы архитектура программного агента-орфокорректора, который реализует комбинацию контекстно-ассоциативного и вероятностного подходов к автоматизированному исправлению орфографических ошибок. The article examines the problem of increasing the efficiency of text-oriented information-analytical systems by improving the accuracy and speed of the preliminary spelling correction of natural language text data. The architectur software agent-corrector which implements a combination of context-associative and probabilistic approaches to the automatized correction of spelling errors is proposed. It’s focused on the corrector’s integration to the information-analytical system. uk Інститут проблем штучного інтелекту МОН України та НАН України Штучний інтелект Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи Организация программного орфокорректора для текстоориентированной информационно- аналитической системы Organization of Software Spelling Corrector for Text-oriented Information-analytical System Article published earlier
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
title	Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи
spellingShingle	Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи Гончаренко, П.С. Заболотня, Т.М. Михайлюк, А.Ю. Тарасенко, В.П. Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск
title_short	Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи
title_full	Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи
title_fullStr	Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи
title_full_unstemmed	Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи
title_sort	організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи
author	Гончаренко, П.С. Заболотня, Т.М. Михайлюк, А.Ю. Тарасенко, В.П.
author_facet	Гончаренко, П.С. Заболотня, Т.М. Михайлюк, А.Ю. Тарасенко, В.П.
topic	Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск
topic_facet	Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск
publishDate	2010
language	Ukrainian
container_title	Штучний інтелект
publisher	Інститут проблем штучного інтелекту МОН України та НАН України
format	Article
title_alt	Организация программного орфокорректора для текстоориентированной информационно- аналитической системы Organization of Software Spelling Corrector for Text-oriented Information-analytical System
description	У статті досліджується проблема нарощення ефективності текстоорієнтованих інформаційно-аналітичних систем за рахунок підвищення точності та швидкості попередньої орфокорекції природномовних текстових даних. Пропонується орієнтована на інтегрування до складу інформаційно-аналітичної системи архітектура програмного агента-орфокоректора, який реалізує комбінацію контекстно-асоціативного та імовірнісного підходів до автоматизованого виправлення орфографічних помилок. В статье исследуется проблема наращивания эффективности текстоориентированных информационно-аналитических систем за счет повышения точности и скорости предварительной орфокоррекции естественноязыковых текстовых данных. Предлагается ориентированная на интегрирование в состав информационно-аналитической системы архитектура программного агента-орфокорректора, который реализует комбинацию контекстно-ассоциативного и вероятностного подходов к автоматизированному исправлению орфографических ошибок. The article examines the problem of increasing the efficiency of text-oriented information-analytical systems by improving the accuracy and speed of the preliminary spelling correction of natural language text data. The architectur software agent-corrector which implements a combination of context-associative and probabilistic approaches to the automatized correction of spelling errors is proposed. It’s focused on the corrector’s integration to the information-analytical system.
issn	1561-5359
url	https://nasplib.isofts.kiev.ua/handle/123456789/56276
citation_txt	Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи / П.С. Гончаренко, Т.М. Заболотня, А.Ю. Михайлюк, В.П. Тарасенко // Штучний інтелект. — 2010. — № 3. — С. 184-190. — Бібліогр.: 11 назв. — укр.
work_keys_str_mv	AT gončarenkops organízacíâprogramnogoorfokorektoradlâtekstooríêntovanoíínformacíinoanalítičnoísistemi AT zabolotnâtm organízacíâprogramnogoorfokorektoradlâtekstooríêntovanoíínformacíinoanalítičnoísistemi AT mihailûkaû organízacíâprogramnogoorfokorektoradlâtekstooríêntovanoíínformacíinoanalítičnoísistemi AT tarasenkovp organízacíâprogramnogoorfokorektoradlâtekstooríêntovanoíínformacíinoanalítičnoísistemi AT gončarenkops organizaciâprogrammnogoorfokorrektoradlâtekstoorientirovannoiinformacionnoanalitičeskoisistemy AT zabolotnâtm organizaciâprogrammnogoorfokorrektoradlâtekstoorientirovannoiinformacionnoanalitičeskoisistemy AT mihailûkaû organizaciâprogrammnogoorfokorrektoradlâtekstoorientirovannoiinformacionnoanalitičeskoisistemy AT tarasenkovp organizaciâprogrammnogoorfokorrektoradlâtekstoorientirovannoiinformacionnoanalitičeskoisistemy AT gončarenkops organizationofsoftwarespellingcorrectorfortextorientedinformationanalyticalsystem AT zabolotnâtm organizationofsoftwarespellingcorrectorfortextorientedinformationanalyticalsystem AT mihailûkaû organizationofsoftwarespellingcorrectorfortextorientedinformationanalyticalsystem AT tarasenkovp organizationofsoftwarespellingcorrectorfortextorientedinformationanalyticalsystem
first_indexed	2025-11-25T21:12:15Z
last_indexed	2025-11-25T21:12:15Z
_version_	1850552669693804544
fulltext	«Искусственный интеллект» 3’2010 184 3Г УДК 004.421 П.С. Гончаренко, Т.М. Заболотня, А.Ю. Михайлюк, В.П. Тарасенко Національний технічний університет України «Київський політехнічний інститут» Київський університет імені Бориса Грінченка, м. Київ, Україна tatiana104@yandex.ru, may-62@ukr.net Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи У статті досліджується проблема нарощення ефективності текстоорієнтованих інформаційно-аналітичних систем за рахунок підвищення точності та швидкості попередньої орфокорекції природномовних текстових даних. Пропонується орієнтована на інтегрування до складу інформаційно-аналітичної системи архітектура програмного агента-орфокоректора, який реалізує комбінацію контекстно- асоціативного та імовірнісного підходів до автоматизованого виправлення орфографічних помилок. Вступ В умовах суспільства, заснованого на знаннях, важливим чинником успішної професійної діяльності практично в будь-якій сфері стає можливість оперативного отри- мання з глобального електронного інформаційного простору достовірної інформації, яка чітко відповідає критерію поточного пошукового інтересу людини-фахівця [1]. При цьому слід відзначити, що з усіх типів даних найбільш актуальним в переважній біль- шості випадків сьогодні є природномовний текст. Однак внаслідок швидкого розростання глобального електронного текстомісткого інформаційного ресурсу, а також з огляду на його об’єктивну гетерогенність, неструктурованість, нестабільність та несистематизова- ність, традиційні засоби спрямованого доступу до інформації на зразок Internet-каталогів, стандартних інформаційно-пошукових систем тощо тепер вже неспроможні задоволь- нити надзвичайно жорстким вимогам користувачів. У зв’язку з цим все більшої попу- лярності на світовому ринку ІТ-продуктів набувають програмні засоби моніторингу електронного текстового ресурсу за змістом, семантично-орієнтованого пошуку та інте- лектуального аналізу текстових даних – т.з. інтелектуальні інформаційно-аналітичні системи (ІАС) [2]. Залежно від галузі застосування функціональність таких систем може суттєво варіювати [3] щодо конкретного набору аналітичних операцій, котрі реалізуються відповідною системою, виходячи, зокрема, з таких потенційних можливостей [4]: 1. Реалізація повного спектра пошукових операцій: повнотекстовий пошук; по- шук за атрибутами; семантичний пошук; квазісемантичний пошук (із залученням те- заурусів, онтологій тощо); асоціативний пошук тощо; наявність механізмів ранжування пошукового відгуку (як за релевантністю, так і за пертинентністю); наявність механіз- мів логічної компенсації дублювань у пошуковому відгуку. 2. Реалізація функцій змістовного аналізу текстових даних: структурний аналіз як структурованих, так і неструктурованих текстових інформаційних об’єктів; автоматична класифікація текстових інформаційних об’єктів за відповідними ознаками (тематика, змі- стовна тональність, авторство та інші атрибути); автоматична кластеризація текстових ін- формаційних об’єктів; автоматизоване виділення атрибутів текстових інформаційних об’єктів (змістовна тональність, персоналії, асоціативні зв’язки з іншими інформаційними об’єктами тощо); автоматизоване анотування текстових інформаційних об’єктів; автома- тизоване реферування текстових інформаційних об’єктів; попереднє виявлення логічних Організація програмного орфокоректора... «Штучний інтелект» 3’2010 185 3Г взаємозв’язків та залежностей на змістовному рівні, виявлення причинно-наслідкових ло- гічних зв’язків тощо; оцінка рівня оригінальності тексту (виявлення плагіату, тавтології тощо); комп’ютерний переклад та інформаційна підтримка навчального перекладу (слов- ники, засоби ідентифікації граматичних конструкцій, ідіоматичних зворотів тощо). 3. Спрямований моніторинг інформаційного ресурсу, зокрема з метою опера- тивного виявлення оновлень. 4. Можливість логічного упорядкування та агрегування гетерогенного тексто- місткого інформаційного ресурсу. 5. Компенсація на логічному рівні дублювань у текстомістких інформаційних об’єктах. Однак незаперечним є той факт, що обов’язковою умовою ефективної роботи прак- тично будь-яких засобів аналітичної обробки електронного природномовного тексту є адекватна попередня орфокорекція останнього [5]. Таким чином, виходячи із наведених вище міркувань, метою даного дослідження стало підвищення сумарної ефективності автоматизованого аналізу текстових природ- номовних електронних інформаційних об’єктів інтелектуальними інформаційно-аналі- тичними системами за рахунок інтегрування до їх складу програмного агента-орфоко- ректора підвищеної швидкодії та точності, архітектура котрого розробляється. Відповідно до поставленої мети задачами дослідження є: − визначення концепції побудови програмного агента-орфокоректора, придат- ного до інтегрування в програмне середовище текстоорієнтованої інформаційно-ана- літичної системи в ході функціонального масштабування останньої; − алгоритмізація функціонування програмного агента-орфокоректора; − розробка логічної структури програмного забезпечення агента-орфокоректора; − аналіз варіантів архітектурної організації програмного агента-орфокоректора. Концепція побудови програмного орфокоректора У статті розглядається питання побудови програмного орфокоректора, який вхо- дить до складу текстоорієнтованої ІАС. Для підтримки конкурентоспроможності таких систем їх розробляють як відкритий програмний продукт, придатний до масштабування. В основу реалізації ІАС часто буває покладений агентоорієнтований підхід, згідно з яким орфокоректор, що входить до складу відкритої системи, повинен бути побудований як програмний агент, а сама система при цьому відіграє роль зовнішнього середовища [6]. Аналіз кола задач орфокоректора, а також вибір критеріїв ефективності роботи даного програмного продукту, як точності та швидкості виправлення помилок [7], визначили доцільність проектування агента-орфокоректора реактивним по відно- шенню до зовнішньої ІАС. Для забезпечення продуктивної роботи коректора пропо- нується обробляти вхідні дані як за допомогою використання підключених лінгвіс- тичних ресурсів, так і на основі накопичення власної статистики сумісного викори- стання слів у внутрішній базі даних (БД) [8]. Кожного разу, коли агенту надходить команда на виправлення спотвореного слова, слід проводити оновлення вмісту БД на основі отриманої інформації. Таким чином, з кожним наступним виправленням агент зможе збільшувати точність своєї роботи за рахунок використання статистичної ін- формації, взятої з більшої кількості текстів. Алгоритм роботи агента-орфокоректора З огляду на вищезазначене, процес роботи орфокоректора, який функціонує на основі результатів аналізу статистично-семантичних даних, пропонується розділити на два етапи – етап тренування, який виконується одноразово перед початком роботи агента, та робочий етап. Гончаренко П.С., Заболотня Т.М., Михайлюк А.Ю., Тарасенко В.П. «Искусственный интеллект» 3’2010 186 3Г Етап тренування: [Крок 1] Підрахувати кількість входжень кожного слова до тренувального тексту. [Крок 2] Для кожного слова підрахувати, скільки разів воно зустрічається по- руч з кожним із слів, які знаходяться на відстані k± слів від даного. [Крок 3] Видалити дані щодо слів, які є неінформативними і не можуть допо- могти при виборі виправлення, та зберегти статистичні дані щодо всіх інших слів. Робочий етап: [Крок 1] Отримати від ІАС спотворене слово та його контекст. [Крок 2] Перевірити контекст на наявність помилок чи слів зі «стоп-списків». Якщо виявлено помилки, але контекст не можна перевизначити, робота коректора закінчується. [Крок 3] Сформувати множину гіпотез виправлення спотвореного слова зі слів, що знаходяться на відстані редагування 1 – 2 від нього та містяться в словнику. [Крок 4] На основі статистичних даних для кожного слова ic із сформованої множини визначити значення Mi – загальну кількість входжень слова-гіпотези ci в тренувальний текст, та mi – число входжень слова ci в текст в межах k± слів кон- тексту спотвореного слова. [Крок 5] Відкинути контекстні слова, які не допомагають при виборі виправ- лення. [Крок 6] Для кожного слова ci з множини гіпотез обчислити ступінь семан- тичної близькості ci та контексту спотвореного слова (Ki ). [Крок 7] Для кожного слова ci обчислити 1( ) ,i i i i i mS P c M K = × × де ( )iP c – ймо- вірність появи слова ci в тексті, яка обчислюється як відношення кількості разів появи слова ci в тексті до числа слів в останньому. [Крок 8] Вибрати з множини гіпотез слово ci, для якого значення виразу Si є максимальним. Це слово будемо вважати найімовірнішим варіантом виправлення. Структура агента-орфокоректора Для забезпечення можливості підключення орфокоректора до існуючих відкри- тих систем автоматизованої обробки текстів доцільним є наділити його властивостя- ми програмних агентів [9]. Тому у структурі орфокоректора передбачимо складові, які реалізують функції виправлення помилок, та складові, що виконують характерні для агента функції взаємодії з іншими модулями ІАС (рис. 1). Модулі, які відпові- дають за виправлення спотвореного слова, доцільно включити до складу виконав- чого блоку агента [9], [10]. При цьому до бази даних слід додати таблиці лексико- семантичного словника та статистичні дані про взаємне використання слів. Виконання функцій взаємодії агента-коректора та інших модулів ІАС покладемо на інтерфейс із зовнішнім середовищем та координатор дій. Нижче більш детально розглянемо основні функції структурних елементів орфокоректора. Координатор дій отримує розібрані вхідні повідомлення від модуля обробки вхід- них та вихідних повідомлень. Якщо вхідна команда є службовою, модуль оновлює параметри внутрішнього стану агента. Якщо вхідна команда є командою на ко- рекцію слова, координатор отримує спотворене слово та його контекст. Також мо- дуль керує чергою слів на виправлення, яка необхідна тоді, коли приходить команда на виправлення слова, а виконавчий блок зайнятий виправленням попереднього слова. Принцип роботи черги такий: при надходженні команди на виправлення слова модуль аналізу ситуації перевіряє значення спеціального параметра, що характери- зує стан виконавчого модуля. Якщо виконавчий модуль вільний, модуль аналізу си- Організація програмного орфокоректора... «Штучний інтелект» 3’2010 187 3Г туації передає спотворене слово та його контекст напряму виконавчому модулю. Якщо ж виконавчий модуль в момент надходження команди на виправлення зайня- тий, модуль аналізу ситуації додає відповідну команду до черги повідомлень. При цьо- му виконавчий модуль має спеціальний лічильник, який відображує кількість команд у черзі. Цей лічильник автоматично збільшується на одиницю при вставці команди в чергу та зменшується при вилученні команди виконавчим модулем для її обробки. Слід зазначити, що використовувати чергу повідомлень доцільно, по-перше, для ви- ключення випадків, коли агент чекає виправлення слова і через це не може прийняти чергову команду від зовнішнього середовища, а по-друге – для того, щоб виконавчий модуль (якщо він вільний) постійно не перевіряв, чи є необроблені команди на корек- цію слів, а мав відповідні дані через прийняття спеціального сигналу від модуля ана- лізу ситуації. Рисунок 1 – Узагальнена структурна схема агента-орфокоректора Виконавчий модуль База даних агента-коректора Лінгвістичні ресурси Формувач слів- варіантів виправлення Семантичний словник агента Інтерфейс до лінгвістич- них баз даних Зовнішні лінгвістичні ресурси Модуль обробки вхідних та вихідних повідом- лень Формувач вихідних повідом- лень Синтаксич- ний аналізатор команд Координа- тор дій Модуль контролю внутрішнього стану агента База даних статистичної інформації Обчислювач коефіцієнту семантичної близькості Модуль обробки статистич- них даних Формувач остаточних варіантів виправлення Модуль обчислення значення виразу Si Інтерфейс до БД статистичної інформації Внутрішня база даних агента Гончаренко П.С., Заболотня Т.М., Михайлюк А.Ю., Тарасенко В.П. «Искусственный интеллект» 3’2010 188 3Г Внутрішній стан агента визначається станом його модулів; переліком підклю- чених словників; критеріями оцінки ефективності роботи агента; даними про слова, які не вдалося виправити. Ця інформація не оновлюється при кожній ініціалізації агента, тому її необхідно зберігати у БД агента. Виконавчий модуль призначений для генерації гіпотез виправлення спотворе- ного слова, а також для відбору з них слів, які є найімовірнішими варіантами виправ- лення. Він обробляє статистичні дані про гіпотези виправлення, які були збережені на етапі тренування, а також оцінює міру їх семантичної близькості до контексту. Лінгвістичні ресурси. До набору програмних словникових ресурсів, які викори- стовує агент-коректор, не потрібно включати всі словники, які можуть знадобитися при роботі з різними типами текстоорієнтованих ІАС, адже певна їх частина завжди буде невикористана. Пропонується ввести до структури орфокоректора лише необ- хідний мінімум словникових ресурсів, які могли б підтримувати його працездат- ність, а складні та масштабні словники підключати як компонент ІАС, до якого ма- тимуть доступ й інші модулі системи. Як семантичний ресурс доцільно використо- вувати словник, який має формат, подібний до словника WordNet [11], оскільки він є безкоштовним, легко локалізується, має просту структурну організацію. Альтернативні варіанти реалізації агента-орфокоректора Реалізація агента в багатопроцесорному середовищі. Якщо текстоорієнтована ІАС, яка слугує зовнішнім середовищем для агента, функціонує на багатопроцесор- ному комп’ютері, доцільним є забезпечення паралельного отримання та обробки орфо- коректором непов’язаних між собою статистичних та семантичних даних. У такому випадку після формування множини гіпотез виправлення координатор дій буде ство- рювати два окремі незалежні потоки і в цих потоках запускати отримання та обробку статистичної та семантичної інформації. Результати своєї роботи потоки передавати- муть основному потоку, в якому формується множина остаточних варіантів виправ- лення. Таким чином, за рахунок розпаралелювання незалежних процесів можна під- вищити швидкодію орфокоректора в багатопроцесорному середовищі. Реалізація орфокоректора у формі сукупності агентів. Якщо ІАС функціонує в багатокомп’ютерному середовищі (наприклад, лінгвістичні ресурси такої системи роз- ташовані на різних комп’ютерах), реалізація коректора у вигляді реактивного агента може знизити ефективність його роботи, оскільки швидкість виправлення помилок зменшиться через втрату часу на передачу даних каналом зв’язку. У такому випадку доцільно розробити компоненти, які відповідають за отримання і обробку статистич- них та семантичних даних, у формі допоміжних агентів, кожен з яких виконуватиме свій етап роботи. Схема подібної реалізації агента-орфокоректора зображена на рис. 2. Текстоорієнтована ІАС, зображена на рис. 2, має розподілену структуру. Модулі системи (М1, М2, …, Мn) функціонують не на одному комп’ютері, а на багатьох. До- поміжні агенти Agentstat та Agentsem, які відповідають відповідно за обробку статистичної інформації та за роботу із семантичними ресурсами, розташовуються окремо від головно- го агента Agentmain, котрий координує дії допоміжних агентів. Кожен з допоміжних агентів в разі необхідності має змогу використовувати ресурси системи через головний агент. При такій організації в структурі агента, до якого звертається ІАС, мають зали- шитися лише складові, які безпосередньо відповідають за виправлення помилок, такі як модуль обчислення значення виразу Si та формувач остаточних варіантів виправ- лення. Такий агент відіграватиме роль супервізора по відношенню до допоміжних агентів: він буде керувати роботою цих агентів, а також здійснюватиме формування будь-яких повідомлень до цих елементів орфокоректора. При цьому взаємодія аген- та-супервізора із системою обробки текстів має залишитися на реактивному рівні. Організація програмного орфокоректора... «Штучний інтелект» 3’2010 189 3Г Рисунок 2 – Схема організації агента-коректора у формі сукупності агентів Якщо говорити про розташування структурних елементів такого розподіленого орфокоректора, то агент-супервізор доцільніше розташовувати на головному сервер- ному комп’ютері, на якому функціонують основні модулі системи обробки текстів. Тут справа в тому, що управляючий агент постійно взаємодіє із системою, отримуючи від неї команди на виправлення слів та надаючи варіанти виправлення, і при його розміщенні на деякому віддаленому комп’ютері неодмінно будуть втрати часу на передачу цих команд, що є неприпустимим. Що стосується допоміжних агентів, то їх доцільно розташовувати на тих серверах або робочих станціях, на яких розташовуються відповідні сховища даних, з якими пра- цюють такі агенти (мова йде про базу даних статистичної інформації та про базу даних, в якій зберігається лексико-семантичний словник). Якщо таке розташування з будь-яких причин неможливе, необхідно намагатися розмістити допоміжні агенти таким чином, щоб між робочими станціями, на яких вони розташовані, та серверами з базами даних було якомога менше транзитних комп’ютерів. Таке розташування допоміжних агентів дозволить знизити витрати часу на отримання необхідної інформації з баз даних. Висновки В роботі аргументовано, що якісна робота текстоорієнтованих інтелектуальних ІАС можлива за умови наявності в їх складі ефективних засобів корекції орфогра- фічних помилок. Проаналізовано концепцію інтегрування програмного агента-орфокоректора до середовища відкритої текстоорієнтованої інтелектуальної ІАС. Розроблено спосіб структурно-алгоритмічної організації програмного агента- орфокоректора, що реалізує комбінований контекстно-асоціативний метод виправ- лення орфографічних помилок з врахуванням накопичених під час фази тренування статистичних даних щодо сумісного використання слів, а також вмісту семантичних словникових ресурсів. Запропоновано два варіанти організації агента-орфокоректора на архітектурному рівні: у формі єдиної повнофункціональної сутності та у формі сукупності вузько- функціональних програмних агентів. Агент- орфокоректор (Agentmain) Agentstat Agentsem Resstat Ressem Ресурси ІАС Внутрішні ресурси агента M1 M2 Mn … Гончаренко П.С., Заболотня Т.М., Михайлюк А.Ю., Тарасенко В.П. «Искусственный интеллект» 3’2010 190 3Г Література 1. Згуровський М.З. Розвиток інформаційного суспільства в Україні: Правове регулювання у сфері інфор- маційних відносин / Згуровський М.З., Родіонов М.К., Жиляєв І.Б. – К : НТУУ «КПІ», 2006. – 542 с. 2. Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP / [Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И.]. – СПб. : БХВ-Петербург, 2007. – 384с. 3. Функціональність спеціалізованих інформаційно-аналітичних систем для підтримки інформаційно- навчальної діяльності / В.П. Тарасенко, А.Ю. Михайлюк, М.В. Сніжко, Л.М. Бігун // Проблеми інформатизації та управління : зб. наук. праць. – К. : НАУ, 2009. – № 3 (27). – C. 123-130 4. Кебкало О.С. Функціональні профілі спеціалізованих інформаційно-аналітичних систем / О.С. Кеб- кало, А.Ю. Михайлюк, В.П. Тарасенко // Науковий вісник Чернівецького університету : збірник наук. праць. Вип. 423 : Фізика. Електроніка : Тематичний випуск «Комп’ютерні системи та компонен- ти». Частина І. – Чернівці : ЧНУ, 2008. – С. 117-123. 5. Леонтьева Н.Н. Автоматическое понимание текстов: системы, модели, ресурсы / Леонтьева Н.Н. – М. : Издательский центр «Академия», 2006. – 304 с. 6. Бугайченко Д.Ю. Абстрактная архитектура интеллектуального агента и методы её реализации / Д.Ю. Бугайченко, И.П. Соловьев // Системное программирование. – СПб. : СПбГУ, 2005. – № 1. – С. 36-67. 7. Заболотня Т.М. Інверсний контекстно-асоціативний метод автоматизованої орфокорекції / Т.М. За- болотня, А.Ю. Михайлюк, О.С. Михайлюк // Искусственный интеллект. – 2008. – № 3. – С. 78-88 8. Михайлюк А.Ю. Комбінований метод виправлення орфографічних помилок у текстових даних / А.Ю. Михайлюк, Т.М. Заболотня // Вісник Хмельницького національного університету. – 2007. – Т. 2, № 2. – С. 21-26. 9. Рассел С. Искусственный интеллект: Современный подход / С. Рассел, П. Норвиг. – М. : Издатель- ский дом «Вильямс», 2006. – 1408 с. 10. Клышинский Э.С. Агентные системы: классификация и применение / Э.С. Клышинский // САПР и графика. – 1999. – № 8. – С. 90-96. 11. Wordnet – a Lexical Database for English. Princeton University, Princeton, NJ, 2001. [Електронний ресурс]. – Режим доступу : http://wordnet. princeton.edu/. П.С. Гончаренко, Т.Н. Заболотняя, А.Ю. Михайлюк, В.П. Тарасенко Организация программного орфокорректора для текстоориентированной информационно- аналитической системы В статье исследуется проблема наращивания эффективности текстоориентированных информационно- аналитических систем за счет повышения точности и скорости предварительной орфокоррекции естественноязыковых текстовых данных. Предлагается ориентированная на интегрирование в состав информационно-аналитической системы архитектура программного агента-орфокорректора, который реализует комбинацию контекстно-ассоциативного и вероятностного подходов к автоматизированному исправлению орфографических ошибок. P. Goncharenko, T. Zabolotnia, A. Mykhailyuk, V. Tarassenko Organization of Software Spelling Corrector for Text-oriented Information-analytical System The article examines the problem of increasing the efficiency of text-oriented information-analytical systems by improving the accuracy and speed of the preliminary spelling correction of natural language text data. The architecture of software agent-corrector which implements a combination of context-associative and probabilistic approaches to the automatized correction of spelling errors is proposed. It’s focused on the corrector’s integration to the information-analytical system. Статья поступила в редакцию 21.06.2010.

Організація програмного орфокоректора для текстоорієнтованої інформаційно-аналітичної системи

Репозитарії

Схожі ресурси