Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту

У статті подано теоретичні основи цифрової обробки даних на базі інформаційних мір ентропії для розв’язання задач штучного інтелекту. Проаналізовано існуючі міри ентропії та проведено аналіз статистичних, кореляційних і спектральних характеристик джерел інформації. В статье даны те...

Full description

Saved in:

Bibliographic Details
Date:	2009
Main Author:	Погонець, І.О.
Format:	Article
Language:	Ukrainian
Published:	Інститут проблем штучного інтелекту МОН України та НАН України 2009
Subjects:	Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки сигналов и изображений
Online Access:	https://nasplib.isofts.kiev.ua/handle/123456789/7762
Tags:	Add Tag No Tags, Be the first to tag this record!
Journal Title:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Cite this:	Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту / І.О. Погонець // Штучний інтелект. — 2009. — № 1. — С. 56-61. — Бібліогр.: 6 назв. — укр.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1860241662929797120
author	Погонець, І.О.
author_facet	Погонець, І.О.
citation_txt	Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту / І.О. Погонець // Штучний інтелект. — 2009. — № 1. — С. 56-61. — Бібліогр.: 6 назв. — укр.
collection	DSpace DC
description	У статті подано теоретичні основи цифрової обробки даних на базі інформаційних мір ентропії для розв’язання задач штучного інтелекту. Проаналізовано існуючі міри ентропії та проведено аналіз статистичних, кореляційних і спектральних характеристик джерел інформації. В статье даны теоретические основы цифровой обработки данных на базе информационных мер энтропии для решения задач искусственного интеллекта. Проанализированы существующие меры энтропии и проведен анализ статистических, корреляционных и спектральных характеристик источников информации.
first_indexed	2025-12-07T18:30:12Z
format	Article
fulltext	«Искусственный интеллект» 1’2009 56 1П УДК 681.32 І.О. Погонець Карпатський державний центр інформаційних засобів і технологій НАН України, м. Івано-Франківськ, Україна pogonets@rambler.ru Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту У статті подано теоретичні основи цифрової обробки даних на базі інформаційних мір ентропії для розв’язання задач штучного інтелекту. Проаналізовано існуючі міри ентропії та проведено аналіз статистичних, кореляційних і спектральних характеристик джерел інформації. Вступ Розвиток глобальних інформаційних систем в сучасному суспільстві обумовле- ний швидкими темпами зростання потужних комп’ютерних засобів та телекому- нікаційних систем, обумовлює відповідний розвиток засобів та задач штучного інтелекту, які охоплюють проблеми розпізнавання образів, удосконалення систем прийняття рішень, розробку теорії та технології побудови бази знань та ін. В даній концепції розвитку теорії та методології штучного інтелекту важливу роль відіграє теорія інформації, а особливо її новітня галузь – теорія джерел інформації (ДІ). При цьому фундаментальними основами теорії джерел інформації є теорія ймовірностей, теорія випадкових процесів, теорія кореляційного та спектрального аналізу і особливо теоретичні основи оцінки ентропії. Важливою характеристикою ентропійного підходу до дослідження джерел інформа- ції, як показано в [1], є найбільш інтегрована оцінка характеристик джерел інформації. Така властивість найбільш інтегрального представлення джерел інформації потребує глибокого дослідження та порівняльного аналізу існуючих мір ентропії, а також дифе- ренціації можливостей їхнього застосування при розв’язанні різних задач штучного інтелекту. 1. Аналіз статистичних, кореляційних та спектральних характеристик джерел інформації Джерело інформації адекватно може бути описано кореляційними, статистич- ними та спектральними характеристиками [2]. Таблиця 1 Кореляційні моделі 1 знакова o ji n i o ixx xsignxsign n jB     1 1)(        0,1 0,1 o i o i o i x x xsign ; Теорія ентропії джерел інформації та її застосування в задачах… «Штучний інтелект» 1’2009 57 3П 1П Продовж. табл. 1 2 релейна o ji n i o ixx xsignx n jH     1 1)( 3 коваріаційна    n i jiixx xx n jK 1 1)( 4 кореляційна    n i o ji o ixx xx n jR 1 1)( 5 нормована кореляційна xx xx xx D jRj )()(  6 структурна     n i jiixx xxC n j 1 2)(1)( 7 модульна     n i jiixx xxG n j 1 1)( 8 нормована модульна x x xx xx M M j j Cg  )( )( 9 еквівалентна     n i ijxx Zn jF 1 1)( ;          jiij jiii ij xxx xxx Z , , . Статистичні моделі 1 вибіркове математичне сподівання    n i ix x n M 1 1 2 ковзне математичне сподівання     jm ji jij X m M 1 1 , ,...2,1,0j де ,...2,1,0j – дискретний зсув; 3 вагове математичне сподівання      jm ji jijiv XVM 1 , де iV – вагова функція; 4 дисперсія    n i xix MX n D 1 2)(1 5 середньоквадратичне відхилення xx D Погонець І.О. «Искусственный интеллект» 1’2009 58 1П 2. Теоретичні основи оцінки ентропії Залежно від динаміки зміни інформаційних станів ДІ класифікують на три типи: 1 – стаціонарні; 2 – квазістаціонарні; 3 – нестаціонарні. Реальні ДІ найчастіше належать до класу квазістаціонарних джерел, ентропійні моделі яких досліджувалися при вирішенні завдань адаптації за станами, прогнозу випадкових процесів і ефективного кодування. Стаціонарність динамічних і кореляційних показників, стабільність швидкості створення повідомлень при виконанні об’єктами різних технологічних і функціональних операцій визначає тимчасові параметри квазіста- ціонарних ДІ. Для таких джерел характерним є стрибкоподібний перехід з одного інформаційного стану в інший. В якості практичної міри ентропії дискретного джерела інформації Р. Хартлі запропонував функцію логарифма числа можливих станів ДІ [3] ,SlognSlog n  де Н – кількість інформації; S – число незалежних рівноймовірних станів ДІ; n – число вибірок. Інформаційна міра Хартлі не враховує нерівноймовірності розподілу різних jS -станів. Тому міра Хартлі є верхньою оцінкою ентропії джерела. При кодуванні безперервних ДІ із заданою точністю квантування за рівнем E і кроком дискретизації за часом А.Н. Колмогоровим запропонована міра інформації – епсилон – ентропія, яка визначається числом елементів E-мережі під час переходу ДІ в різні стани [4] , E Clog t )F(E     де L Et  ; С – діапазон квантування; T – інтервал часу спостереження ДІ. Визначивши число функцій, яке може бути отримане у F-просторі за час T у вигляді t T 2)t(  , отримаємо )t T 2E 2 E C(log   . У окремому випадку, коли m2 E C  і n2 t T   nm)22(logH nm 2E  , тобто отримуємо ентропію двійково-кодованого ДІ. Оцінки ентропії ДІ у вигляді міри Хартлі і ентропії Колмогорова вирішувані в цілих числах в тому випадку, якщо діапазон квантування станів ДІ вибирається кратним цілому степеню числа два. У інших випадках, коли ),2,1(2  KS K , необхідно користува- тися оцінкою     ,log 2 SnSEnH n   Теорія ентропії джерел інформації та її застосування в задачах… «Штучний інтелект» 1’2009 59 3П 1П де  – символ цілочисельної функції з округленням до більшого;  – ознака операції округлення до більшого цілого. Наведені оцінки ентропії ДІ засновані на умові, що кожний jS стан джерела коду- ється розрядним двійковим кодом однакової довжини. Розглянуті оцінки ентропії відпо- відають ДІ з рівноймовірними станами і, як правило, є максимальними. Для ДІ з нерівноімовірними станами К. Шенноном введена міра ентропії [5]    n 1i ii PlogPKH , де K – позитивна постійна, яка враховує основу логарифма; iP – вірогідність iS -го стану дискретного ДІ. Б. Олівер відзначає, що чим більше кореляція між наступними один за одним символами або відліками повідомлень, що генеруються ДІ, тим більше нерівномірні розподіли і це веде до зменшення ентропії [6]. Д. Міддлтон також досліджував дискретні ДІ, що формують послідовності символів довільної тривалості, розподілених в певному порядку в часі. Для реалізації дискретної випадкової послідовності  ixX  кожен з символів ix може приймати одне із il різних значень  n,,1i,Lill  , отриманий вираз для апріорної неви- значеності щодо послідовності  nx,,ix,,1x       ,log 1 11 XPXPXH l ln       де підсумовування проводиться за всіма можливими значеннями кожного з символів ix . Для даного джерела визначено вираз середньої умовної ентропії    mn L l M m M m mn L l yyxxP yyxxP Y XH m ,,;,,log ,,;,, 11 1 1 1 11 11 11                , де iyix , – статистично залежні стани ДІ. З останнього виразу виходить, що для розрахунку ентропії таких ДІ потрібне знання сумісної щільності імовірності різного порядку. На практиці ДІ не є так статистично складними, щоб їх описувати багатови- мірними розподілами. Зокрема для повного опису стаціонарних ДІ достатньо знання двовимірних розподілів і відповідних статистичних середніх. Природно, що ентропія і швидкість створення повідомлень такими джерелами, за рахунок кореляційних зв’язків між різними послідовностями символів, виявляються меншими в порівнянні з оцінками інформаційної міри Хартлі та Шеннона. У роботі В. Таллера підкреслюються переваги, які можна отримати шляхом кореляційного аналізу і усунення внутрішньої кореляції повідомлень, що форму- ються джерелом. Показано, що якщо в деякий момент часу ДІ, що має S станів, переходить лише в jS можливих станів, то аналіз істинності інформаційного змісту його повідомлень приводить до меншого об’єму інформації в порівнянні з функцією най- більшої інформації , N S1BT2kH        де ,SavelogknH  Save – середнє значення станів ДІ; BT – інформаційна база формо- ваних повідомлень; N – значення шуму. Погонець І.О. «Искусственный интеллект» 1’2009 60 1П При цьому встановлення вимоги найбільшої інформації засноване на твердженні, що неможливе аналітичне продовження функції інформації з точністю більшою чим S 1 впродовж інтервалу між відліками. Таким чином, в даній роботі В. Таллера практично було поставлено завдання аналізу квазістаціонарних ДІ, а величина S 1 отримує смисл інтервалу кореляції між відліками, відповідними станам ДІ. Численними дослідженнями реальних об’єктів управління і ДІ показано, що параметри технологічних об’єктів на локальних відрізках часу досить точно описую- ться моделлю двовимірного гауссівського розподілу ймовірностей. Тому для оцінки сумісної диференціальної ентропії таких джерел скористаємося виразом [5]       22 12log, 2 xxxetXtXh   , який для дискретних ДІ має вигляд   22 22 1log2log, xxxexxH ji   , де перший елемент представляє константу інформаційної міри, пов’язану з основою логарифма, яка може не враховуватися в обчисленнях, а другий елемент представляє дисперсію процесу і взаємну ентропію нерівноімовірних корельованих станів ДІ. На інтервалі кореляції j , який визначається з умови   1,0jxx  , оцінку ентропії таких ДІ можна визначити за формулою        0 22 2 )(log1, j xxjiuu jRDxxxHI . Розрахунок ентропії ДІ на основі нормованої автокореляційної функції  jxx є незручним в обчислювальному плані у зв’язку з необхідністю центрування по- слідовності відліків хі. Простіше обчислюється модульна функція автокореляції  jGxx , яка має аналі- тичний зв’язок з функцією  jxx у вигляді         jR2jG xx 2 x xx , де     ,2 jjR xxxxx  звідки     12 4  jxxj qxx  , причому     x jGjxx xxq  нормована модульна функція автокореляції. Теорія ентропії джерел інформації та її застосування в задачах… «Штучний інтелект» 1’2009 61 3П 1П Після нескладних перетворень оцінку ентропії отримаємо у вигляді    jqjGeI xxxx j uu 28 2 log1 0       , яка аналогічним чином приводиться до трьох елементів     jjGeI xxxx q jj uu 2 22 8log 2 1log1 2 log 00 2       , де другий елемент представляє число – випадкову складову еквівалентну епсилон ентропії, а третій – взаємну ентропію корельованих відліків. Серед розглянутих інформаційних мір ентропії найбільш повно опирається на статистичні характеристики міра ентропії на базі кореляції. Література 1. Погонець І.О., Николайчук Я.М. Методи визначення ентропії джерел інформації // Вісник Хмель- ницького національного університету. – Хмельницький: ХНУ. – 2007. – Т. 1(90), № 2. – С. 93-99. 2. Пітух І. Кореляційні та ентропійні моделі об’єктів управління розподілених комп’ютерних мереж. – Івано-Франківськ: Наукові вісті, Інститут менеджменту та економіки «Галицька академія». – 2006. – № 2(10). 3. Хартли Р.Л. Передача информации // Теория информации и ее приложения. – М., 1959. – 350 с. 4. Колмогоров А.Н. Теория передачи информации: Сес. АН СССР по науч. пробл. автоматизации пр-ва. Пленар. заседания. – М.: Изд-во АН СССР, 1957. – 15с. 5. Шеннон К.Э. Работы по теории информации и кибернетика. – М.: Изд-во иностр. лит., 1963. – 829 с. 6. Оливер Б. Эффективное кодирование // Теория информации и ее приложения. – М., 1959. – С. 1-15. И.О. Погонець Теория энтропии источников информации и ее приложение в задачах искусственного интеллекта В статье даны теоретические основы цифровой обработки данных на базе информационных мер энтропии для решения задач искусственного интеллекта. Проанализированы существующие меры энтропии и проведен анализ статистических, корреляционных и спектральных характеристик источников информации. Стаття надійшла до редакції 10.07.2008.
id	nasplib_isofts_kiev_ua-123456789-7762
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	1561-5359
language	Ukrainian
last_indexed	2025-12-07T18:30:12Z
publishDate	2009
publisher	Інститут проблем штучного інтелекту МОН України та НАН України
record_format	dspace
spelling	Погонець, І.О. 2010-04-12T12:19:24Z 2010-04-12T12:19:24Z 2009 Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту / І.О. Погонець // Штучний інтелект. — 2009. — № 1. — С. 56-61. — Бібліогр.: 6 назв. — укр. 1561-5359 https://nasplib.isofts.kiev.ua/handle/123456789/7762 681.32 У статті подано теоретичні основи цифрової обробки даних на базі інформаційних мір ентропії для розв’язання задач штучного інтелекту. Проаналізовано існуючі міри ентропії та проведено аналіз статистичних, кореляційних і спектральних характеристик джерел інформації. В статье даны теоретические основы цифровой обработки данных на базе информационных мер энтропии для решения задач искусственного интеллекта. Проанализированы существующие меры энтропии и проведен анализ статистических, корреляционных и спектральных характеристик источников информации. uk Інститут проблем штучного інтелекту МОН України та НАН України Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки сигналов и изображений Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту Теория энтропии источников информации и ее приложение в задачах искусственного интеллекта Article published earlier
spellingShingle	Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту Погонець, І.О. Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки сигналов и изображений
title	Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту
title_alt	Теория энтропии источников информации и ее приложение в задачах искусственного интеллекта
title_full	Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту
title_fullStr	Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту
title_full_unstemmed	Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту
title_short	Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту
title_sort	теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту
topic	Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки сигналов и изображений
topic_facet	Интеллектуальные интерфейсы и распознавание образов. Системы цифровой обработки сигналов и изображений
url	https://nasplib.isofts.kiev.ua/handle/123456789/7762
work_keys_str_mv	AT pogonecʹío teoríâentropíídžerelínformacíítaíízastosuvannâvzadačahštučnogoíntelektu AT pogonecʹío teoriâéntropiiistočnikovinformaciiieepriloženievzadačahiskusstvennogointellekta

Теорія ентропії джерел інформації та її застосування в задачах штучного інтелекту

Institution

Similar Items