Энтропия неопределенности
Систематизированы понятия неопределенности, многозначности, случайности и гиперслучайности. Известное для случайных событий и величин понятие информационной энтропии распространено на неопределенные величины, которые не имеют вероятностной меры. Предложена методика расчета энтропии гиперслучайных ве...
Збережено в:
| Дата: | 2013 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Інститут проблем математичних машин і систем НАН України
2013
|
| Назва видання: | Математичні машини і системи |
| Теми: | |
| Онлайн доступ: | https://nasplib.isofts.kiev.ua/handle/123456789/83916 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Энтропия неопределенности / И.И. Горбань // Мат. машини і системи. — 2013. — № 2. — С. 105-117. — Бібліогр.: 17 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-83916 |
|---|---|
| record_format |
dspace |
| spelling |
nasplib_isofts_kiev_ua-123456789-839162025-02-09T14:19:54Z Энтропия неопределенности Ентропія невизначеності Entropy of uncertainty Горбань, И.И. Моделювання і управління Систематизированы понятия неопределенности, многозначности, случайности и гиперслучайности. Известное для случайных событий и величин понятие информационной энтропии распространено на неопределенные величины, которые не имеют вероятностной меры. Предложена методика расчета энтропии гиперслучайных величин. Систематизовано поняття невизначеності, багатозначності, випадковості і гіпервипадковості. Відоме для випадкових подій та величин поняття інформаційної ентропії розповсюджено на невизначені величини, що не мають імовірнісної міри. Запропоновано методику розрахунку ентропії гіпервипадкових величин. The concepts of uncertainty, many-valuedness, randomness, and hyper-randomness are systematized. Known for random events and quantities concept of information entropy is carried over uncertain quantities which have not probability measure. The method for calculating of hyper-random quantities entropy is proposed. 2013 Article Энтропия неопределенности / И.И. Горбань // Мат. машини і системи. — 2013. — № 2. — С. 105-117. — Бібліогр.: 17 назв. — рос. 1028-9763 https://nasplib.isofts.kiev.ua/handle/123456789/83916 519.2: 530.1: 600.1 ru Математичні машини і системи application/pdf Інститут проблем математичних машин і систем НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Моделювання і управління Моделювання і управління |
| spellingShingle |
Моделювання і управління Моделювання і управління Горбань, И.И. Энтропия неопределенности Математичні машини і системи |
| description |
Систематизированы понятия неопределенности, многозначности, случайности и гиперслучайности. Известное для случайных событий и величин понятие информационной энтропии распространено на неопределенные величины, которые не имеют вероятностной меры. Предложена методика расчета энтропии гиперслучайных величин. |
| format |
Article |
| author |
Горбань, И.И. |
| author_facet |
Горбань, И.И. |
| author_sort |
Горбань, И.И. |
| title |
Энтропия неопределенности |
| title_short |
Энтропия неопределенности |
| title_full |
Энтропия неопределенности |
| title_fullStr |
Энтропия неопределенности |
| title_full_unstemmed |
Энтропия неопределенности |
| title_sort |
энтропия неопределенности |
| publisher |
Інститут проблем математичних машин і систем НАН України |
| publishDate |
2013 |
| topic_facet |
Моделювання і управління |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/83916 |
| citation_txt |
Энтропия неопределенности / И.И. Горбань // Мат. машини і системи. — 2013. — № 2. — С. 105-117. — Бібліогр.: 17 назв. — рос. |
| series |
Математичні машини і системи |
| work_keys_str_mv |
AT gorbanʹii éntropiâneopredelennosti AT gorbanʹii entropíâneviznačeností AT gorbanʹii entropyofuncertainty |
| first_indexed |
2025-11-26T20:11:11Z |
| last_indexed |
2025-11-26T20:11:11Z |
| _version_ |
1849885064040546304 |
| fulltext |
© Горбань И.И., 2013 105
ISSN 1028-9763. Математичні машини і системи, 2013, № 2
МОДЕЛЮВАННЯ І УПРАВЛІННЯ
УДК 519.2: 530.1: 600.1
И.И. ГОРБАНЬ*
ЭНТРОПИЯ НЕОПРЕДЕЛЕННОСТИ
*
Институт проблем математических машин и систем НАН Украины, Киев, Украина
Анотація. Систематизовано поняття невизначеності, багатозначності, випадковості і
гіпервипадковості. Відоме для випадкових подій та величин поняття інформаційної ентропії роз-
повсюджено на невизначені величини, що не мають імовірнісної міри. Запропоновано методику
розрахунку ентропії гіпервипадкових величин.
Ключові слова: ентропія, невизначеність, теорія гіпервипадкових явищ.
Аннотация. Систематизированы понятия неопределенности, многозначности, случайности и
гиперслучайности. Известное для случайных событий и величин понятие информационной энтро-
пии распространено на неопределенные величины, которые не имеют вероятностной меры. Пред-
ложена методика расчета энтропии гиперслучайных величин.
Ключевые слова: энтропия, неопределенность, теория гиперслучайных явлений.
Abstract. The concepts of uncertainty, many-valuedness, randomness, and hyper-randomness are systema-
tized. Known for random events and quantities concept of information entropy is carried over uncertain
quantities which have not probability measure. The method for calculating of hyper-random quantities
entropy is proposed.
Keywords: entropy, uncertainty, theory of hyper-random phenomena.
1. Введение
В физике, математике, информатике, кибернетике, телекоммуникации, связи и других раз-
делах науки широко используется понятие энтропии. Это – одно из базовых понятий, с
помощью которого определяются другие понятия, в частности, понятие количества ин-
формации.
Несмотря на исключительное значение, которое энтропия играет для различных об-
ластей знаний, до сих пор нет единого ее определения. Даже в рамках одной и той же дис-
циплины энтропия, зачастую, трактуется по-разному.
В переводе с греческого языка энтропия означает поворот, превращение. Впервые
этот термин был введен в термодинамику Р.Ю. Клазиусом (1865 г.) для характеристики
необратимо рассеиваемой части энергии [1]. В теплофизике под энтропией подразумевают
[2] функцию S состояния системы, дифференциал которой в элементарном обратимом
процессе равен отношению бесконечно малого количества теплоты Qδ , сообщенного сис-
теме, к ее абсолютной температуре T : d /S Q T= δ . Энтропия не зависит от способа дости-
жения состояния системы и определяется лишь параметрами этого состояния.
Л.Э. Больцман, рассматривая множество микросостояний системы, ввел понятие
статистической энтропии (1872 г.) lnS k= Ω [3], где k – коэффициент пропорционально-
сти (Максом Планком этот коэффициент назван постоянной Больцмана,
231,38 10−= ⋅k Дж/К), Ω – число возможных микросостояний (способов), с помощью кото-
рых можно составить данное макроскопическое состояние системы, отождествляемое с
числом микросостояний системы при условии, что все микросостояния равновероятны.
106 ISSN 1028-9763. Математичні машини і системи, 2013, № 2
При статистическом обосновании термодинамики Д.В. Гиббс [4] рассматривал
(1902 г.) энтропию как величину
( , ) ln ( , )d dS k f p q f p q p q= ∫ , (1)
где k – размерный множитель, ( , )f p q – плотность распределения вероятностей обоб-
щенных координат p и импульсов q в фазовом пространстве системы.
Для характеристики степени неопределенности опыта с N возможными исходами
Р.В.Л. Хартли [5] предложил (1928 г.) использовать величину 2log N .
Для независимых случайных событий X с N возможными состояниями, описы-
ваемыми вероятностями np ( 1, )n N= , К.Э. Шеннон определил (1948 г.) информационную
энтропию (среднюю энтропию) следующим образом [6, 7]:
[ ]2 2
1
log M log
N
x n n n
n
H p p p
=
= − = −∑ , (2)
где M[ ]⋅ – оператор математического ожидания.
Энтропия, описываемая выражением (2), принимает значения на интервале
2[0, log ]N . Минимальное значение соответствует случаю, когда вероятность одного из со-
стояний равна единице, а остальных – нулю, максимальное же значение – равномерному
распределению, когда для всех 1,n N= вероятности
1
np
N
= .
Р.Г. МакАртур [8] использовал (1955 г.) статистический аналог формулы Шеннона
как меру биологического разнообразия экологических сообществ:
1
ln
I
i i
x
i
N N
H
N N=
= −∑ , (3)
где iN – численность i -той популяции в сообществе из I видов,
1
I
i
i
N N
=
=∑ – суммарная
численность рассматриваемых особей.
Для характеристики степени хаотичности процессов на выходе динамических сис-
тем используется K -энтропия (энтропия Колмогорова – Синая или энтропия Крылова –
Колмогорова):
[ ]
(0) 0
ln ( ) / (0)
lim
d
t
d t d
h
t→
→∞
= ,
где (0)d – расстояние в фазовом пространстве между двумя близлежащими точками 1(0)x ,
2(0)x в первоначальный момент времени t ;
( )d t – расстояние между траекториями 1( )x t , 2( )x t , проходящими через точки 1(0)x ,
2(0)x : 1 2( ) ( ) ( )d t x t x t= − .
Известен еще целый ряд других определений понятия энтропии.
В информатике, телекоммуникации и связи при описании случайных величин, при-
нимающих дискретные значения, обычно используют Шенноновское определение энтро-
пии (2). Для описания случайной величины X с непрерывной плотностью распределения
вероятностей ( )f x используется энтропия, определяемая для безразмерной плотности
распределения как [9]
ISSN 1028-9763. Математичні машини і системи, 2013, № 2 107
[ ]2 2( ) log ( )d M log ( )xH f x f x x f X
∞
−∞
= − = −∫ (4)
(дифференциальная энтропия), или для необязательно безразмерной плотности распреде-
ления как [10]
{ } { }2 2( ) log ( ) d M log ( )x x xH f x l f x x l f X
∞
−∞
= − = − ∫ , (5)
где xl – размерный коэффициент ( 0)xl ≥ , определяющий положение нуля на шкале энтро-
пии.
В отличие от энтропии дискретной случайной величины энтропия непрерывной
случайной величины может принимать как положительные, так и отрицательные значения.
Для случайной величины с ограниченной плотностью распределения вероятностей
( )f x A< энтропия положительна, если
1
xl A
< .
Заметим, что формула (5) описывает энтропию не только непрерывных, но и дис-
кретных случайных величин (случайных событий). Для перехода к выражению (2) доста-
точно представить плотность распределения дискретной величины, принимающей значе-
ния nx с вероятностью np ( 1, )n N= , выражением
1
( ) ( )
N
n n
n
f x p x x
=
= δ −∑
и положить (0) 1xl δ = [10], где ( )δ ⋅ – δ -функции Дирака.
Обратим внимание, что энтропии, рассчитанные по формулам (4), (5), совпадают
между собой с точностью до постоянного сдвига на величину 2log xl− . Поэтому обычно
ограничиваются рассмотрением дифференциальной энтропии, рассчитываемой по форму-
ле (4).
В ряде случаев энтропия xH связана с среднеквадратическим отклонением (СКО)
xσ случайной величины X логарифмической зависимостью. Например, для экспоненци-
ального распределения 2log ( )x xH e= σ , для распределения Лапласа 2log ( 2 )x xH e= σ , для
гауссовского распределения
2log ( 2 )x xH e= π σ , (6)
а для равномерного распределения
2log (2 3 )x xH = σ . (7)
Это создает иллюзию того, что энтропия, подобно СКО и дисперсии, характеризует
разброс значений случайной величины. Но это не совсем так. В отличие от СКО и диспер-
сии, она характеризует не столько разброс, как разнообразие значений случайной величи-
ны с высоким уровнем вероятности: чем больше значений она принимает с высокой степе-
нью вероятности, тем больше энтропия. При этом расстояние же между значениями слу-
чайной величины не играет существенной роли.
Если интервал изменения случайной величины ограничен, то максимум энтропии
достигается при равномерном законе распределения, если же не ограничен, то – при гаус-
совском законе.
108 ISSN 1028-9763. Математичні машини і системи, 2013, № 2
Из приведенного краткого обзора следует, что в общефизической постановке поня-
тие энтропии не связано с наличием вероятностной меры. Однако во многих случаях, в ча-
стности, в статистической термодинамике, информатике и смежных областях (см. выраже-
ния (1), (2), (4)–(5)) энтропия определена лишь для случайных событий и величин, т.е. объ-
ектов, которые имеют вероятностную меру. При этом для событий и величин, не имеющих
вероятностной меры, к примеру, для интервальной величины [11], гиперслучайного собы-
тия или гиперслучайной величины [12, 13], понятие информационной энтропии (Шенно-
новской энтропии) не применимо. Для таких событий и величин не применимы и другие
понятия, связанные с энтропией, в частности, понятие количества информации.
Целью настоящей статьи является распространение понятия энтропии на события и
величины, не имеющие вероятностной меры.
Прежде чем переходить к изложению основного материала, представляется целесо-
образным кратко остановиться на некоторых терминологических вопросах, касающихся
неопределенности, и дать объяснение новому, недавно введенному понятию обобщенного
предела.
2. Параметры физических систем
Окружающий мир постоянно меняется, что проявляется в изменении его свойств и свойств
составляющих его объектов – различных физических систем.
Состояния объектов характеризуются физическими и нефизическими величинами.
Физические величины, в отличие от нефизических, – измеряемые величины.
Согласно ГОСТ [14], физическая величина – свойство, общее в качественном отно-
шении многим физическим объектам (физическим системам, их состояниям и происходя-
щим в них процессам), но в количественном отношении индивидуальное для каждого объ-
екта.
Любая физическая система (объект) описывается бесчисленным количеством физи-
ческих величин – параметрами1 или, иначе, координатами состояния.
Параметры могут быть скалярными (одномерными) и векторными (многомерными).
Принято различать детерминированные и недетерминированные (индетерминированные
или неопределенные) параметры.
Параметры обычно рассматриваются как функции времени. Детерминированный
параметр в фиксированный момент времени принимает конкретное значение. В скалярном
случае это значение описывается числом (натуральным, вещественным или комплексным),
а в векторном – вектором (совокупностью натуральных, вещественных или комплексных
чисел). Параметры, описываемые бесконечномерными векторами, обычно называют харак-
теристиками. Детерминированная характеристика представляется детерминированной
функцией.
В фиксированный момент времени неопределенный параметр, в отличие от детер-
минированного, не принимает конкретного значения, а неопределенная характеристика не
описывается какой-либо конкретной детерминированной функцией.
Деление параметров и характеристик реальных систем на детерминированные и не-
детерминированные не совсем корректно, поскольку обычно в наличии имеется всего
лишь одна реализация, а по одной реализации нельзя судить о детерминированном или не-
определенном характере явления.
Однако заманчивая идея деления на класс детерминированных и недетерминиро-
ванных объектов может быть реализована применительно к абстрактным идеализирован-
ным моделям. Формируя математическую модель, можно допустить, что одни ее парамет-
ры (или характеристики) детерминированные, а другие – неопределенные.
1 С древнегреческого языка слово параметр переводится как соразмеряемый.
ISSN 1028-9763. Математичні машини і системи, 2013, № 2 109
Неоднозначность
смысла фраз
Неопределенность
Неизвестность Недостоверность (неполнота, недостаточность,
недоопределенность, неадекватность )
Физическая неопределенность Лингвистическая неопределенность
Неопределенность
значений слов Неточность Случайность
Прагматическая
Поверхностная Глубинная
Неоднозначность
Нечеткость Синтаксическая Семантическая Омонимия
Рис. 1. Классификация неопределенности по В.П. Бочарникову
Модели, не содержащие неопределенных параметров, обычно называют детерми-
нированными, а содержащие такие параметры – недетерминированными (неопределенны-
ми).
Системы, адекватным образом описываемые детерминированными моделями, на-
зывают детерминированными, а описываемые недетерминированными моделями – неде-
терминированными (неопределенными).
3. Классификация неопределенностей
Понятие неопределенности не такое очевидное, как кажется на первый взгляд. Далеко не
всегда удается точно сформулировать, что подразумевается под понятием неопределенно-
сти. Существует множество сходных понятий, близких ему по смыслу. К ним относятся,
например, неизвестность, неоднозначность, случайность, недостоверность, неадекват-
ность, многозначность, хаотичность и др.
Некоторые из этих понятий расплывчаты (например, понятие неадекватности).
Иные же, хотя и формализованы, однако базируются на разных исходных модельных
представлениях, что затрудняет установление связи между ними (к таковым, например,
относятся понятия случайности и хаотичности).
Поэтому предложить всеобъемлющую и притом логически корректную системати-
зацию понятий неопределенности не представляется возможным. Но даже субъективные и
неполные классификации, ставящие перед собой цель упорядочить в какой-то мере поня-
тия неопределенности, зачастую полезны, поскольку позволяют получить общее представ-
ление об иерархии рассматриваемых понятий.
К их числу
относится классифи-
кация, приведенная
в монографии В.П.
Бочарникова [15]
(рис. 1). В этой клас-
сификации, хотя и
отсутствуют многие
важные понятия, в
частности, понятия
интервальной вели-
чины [11], гиперслу-
чайного явления [12,
13] и др., однако
верно подмечено,
что случайность, не-
однозначность и не-
определенность – не идентичные понятия. Случайность является частным случаем неодно-
значности (многозначности), а последняя – частным случаем неопределенности.
Понятия случайности, многозначности и неопределенности могут касаться различ-
ных явлений – событий, величин, процессов, полей. Ограничимся рассмотрением двух ос-
новных классов: событий и величин. Для описания воспользуемся подходом, разработан-
ным в рамках теории гиперслучайных явлений [12].
Под случайным событием будем подразумевать многозначное событие, имеющее
определенную вероятность, а под случайной величиной X – многозначную величину,
описываемую функцией распределения ( )F x .
Под интервальной величиной X будем понимать многозначную величину, харак-
теризуемую верхней a и нижней b границами, под гиперслучайным событием – множест-
110 ISSN 1028-9763. Математичні машини і системи, 2013, № 2
во случайных событий, а под гиперслучайной величиной X – множество случайных вели-
чин { },gX g G∈ .
Гиперслучайная величина X исчерпывающе характеризуется множеством услов-
ных функций распределения ( / )F x g в условиях g G∈ . Границы функции распределения
гиперслучайной величины X определяются выражениями (рис. 2)
{ }( ) sup / sup ( / ),S
g G g G
F x P X x g F x g
∈ ∈
= < =
{ }( ) inf / inf ( / )I
g G g G
F x P X x g F x g
∈ ∈
= < = ,
где { }P z – вероятность условия z .
Рис. 2. Границы функции распределения ( )SF x , ( )IF x невырожденной гиперслучайной величины
(а), случайной величины (б), детерминированной величины (в) и интервальной величины (г)
Между границами функции распределения расположена зона неопределенности
(затемненная область на рис. 2а). Ее ширина определяется разностью
( ) ( ) ( )S IF x F x F x∆ = − : чем больше неопределенность, тем больше величина ( )F x∆ .
Вырожденный случай гиперслучайной величины – случайная величина. Для слу-
чайной величины X границы функции распределения совпадают с ее функцией распреде-
ления ( )F x : ( ) ( ) ( )S IF x F x F x= = и разность ( )F x∆ равна нулю (рис. 2б).
Детерминированную величину a приближенно можно рассматривать как случай-
ную величину X , функция распределения ( )F x которой имеет вид единичного скачка в
точке a : [ ]( ) signF x x a= − (рис. 2в).
Интервальную величину, определяемую интервалом [ ],a b , можно рассматривать
как гиперслучайную величину X , верхняя граница которой описывается функцией еди-
ISSN 1028-9763. Математичні машини і системи, 2013, № 2 111
ничного скачка в точке a : [ ]( ) signSF x x a= − , а нижняя – функцией единичного скачка в
точке b : [ ]( ) signIF x x b= − (рис. 2г).
Если a → −∞ , а b → ∞ , то скачки верхней границы функции распределения стре-
мятся к минус бесконечности, а нижней границы – к плюс бесконечности. Гиперслучай-
ную величину с такими границами распределения можно рассматривать как полностью
неопределенную или хаотическую величину.
Следует отметить, что определяемая таким образом хаотическая величина, если и име-
ет, то косвенное отношение к понятию детерминированного хаоса, широко используемого в
научной литературе.
Из приведенного экскурса следует, что между детерминированными и неопреде-
ленными явлениями нет той пропасти, как можно было бы предполагать. Детерминиро-
ванную, случайную и интервальную величины, а также детерминированное и случайное
события можно рассматривать как частные случаи гиперслучайной величины.
4. Классификация моделей
Принимая во внимание соображения, изложенные в предыдущем подразделе, можно пред-
ложить следующую классификацию математических моделей (рис. 3).
МАТЕМАТИЧЕСКИЕ
МОДЕЛИ
Детерминированные Неопределенные
Многозначные Другие
(неизвестные, недостоверные и пр.)
Многозначные
по множеству реализаций
Многозначные
в пределах одной реализации
Гиперслучайные Другие
Случайные
(стохастические)
Интервальные Другие
Рис. 3. Классификация математических моделей
В этой классификации под многозначными в общем случае подразумеваются не
только модели, неоднозначность которых проявляется при рассмотрении множества реа-
лизаций (как, например, в случае случайных и гиперслучайных моделей), но и модели, у
которых имеет место неоднозначность на уровне одной реализации. В последнем случае
112 ISSN 1028-9763. Математичні машини і системи, 2013, № 2
реализация физической величины описывается не числом, а множеством чисел (много-
значной величиной), реализация же физического процесса – многозначной функцией.
Основы теории многозначных величин и функций разработаны в статьях [16, 17], в
которых введены понятия обобщенного предела, принимающего не обязательно единст-
венное значение, непрерывной многозначной функции, производной и интеграла много-
значной функции, а также другие понятия, полезные при моделировании.
5. Обобщенный предел
Согласно классическим представлениям, последовательность { } 1 2, , ,n nx x x x= … считается
сходящейся, если существует необходимо единственный предел lim n
n
c x
→∞
= . Последова-
тельность, не имеющая единственного предела, считается расходящейся.
В статье [16] для расходящихся последовательностей было введено понятие обоб-
щенного предела. Основная идея, лежащая в основе этого понятия, следующая.
Известно, что из любой бесконечной последовательности можно получить множе-
ство частичных последовательностей (подпоследовательностей), образуемых из исходной
последовательности вычеркиванием части членов. Если последовательность сходится (в
обычном смысле), то сходятся все ее частичные последовательности. Если же последова-
тельность расходится, то не обязательно расходятся все ее частичные последовательности.
Некоторые из них могут сходиться к определенным пределам mc (предельным точкам).
Множество всех предельных точек последовательности, называемых также частичными
пределами, образуют спектр xSɶ 2 [16–17].
Спектр расходящейся последовательности является аналогом обычного предела
сходящейся последовательности и аналитически описывается обобщенным пределом
LIMx n
n
S x
→∞
=ɶ [16–17].
В случае сходящейся последовательности { }nx обобщенный предел LIM n
n
x
→∞
совпа-
дает с обычным пределом lim n
n
x
→∞
(обязательно единственным), однако, когда эта последо-
вательность расходится, то LIM n
n
x
→∞
принимает множество значений. Это множество харак-
теризуется не только спектром предельных точек xSɶ , но и функцией распределения
( )
( ) LIM
→∞
=ɶ
n
n x
F x
n
, (8)
где ( )n x – количество членов последовательности { }nx , меньших x .
Обобщенный предел (8) может сходиться к числу (рис. 4а), сходиться к множеству
чисел (рис. 4б) или расходиться (рис. 4в). В первых двух случаях функция распределения
( )F xɶ однозначная ( ( ( ) ( ))F x F x=ɶ , а в третьем – многозначная.
Для описания функции распределения ( )F xɶ могут использоваться ее нижняя ( )IF x
и верхняя ( )SF x границы (рис. 4), плотности распределения границ
d ( )
( )
d
I
I
F x
f x
x
= ,
d ( )
( )
d
S
S
F x
f x
x
= , моменты границ: математические ожидания границ Ixm , Sxm , дисперсии
2 Здесь и далее знак тильда указывает на множественность значений.
ISSN 1028-9763. Математичні машини і системи, 2013, № 2 113
границ ID , SD и другие характеристики и параметры, используемые в теории гиперслу-
чайных явлений [12–13].
( ) ( )S IF x F x=
0
1
x
( )F x
0x
( ) ( )S IF x F x=
0
1
x
( )F x
( )SF x
0
1
x
( )F xɶ
( )IF x
а б в
Рис. 4. Функция распределения ( )F xɶ предельных точек и границы ( )IF x , ( )SF x функции распре-
деления предельных точек однозначной последовательности { }nx : сходящейся к числу 0x (а),
сходящейся к множеству чисел (б) и расходящейся (в)
6. Энтропия неопределенной величины
Распространить понятие энтропии на неопределенные события и величины, не обязательно
имеющие вероятностную меру, можно следующим образом.
Рассмотрим многозначную выборку { } 1 2, , ,n nx x x x= … объема n неопределенной
величины x , принимающей значения из интервала [ , ]a b . Разделим интервал значений
[ , ]a b на R непересекающихся интервалов (разрядов) длительностью ∆ rx ( 1, )r R= и вве-
дем вспомогательную функцию
2( ) LIM log
→∞
ϕ ∆ =
r r
r n
n n
x
n n
, (9)
где rn – количество значений выборки { }nx , попавших в r -й разряд.
Назовем энтропией неопределенной величины x величину
max 0
1
LIM ( )
r
R
x r
x
r
H x
∆ → =
= − ϕ ∆∑ . (10)
В общем случае вспомогательная функция ( )rxϕ ∆ – многозначная функция, а эн-
тропия xH – многозначная величина. Как любая многозначная величина, энтропия харак-
теризуется спектром предельных точек
xHSɶ и соответствующей функцией распределения
( )xF hɶ .
Если предел (10) сходится к некоторому числу 0xH (в частности, это имеет место,
когда выборка { }nx случайная), то функция распределения ( ) ( )x xF h F h=ɶ представляет со-
бой функцию единичного скачка в точке 0x xh H= : [ ]0( ) signx x xF h h H= − , если этот предел
сходится к множеству чисел, то функция распределения ( )xF hɶ – однозначная функция
( ( ) ( ))x xF h F h=ɶ , если же предел расходится, то ( )xF hɶ – многозначная функция.
В общем случае диапазон предполагаемых значений энтропии можно описать
двойным неравенством (рис. 5):
114 ISSN 1028-9763. Математичні машини і системи, 2013, № 2
σ
xShk
σ
xIhk
( )S xF h
0
1
xh
( )xF hɶ
( )I xF h
xIhm
xShm
Рис. 5. Функция распределения энтропии ( )xF hɶ
неопределенной величины x
σ σ
x x x xSh Sh x Ih Ihm k h m k− ≤ ≤ + , (11)
где
xShm и σ
xSh – соответственно матема-
тическое ожидание и СКО верхней грани-
цы ( )S xF h распределения энтропии
( )xF hɶ ,
xIhm и σ
xIh – соответственно мате-
матическое ожидание и СКО нижней гра-
ницы ( )I xF h распределения энтропии
( )xF hɶ , k – константа, определяющая сте-
пень доверия.
Под диапазоном предполагаемых
значений многозначной величины (в дан-
ном случае энтропии) подразумевается
диапазон ее значений, вне которого верх-
няя граница вероятности пребывания рас-
сматриваемой величины пренебрежимо
мала.
Указанная верхняя граница определяется константой k . При ее увеличении степень
доверия возрастает. Для гауссовских законов распределения границ ( )S xF h и ( )I xF h при
1k = , как для любых гауссовских распределений, обеспечивается степень доверия на
уровне 68,3%, при 2k = – на уровне 96%, а при 3k = – на уровне 99,7%.
Описанный подход не предполагает наличия у величины x вероятностной меры и
потому применим как для случайных, так и произвольных неслучайных величин.
К сожалению, реализовать его на практике в большинстве случаев не представляет-
ся возможным, поскольку для получения достоверных оценок границ функции распреде-
ления ( )S xF h , ( )I xF h необходимо располагать непомерно большим объемом данных.
Однако задача может быть существенно упрощена при установлении связи между
случайной величиной и неопределенными величинами, не имеющими вероятностной ме-
ры, в частности, гиперслучайной и интервальной величинами.
7. Энтропия гиперслучайной и интервальной величин
Пусть имеется гиперслучайная величина { },gX X g G= ∈ с функцией распределения
( )F xɶ , границами функции распределения ( )SF x , ( )IF x , математическими ожиданиями
границ Sxm , Ixm и СКО границ σSx , σ Ix , а также случайная величина eX с функцией рас-
пределения ( )eF x (рис. 6).
Случайную величину eX будем называть эквивалентной гиперслучайной величине
X , если ее математическое ожидание
exm совпадает с серединой интервала (11), а ее СКО
σ
ex , увеличенное в k раз, равно полуширине этого интервала.
Тогда (рис. 6)
2 1 1
( σ ) ( σ )
2 2
+
= = + + − ex Ix Ix Sx Sx
x x
m m k m k ,
2 1 1
σ ( σ ) ( σ )
2 2
−
= = + − − ex Ix Ix Sx Sx
x x
m k m k
k
. (12)
ISSN 1028-9763. Математичні машини і системи, 2013, № 2 115
( ), ( )eF x F xɶ
exm
σSxk
σ Ixk
( )SF x
0
1
x
( )IF x
Ixm Sxm 1x 2x
( )eF x
( )eF x
σ
exk
Sxm
σSxk σ Ixk
( )SF x
0
1
x
( ), ( )eF x F xɶ
( )IF x
Ixm
exm
σ
exk
1x 2x
а б
Рис. 6. Функции распределения ( )F xɶ и ( )eF x соответственно гиперслучайной величины X и эк-
вивалентной случайной величины eX с равномерным (а) и гауссовским (б) законами
распределения
Под энтропией xH гиперслучайной величины X будем понимать энтропию
exH
эквивалентной случайной величины eX .
Поскольку энтропия случайной величины зависит от закона распределения, то рас-
считываемая таким образом энтропия xH гиперслучайной величины зависит от закона
распределения
exH эквивалентной случайной величины. Кроме того, она зависит от вели-
чины константы k .
Если эквивалентная случайная величина подчиняется гауссовскому закону распре-
деления, то, согласно выражениям (6) и (12) (рис. 6а),
2 2
( ) ( )
log (σ σ ) log (σ σ ) 1
2
Ix Sx Ix Sx
x Ix Sx Ix Sx
m m m me
H
k k
π − −= + + ≈ + + +
, (13)
а, если равномерному закону, то, согласно выражениям (7) и (12) (рис. 6б),
2
2
( )
log 3 ( )
( )
log ( ) 0,8.
Ix Sx
x Ix Sx
Ix Sx
Ix Sx
m m
H
k
m m
k
−= + σ + σ ≈
−≈ + σ + σ +
(14)
Для интервальной величины формулы (13) и (14) приобретают следующий вид:
2 2
( ) ( )
log log 1
2
Ix Sx Ix Sx
x
m m m me
H
k k
π − −= ≈ +
,
2 2
( ) ( )
log 3 log 0,8.Ix Sx Ix Sx
x
m m m m
H
k k
− −= ≈ +
Принимая гипотезу адекватного описания исследуемой физической величины ги-
перслучайной моделью, можно воспользоваться разработанной [12] методикой получения
оценок математических ожиданий *
Sxm , *
Ixm и СКО *σSx , *σ Ix границ ( )SF x , ( )IF x функции
116 ISSN 1028-9763. Математичні машини і системи, 2013, № 2
распределения ( )F xɶ гиперслучайной величины X . По этим оценкам с использованием
формул (13)–(14) нетрудно рассчитать оценку *
xH энтропии xH этой величины.
Особенно простое решение задачи получается, когда статистические условия изме-
няются достаточно медленно, так, что за время пребывания в произвольных фиксирован-
ных условиях g G∈ удается сформировать эмпирическую функцию распределения
* ( / )F x g (оценку функции распределения ( / )F x g ) случайной величины gX приемлемого
качества. Методика расчета такой функции распределения изложена в монографии [12].
В этом случае объем данных N , необходимый для решения задачи, во много раз
меньше, чем при использовании универсального подхода. Если положить, что для по-
строения каждой условной функции распределения * ( / )F x g достаточно несколько сот
отсчетов, то при числе различных условий порядка десяти объем выборки N , достаточный
для расчета энтропии, лежит в районе 410 отсчетов.
8. Выводы
1. Систематизированы понятия неопределенности, многозначности, случайности, гиперс-
лучайности, а также понятия неопределенной, многозначной, гиперслучайной, случайной
и интервальной моделей.
2. Широкоизвестное для случайных событий и величин понятие Шенноновской информа-
ционной энтропии распространено на неопределенные величины, не имеющие вероятно-
стной меры.
3. Разработана методика расчета энтропии гиперслучайных величин.
СПИСОК ЛИТЕРАТУРЫ
1. Clausius R. Über verschiedene für die Anwendung bequeme Formen der Hauptgleichungen der
mechanischen Wärmetheorie / R. Clausius // Ann. Phys. Folge 2. – 1865. – Bd. 125. – Р. 353 – 400.
2. Яворский Б.М. Справочник по физике для инженеров и студентов ВУЗов / Б.М. Яворский,
А.А. Детлаф. – М.: Наука, 1968. – 940 с.
3. Boltzmann L. Weitere Studien über das Wärmegleichgewicht unter Gasmolekülen / L. Boltzmann //
Sitzber. Acad. Wiss. Wien. – 1872. – Bd. 66. – S. 275 – 376.
4. Gibbs J.W. Elementary Principles in Statistical Mechanics, Developed with Especial Reference to the
Rational Foundation of Thermodynamics / Gibbs J.W. – N.-Y.: Schribner, 1902. – 159 p.
5. Хартли Р.В.Л. Теория информации и ее приложения / Хартли Р.В.Л. – М.: Физматгиз, 1969. –
С. 5 – 35.
6. Shannon C.E. A mathematical theory of communications / C.E. Shannon // Bell Systems Tech. J. –
1948. – Vol. 27. – P. 623 – 656.
7. Шеннон К. Работы по теории информации и кибернетике / Шеннон К. – М.: И-во иностр. лит.,
1963. – 829 с.
8. MacArthur R.H. Educations of animal populations and measure of community stability /
R.H. MacArthur // Ecology. – 1955. – Vol. 36, N 7. – P. 533 – 536.
9. Корн Г. Справочник по математике для научных работников и инженеров / Г. Корн, Т. Корн. –
М.: Наука, 1977. – 831 с.
10. Пугачев В.С. Теория случайных функций / Пугачев В.С. – М.: Изд-во физ.-мат. литературы,
1962. – 883 с.
11. Шарый С.П. Конечномерный интервальный анализ [Электронный ресурс] / Шарый С.П. – XYZ:
Институт вычислительных технологий, 2010. – 597 с. – Режим доступа: http://www.nsc.ru/interval.
12. Горбань И.И. Теория гиперслучайных явлений: физические и математические основы [Элек-
тронный ресурс] / Горбань И.И. – К.: Наукова думка, 2011. – 318 с. – Режим доступа:
http://www.immsp.kiev.ua/perspages/gorban_i_i/index.html.
13. Горбань И.И. Теория гиперслучайных явлений [Электронный ресурс] / Горбань И.И. – К.:
ИПММС, 2007. – 181 с. – Режим доступа: http://www.immsp.kiev.ua/perspages/gorban_i_i/index.html.
ISSN 1028-9763. Математичні машини і системи, 2013, № 2 117
14. ГОСТ 16263-70 ГСИ. Метрология. Термины и определения. – М.: Госстандарт, 1970. – 92 с.
15. Бочарников В.П. Fuzzy-технология: Математические основы. Практика моделирования в эко-
номике / Бочарников В.П. – СПб: Наука, 2001. – 328 с.
16. Горбань И.И. Расходящиеся последовательности и функции / И.И. Горбань // Математичні ма-
шини і системи. – 2012. – № 1. – С. 106 – 118.
17. Горбань И.И. Многозначные величины, последовательности и функции / И.И. Горбань //
Математичні машини і системи. – 2012. – № 3. – С. 147 – 161.
Стаття надійшла до редакції 15.04.2012
|