Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть III
Предложен способ измерения интенсивности преобразования ограничение разнообразия, основанный на новом понятии ситуации заблуждения. Рассмотрено преобразование коллапс ситуации неопределенности. Показано, что это преобразование может осуществляться двумя способами: внутренним и внешним. Внутренний сп...
Saved in:
| Published in: | Системні дослідження та інформаційні технології |
|---|---|
| Date: | 2013 |
| Main Author: | |
| Format: | Article |
| Language: | Russian |
| Published: |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України
2013
|
| Subjects: | |
| Online Access: | https://nasplib.isofts.kiev.ua/handle/123456789/50038 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть III / Н.Н. Дидук // Систем. дослідж. та інформ. технології. — 2013. — № 2. — С. 127-142. — Бібліогр.: 18 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
nasplib_isofts_kiev_ua-123456789-50038 |
|---|---|
| record_format |
dspace |
| spelling |
Дидук, Н.Н. 2013-10-02T23:56:21Z 2013-10-02T23:56:21Z 2013 Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть III / Н.Н. Дидук // Систем. дослідж. та інформ. технології. — 2013. — № 2. — С. 127-142. — Бібліогр.: 18 назв. — рос. 1681–6048 https://nasplib.isofts.kiev.ua/handle/123456789/50038 519.7 Предложен способ измерения интенсивности преобразования ограничение разнообразия, основанный на новом понятии ситуации заблуждения. Рассмотрено преобразование коллапс ситуации неопределенности. Показано, что это преобразование может осуществляться двумя способами: внутренним и внешним. Внутренний способ коллапса ситуации связан с наступлением (в данной ситуации) случайного события или с сознательным выбором. Внешний же способ представляет собой крайний частный случай преобразования ограничение разнообразия. На примере коллапса ситуации показана возможность превращения внешней информации во внутреннюю. Рассмотрены меры внутренней и внешней взаимной информации и решен вопрос о том, с каким преобразованием ситуаций неопределенности связана последняя (внешняя) мера. Введено новое понятие информационного канала и показано, что информационные каналы являются неотъемлемыми участниками всех процессов, происходящих в Природе. Запропоновано спосіб виміру інтенсивності перетворення обмеження розмаїтості, заснований на новому понятті ситуації омани. Розглянуто перетворення колапс ситуації невизначеності. Показано, що це перетворення може здійснюватися в два способи: внутрішній і зовнішній. Внутрішній спосіб колапсу ситуації зв'язаний з настанням (у даній ситуації) випадкової події або зі свідомим вибором. Зовнішній же спосіб являє собою крайній окремий випадок перетворення обмеження розмаїтості. На прикладі колапсу ситуації показана можливість перетворення зовнішньої інформації у внутрішню. Розглянуто міри внутрішньої і зовнішньої взаємної інформації і вирішено питання про те, з яким перетворенням ситуацій невизначеності зв'язана остання (зовнішня) міра. Уведено нове поняття інформаційного каналу і показано, що інформаційні канали є невід'ємними учасниками всіх процесів, що відбуваються в Природі. It is offered the measurement way of intensity of the transformation "constraint of variety" founded on a new notion of delusion situation. The transformation "situation of uncertainty collapse" is considered. It is shown that this transformation can be realized two ways: internal and external. The internal way of the situations collapse is connected with occurrence (in given situations) of the casual event or with conscious ch. External way presents itself extreme special case of the transformation «constraint of variety». The possibility of the conversion of external information to internal information is shown on example of the situations collapse. The measures of internal and external mutual information are considered. It is considered the problem about what transformation of situations of uncertainty is bound with last (external) measure. It is incorporated a new notion of the information channel and is shown that information channels are the integral participants of all processes, occurring in Nature. ru Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України Системні дослідження та інформаційні технології Нові методи в системному аналізі, інформатиці та теорії прийняття рішень Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть III Міри внутрішньої та зовнішньої інформації (на прикладі ймовірнісних ситуацій невизначеності). Частина ІІІ The measures of internal and external information (on example of probabilistic situations of uncertainty). Part III Article published earlier |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| title |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть III |
| spellingShingle |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть III Дидук, Н.Н. Нові методи в системному аналізі, інформатиці та теорії прийняття рішень |
| title_short |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть III |
| title_full |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть III |
| title_fullStr |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть III |
| title_full_unstemmed |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть III |
| title_sort |
меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). часть iii |
| author |
Дидук, Н.Н. |
| author_facet |
Дидук, Н.Н. |
| topic |
Нові методи в системному аналізі, інформатиці та теорії прийняття рішень |
| topic_facet |
Нові методи в системному аналізі, інформатиці та теорії прийняття рішень |
| publishDate |
2013 |
| language |
Russian |
| container_title |
Системні дослідження та інформаційні технології |
| publisher |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України |
| format |
Article |
| title_alt |
Міри внутрішньої та зовнішньої інформації (на прикладі ймовірнісних ситуацій невизначеності). Частина ІІІ The measures of internal and external information (on example of probabilistic situations of uncertainty). Part III |
| description |
Предложен способ измерения интенсивности преобразования ограничение разнообразия, основанный на новом понятии ситуации заблуждения. Рассмотрено преобразование коллапс ситуации неопределенности. Показано, что это преобразование может осуществляться двумя способами: внутренним и внешним. Внутренний способ коллапса ситуации связан с наступлением (в данной ситуации) случайного события или с сознательным выбором. Внешний же способ представляет собой крайний частный случай преобразования ограничение разнообразия. На примере коллапса ситуации показана возможность превращения внешней информации во внутреннюю. Рассмотрены меры внутренней и внешней взаимной информации и решен вопрос о том, с каким преобразованием ситуаций неопределенности связана последняя (внешняя) мера. Введено новое понятие информационного канала и показано, что информационные каналы являются неотъемлемыми участниками всех процессов, происходящих в Природе.
Запропоновано спосіб виміру інтенсивності перетворення обмеження розмаїтості, заснований на новому понятті ситуації омани. Розглянуто перетворення колапс ситуації невизначеності. Показано, що це перетворення може здійснюватися в два способи: внутрішній і зовнішній. Внутрішній спосіб колапсу ситуації зв'язаний з настанням (у даній ситуації) випадкової події або зі свідомим вибором. Зовнішній же спосіб являє собою крайній окремий випадок перетворення обмеження розмаїтості. На прикладі колапсу ситуації показана можливість перетворення зовнішньої інформації у внутрішню. Розглянуто міри внутрішньої і зовнішньої взаємної інформації і вирішено питання про те, з яким перетворенням ситуацій невизначеності зв'язана остання (зовнішня) міра. Уведено нове поняття інформаційного каналу і показано, що інформаційні канали є невід'ємними учасниками всіх процесів, що відбуваються в Природі.
It is offered the measurement way of intensity of the transformation "constraint of variety" founded on a new notion of delusion situation. The transformation "situation of uncertainty collapse" is considered. It is shown that this transformation can be realized two ways: internal and external. The internal way of the situations collapse is connected with occurrence (in given situations) of the casual event or with conscious ch. External way presents itself extreme special case of the transformation «constraint of variety». The possibility of the conversion of external information to internal information is shown on example of the situations collapse. The measures of internal and external mutual information are considered. It is considered the problem about what transformation of situations of uncertainty is bound with last (external) measure. It is incorporated a new notion of the information channel and is shown that information channels are the integral participants of all processes, occurring in Nature.
|
| issn |
1681–6048 |
| url |
https://nasplib.isofts.kiev.ua/handle/123456789/50038 |
| citation_txt |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть III / Н.Н. Дидук // Систем. дослідж. та інформ. технології. — 2013. — № 2. — С. 127-142. — Бібліогр.: 18 назв. — рос. |
| work_keys_str_mv |
AT diduknn meryvnutrenneiivnešneiinformaciinaprimereveroâtnostnyhsituaciineopredelennostičastʹiii AT diduknn mírivnutríšnʹoítazovníšnʹoíínformacíínaprikladíimovírnísnihsituacíineviznačenostíčastinaííí AT diduknn themeasuresofinternalandexternalinformationonexampleofprobabilisticsituationsofuncertaintypartiii |
| first_indexed |
2025-11-27T09:04:29Z |
| last_indexed |
2025-11-27T09:04:29Z |
| _version_ |
1850807756994379776 |
| fulltext |
© Н.Н. Дидук, 2013
Системні дослідження та інформаційні технології, 2013, № 1 127
УДК 519.7
МЕРЫ ВНУТРЕННЕЙ И ВНЕШНЕЙ ИНФОРМАЦИИ
(НА ПРИМЕРЕ ВЕРОЯТНОСТНЫХ СИТУАЦИЙ
НЕОПРЕДЕЛЕННОСТИ). ЧАСТЬ III
Н.Н. ДИДУК
Предложен способ измерения интенсивности преобразования ограничение
разнообразия, основанный на новом понятии ситуации заблуждения. Рассмот-
рено преобразование коллапс ситуации неопределенности. Показано, что это
преобразование может осуществляться двумя способами: внутренним и внеш-
ним. Внутренний способ коллапса ситуации связан с наступлением (в данной
ситуации) случайного события или с сознательным выбором. Внешний же
способ представляет собой крайний частный случай преобразования ограниче-
ние разнообразия. На примере коллапса ситуации показана возможность пре-
вращения внешней информации во внутреннюю. Рассмотрены меры внутрен-
ней и внешней взаимной информации и решен вопрос о том, с каким
преобразованием ситуаций неопределенности связана последняя (внешняя)
мера. Введено новое понятие информационного канала и показано, что ин-
формационные каналы являются неотъемлемыми участниками всех процессов,
происходящих в Природе.
В первых двух частях статьи [1, 2] рассмотрен ряд преобразований инфор-
мации и построены меры интенсивности некоторых из них. Но для самого
важного из преобразований — ограничения разнообразия — меру интенсив-
ности построить не удалось. Однако в последнем (десятом) разделе второй
части введено новое понятие ситуации заблуждения, которое позволило
сформулировать общий подход к построению мер интенсивности преобразо-
ваний, вызванных полученной внешней информацией (предположение 2).
Этот общий подход здесь (в третьей части) использован для построения ме-
ры интенсивности преобразования ограничение разнообразия.
Далее здесь рассмотрено преобразование коллапс ситуации неопреде-
ленности и показано, что его можно рассматривать либо как самостоятель-
ное преобразование, либо как частный случай ограничения разнообразия.
Эта двойственность позволила получить первое подтверждение согласован-
ности мер внутренней и внешней информации. Две последние темы настоя-
щей части статьи — меры внутренней и внешней взаимной информации
и новое понятие информационного канала.
11. СПОСОБ ИЗМЕРЕНИЯ ИНТЕНСИВНОСТИ ПРЕОБРАЗОВАНИЯ
«ОГРАНИЧЕНИЕ РАЗНООБРАЗИЯ»
Предлагаемый здесь новый подход к измерению интенсивности преобразо-
вания ограничение разнообразия опирается на введенное во второй части
понятие ситуации заблуждения. Здесь мы имеем первый пример, в котором
сформулированное в [2, разд. 10] предположение 2 подвергается проверке.
Но рассмотрение этого примера наталкивается на следующую трудность.
Предположение 2 содержит условие, что в процессе преобразования ситуа-
ции не изменяется ее множество возможностей. Однако преобразование
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2013, № 2 128
ограничение разнообразия как раз этому условию не удовлетворяет. Дейст-
вительно, его главная особенность состоит в уменьшении (урезании) мно-
жества возможностей: ситуация, описываемая пространством ,),( pX пре-
образуется в ситуацию, описываемую пространством ),( ApA .)( XA⊂
1. Количество внешней информации, необходимое для ограничения
разнообразия. Покажем, что упомянутую трудность можно устранить. С этой
целью воспользуемся так называемым нулевым продолжением функций —
операцией, которая была описана в разделе 6 работы [3] (выражения (11)
и (12)). В применении к ограничению разнообразия суть этой операции
состоит в том, что РВ Ap (которое определено на множестве XA⊂ ) можно
тривиальным образом продолжить на множество .X
Используя прием нулевого продолжения, мы можем формально по-
строить функцию ,Xp A↑ представляющую собой продолжение РВ Ap на
множество :X
XAxxpxXp AA ◊∈=↑ )0:)(( |a . (1)
Это выражение означает, что в тех точках ,Xx∈ которые принадлежат
множеству A, новая функция Xp A↑ принимает те же значения, что и функ-
ция Ap ; во всех же остальных точках Xx∈ она принимает значение 0. При
этом, как нетрудно понять, новая функция Xp A↑ тоже является распреде-
лением вероятностей, но уже на множестве .X
Итак, вместо того чтобы говорить, что после преобразования ограниче-
ние разнообразия заключительная ситуация описывается пространством ве-
роятностей ),( ApA , можно сказать, что она описывается пространством
вероятностей ),( XpX A↑ . В самом деле, это новое пространство отличается
от пространства ),( ApA только некоторыми точками, имеющими нулевую
вероятность. Меру внешней информации для преобразования ограничение
разнообразия в [2, разд. 9, п. 4] мы обозначили )|,( ApXE . Следовательно,
наше предположение 2 [2, разд. 10, п. 2] в применении к этому преобразова-
нию выразится равенством
)||,()|,( XppXEApXE A↑= . (2)
Теперь осталось найти выражение для величины .)||,( XppXE A↑
Ввиду [2, (39)] имеем
),())(,()||,( XpXGpXpXGXppXE AAA ↑−◊↑=↑ . (3)
Далее, очевидно, что имеют место равенства
)(
1
log)())(,( apappIpXpXG A
Aa
A ⋅∑
∈
==◊↑ E , (4)
)()(),(),( apIappAGXpXG AA
Aa
AA ⋅∑
∈
==↑ . (5)
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2013, № 2 129
Таким образом, из выражений (4) и (5) видно, что (после построения
распределения вероятностей Ap ) для вычисления значений ),( XpXG A↑
и ))(,( pXpXG A ◊↑ уже не играют никакой роли все точки пространства
),( pX , не принадлежащие множеству A. Поэтому вместо громоздких обо-
значений ),( XpXG A↑ , ))(,( pXpXG A ◊↑ и )||,( XppXE A↑ можно спо-
койно пользоваться обозначениями ),( ApAG , ),( ppXG A ◊ и )||,( AppXE .
Так что наше предположение 2 в применении к преобразованию ограниче-
ние разнообразия можно вместо (2) выразить равенством
=−◊== ),(),()||,()|,( AAA pAGppXGppXEApXE
)(
)(log)( ap
apap
A
A
Aa
⋅∑
∈
= . (6)
2. Иллюстрация. С помощью графической иллюстрации покажем, что
мера )||,( AppXE обладает всеми свойствами, которыми должно обладать
количество внешней информации )|,( ApXE , вызывающей ограничение
разнообразия. Такая иллюстрация представлена на рис. 2. Здесь приняты те
же допущения, что
и для предыдущей
иллюстрации [2, разд.
9, п. 4, рис. 1]: множе-
ство X состоит из
трех элементов: =X
},,{ 321 xxx= , а множе-
ство A — из двух:
},{ 32 xxA = . Иначе
говоря, преобразование
ограничение разнооб-
разия свелось к исклю-
чению из рассмотрения
элемента 1x .
На рис. 2 показа-
но, какой при этих
условиях будет зави-
симость величины
)||,( AppXE от числа
)( 1xp (между вероятностями )( 1xp , )( 2xp и )( 3xp имеется уже известная
нам связь: )()( 32 xpxp = и )(1)()( 132 xpxpxp −=+ ). Ради сравнения здесь
же показана зависимость от числа )( 1xp разности ),(),( ApAGpXG − . На
диаграмме видно, что поведение величины )||,( AppXE характерно следу-
ющими особенностями:
• При условии 0)( 1 =xp имеет место .0)||,( =AppXE Это хорошо
согласуется с интуитивными ожиданиями, поскольку представляется понят-
Рис. 2. Мера внешней информации )||,( AppXE в пользу
гипотезы Ap против гипотезы p (информации преобра-
зования ограничение разнообразия) как функция числа
)( 1xp . Для сравнения приведена зависимость разности
),(),( ApAGpXG − от того же числа )( 1xp
-1
-0,5
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
5
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9В
не
ш
ня
я
м
ер
а
ин
ф
ор
ма
ци
и
дл
я
пр
ео
бр
аз
ов
ан
ия
"о
гр
ан
ич
ен
ие
р
аз
но
об
ра
зи
я" E (X, p|| p A)
G (X, p) – G (A, p A)
p(x1)
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2013, № 2 130
ным, почему для исключения из рассмотрения элемента, имеющего нулевую
вероятность, требуется нулевое количество информации.
• Величина )||,( AppXE всюду неотрицательна и возрастает с увели-
чением числа .)( 1xp Это, по-видимому, тоже хорошо согласуется с ожида-
ниями: чем более вероятным является исключаемый из рассмотрения эле-
мент, тем больше для этого нужно информации.
• Наконец, имеется асимптотическое свойство, о котором мы уже го-
ворили выше: с приближением вероятности )( 1xp исключаемого из рас-
смотрения элемента 1x к единице величина )||,( AppXE стремится к бес-
конечности (это можно доказать).
Таким образом, мы получили серьезное свидетельству в пользу того, что
число )||,( AppXE действительно измеряет количество внешней информа-
ции )|,( ApXE , необходимой для преобразования ситуации неопреде-
ленности, описываемой пространством вероятностей ),( pX , в ситуацию,
описываемую пространством ),( ApA . Но это предположение все еще ос-
тается не доказанным. И способ, позволяющий получить его формальное до-
казательство, пока не найден. Но в следующем разделе и в четвертой части
статьи будут предложены, хотя и неформальные, но фактически окончатель-
ные аргументы в пользу этого предположения.
12. КОЛЛАПС СИТУАЦИИ НЕОПРЕДЕЛЕННОСТИ
Это преобразование сводится к тому, что из всего множества возможностей,
связанных с данной ситуацией, выделяется одна возможность, в результате
чего сама ситуация неопределенности прекращает свое существование. Но
такое выделение одной возможности может произойти двумя различными
способами — внутренним и внешним. Эти способы настолько непохожи, что
между ними на первый взгляд даже трудно увидеть что-либо общее.
Так, коллапс ситуации внутренним способом сводится к тому, что на-
ступает событие, ранее представлявшее собой одну из возможностей данной
ситуации неопределенности. Это может произойти как самопроизвольно,
так и в результате чьего-то сознательного выбора. Примером самопроиз-
вольного коллапса может служить наступление случайного события в ве-
роятностной ситуации. Но выделение одной возможности может прои-
зойти также внешним способом — в виде крайнего частного случая
преобразования ограничение разнообразия.
1. Коллапс по внутренней причине. Предположим, что по-прежнему
рассматривается вероятностная ситуация, описываемая пространством ве-
роятностей ),( pX . Если в данной ситуации произошло внутреннее событие
,Xb∈ это значит, что:
1) сама ситуация неопределенности, описываемая пространством веро-
ятностей ),( pX , перестала существовать (коллапсировала);
2) вместо ситуации неопределенности появилась новая информация,
которая содержится в событии b.
Сразу же возникает вопрос о количестве этой новой информации. Ответ
состоит в том, что оно совпадает с количеством собственной информации
)(bpI события b, которое согласно [1, (2)] характеризуется выражением
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2013, № 2 131
)(
1
log)(
bpbpI = . (7)
Теперь рассмотрим следующий вопрос: что такое собственная ин-
формация события b, т.е. что именно измеряет число, названное количест-
вом собственной информации )(bpI события b?
До сих пор широко распространено представление (первоначально воз-
никшее под влиянием взглядов Норберта Винера), что информация аналогична
физической энтропии. Как мы уже отмечали в первой и второй частях статьи,
это представление нанесло значительный вред кибернетике, поскольку оно
мешало изучать свойства информации. В частности, оно помешало увидеть
следующее важное отличие между информацией и физической энтропией. Об
информации всегда можно спросить «о чем эта информация, к чему она отно-
сится?», в то время как по отношению к энтропии такой вопрос не имеет ни-
какого смысла.
Если задать вопрос «к чему относится собственная информация слу-
чайного события?», то могут быть получены даже два ответа (отражающие
два фундаментальные свойства меры собственной информации). Вот эти от-
веты:
1. Собственная информация случайного события — это вся информа-
ция, которую данное событие может содержать о чем угодно (т.е. обо всех
других событиях, явлениях или состояниях).
2. Собственная информация случайного события — это полная ин-
формация об этом событии, т.е. это вся та информация, которую нужно
было бы получить из каких угодно источников, для того чтобы убедиться,
что из всех возможных событий произошло именно данное событие.
Заметим, что эти два ответа в точности соответствуют двум темам этого
раздела — коллапс ситуации по внутренней и внешней причине.
Рассмотрим более подробно, что означает первый ответ. Интуитивно
кажется довольно естественным считать, что если априорная вероятность
этого события была велика, то факт, что это событие произошло, несет
в себе мало информации (о других событиях, явлениях или состояниях), по-
скольку и так было почти ясно, что оно произойдет. И обратно, если про-
изошло очень маловероятное событие, то мы обычно склонны считать, что
получили много информации (так как это может привести к существенной
переоценке вероятностей каких-то других событий).
Теперь рассмотрим второй ответ. Если мы еще не знаем, что данное со-
бытие произошло, но вероятность этого велика, то для того чтобы убедиться
в совершившемся факте, потребуется не очень много информации. Другое
дело, если вероятность данного события очень мала. Тогда для того чтобы
убедиться в том, что оно все же произошло, потребуется гораздо больше
информации.
2. Коллапс по внешней причине. Превращение внешней информа-
ции во внутреннюю. В первой части статьи был сделан вывод о том, что
информация, количество которой измеряется выражениями [1, (2)] и (10),
является внутренним свойством ситуации неопределенности, описываемой
пространством вероятностей ),( pX . И на этом основании упомянутую ин-
формацию мы назвали внутренней.
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2013, № 2 132
Однако особенность преобразования коллапс ситуации неопределен-
ности состоит в том, что с ним можно связать также внешнюю информацию,
количество которой можно затем сравнить с количеством внутренней инфор-
мации (7). Действительно, выделение одной возможности может произойти
также внешним способом — в виде крайнего частного случая преобразования
ограничение разнообразия. Так, иногда может случиться, что информации,
поступившей извне, достаточно для уменьшения всего множества возмож-
ностей до одного элемента.
Именно такую возможность подразумевал второй ответ на вопрос
«К чему относится собственная информация случайного события?». Но
в свете сказанного выше из этого ответа должно следовать, что
Количество внешней информации, необходимой для того, чтобы в простран-
стве вероятностей ),( pX выделить единственную точку b, должно совпасть
с количеством внутренней информации .)(bpI
Иначе говоря, в данном случае внешняя информация должна превра-
титься во внутреннюю. Этот вывод является одновременно ожидаемым
и неожиданным. И в любом случае он заслуживает проверки. Из раздела 11
нам уже известен способ вычисления количества внешней информации, свя-
занной с преобразованием ограничение разнообразия. Теперь мы применим
этот способ к нашему крайнему частному случаю, названному коллапсом по
внешней причине.
3. Информационный анализ коллапса по внешней причине. Итак,
предположим, что ограничение разнообразия свелось к тому, что теперь
вместо множества X мы должны рассматривать его одноэлементное под-
множество ,bA = где .Xb∈ Для того чтобы узнать, сколько для этого тре-
буется внешней информации, достаточно в равенство (6) вместо A подста-
вить {b}. В результате получим
)( }{||,}){|,( bppXEbpXE = . (8)
Для нахождения же числа )( }{||, bppXE можно снова воспользоваться ра-
венством (6), выполнив ту же подстановку и учтя два очевидных равенства
1)(}{ =bbp и 0}{},{ )( =bpbG . В результате получим
)()(
1
log}{,}{||,}){|,( )()( bpI
bppbpXGbppXEbpXE ==◊== . (9)
Итак, упомянутый выше ожидаемо-неожиданный вывод оказался вер-
ным: количество внешней информации }){|,( bpXE оказалось равным ко-
личеству внутренней информации )(bpI . Этот результат важен по следую-
щим двум причинам. Во-первых, он дает основание утверждать, что
предложенный выше (в виде предположения 2) подход к нахождению мер
внешней информации, опирающийся на новое понятие ситуация заблужде-
ния, выдержал очень серьезное испытание. Во-вторых, упомянутый вывод
фактически представляет собой первое свидетельство полной согласован-
ности между мерами внутренней и внешней информации.
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2013, № 2 133
Заметим, что коллапс ситуаций неопределенности (как внутренний, так
и вызванный внешними причинами) представляет собой главный механизм
создания новой информации. Сколько именно информации таким образом
создается, зависит от двух условий: 1) типа и характера исходной ситуации
неопределенности и 2) того, какая именно из возможностей осуществилась.
13. МЕРЫ ВНУТРЕННЕЙ И ВНЕШНЕЙ ВЗАИМНОЙ ИНФОРМАЦИИ
Сейчас мы рассмотрим две меры внутренней и внешней информации, кото-
рые играют очень важную роль в теории информации. Вместе с тем, может
показаться, что наши представления о двух видах отношения информации
к ситуациям неопределенности, выражаемых словами «внутренняя и внеш-
няя информация», в данном случае оказываются несостоятельными. В са-
мом деле, в теории информации эти две меры вводятся таким образом, что
ту из них, которую по нашей терминологии следует именовать мерой внеш-
ней взаимной информации, не связывают ни с каким преобразованием си-
туаций неопределенности.
Нарушая принятый в этой статье порядок изложения, мы здесь посту-
пим точно так же, т.е. сначала построим эти две меры чисто формально.
И только после этого рассмотрим вопрос о том, с каким преобразованием
действительно связана мера внешней взаимной информации.
Пусть задана двумерная ситуация неопределенности (как в [2, разд. 8]),
которая описывается (тоже двумерным) пространством вероятностей
),( πYX × (где π есть некоторое РВ, действующее на произведении дис-
кретных множеств YX × ).
1. Мера внутренней взаимной информации. Для всяких Xx∈
и Yy∈ число
)()(
),(log)(
2 yx
yxyxI
ππ
π
π prpr ⋅=↔
1
(10)
будем называть количеством внутренней взаимной информации между
элементами x и y в пространстве ),( πYX × .
Заметим, что x и y являются не элементами пространства ),( πYX × ,
а элементами соответственно первой и второй его проекций ),( π1prX
и ),( π2prY [2, разд. 8]. Вообще говоря, проекции (двумерного) пространства
вероятностей ),( πYX × не являются независимыми, а мера )( yxI ↔π изме-
ряет степень зависимости между элементами x и y этих проекций.
Число )( yxI ↔π измеряет количество: 1) той информации, которую
элемент x содержит об элементе y ; 2) той информации, которую элемент
y содержит об элементе x . Можно показать, что для всех Xx∈ и Yy∈
имеют место соотношения
),()()()( yxIyIxIyxI ππππ −+=↔
21 prpr , (11)
)()()( yIyxIxI πππ 21 prpr ≤↔≥ . (12)
А из неравенств (12) следует, что число )( yxI ↔π не может превысить ни
количество )(xI π1pr собственной информации элемента x , ни количество
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2013, № 2 134
)(yI π2pr собственной информации элемента y . Это хорошо согласуется
с теми разъяснениями по поводу свойств количества собственной информа-
ции, которые были даны выше (разд. 12, п. 1).
2. Мера внешней взаимной информации. Рассмотрим информацион-
ную функцию
YXyxIyxI ×◊↔=↔ •• )(),()( ππ a . (13)
Очевидно, что функция )( •• ↔πI является случайной величиной относи-
тельно действующего на множестве YX × распределения π . Математиче-
ское ожидание этой случайной величины мы здесь обозначим )|( πYXE ↔
и назовем количеством внешней взаимной информации между проек-
циями (двумерной) ситуации неопределенности, описываемой пространст-
вом вероятностей :),( πYX ×
)()(
),(log),()()|(
2),( yx
yxyxIYXE
YXyx ππ
ππππ
prpr
E
⋅⋅∑
∈
•• =↔=↔
1
. (14)
В теории информации эта мера получила несколько неудачных названий
и еще более неудачных обозначений. Так, в книгах [4, 5] она была названа сред-
ней взаимной информацией ([4, разд. 2.9], [5, разд. 2.2]), а в книгах [6, 7] — даже
взаимной информацией (или информацией связи) двух случайных величин ([6,
§ 1.1], [7, § 6.2]). Последнее название является вообще неадекватным, поскольку
эта мера относится не к величинам, а к событиям. А все традиционные обозна-
чения этой меры были совершенно неудовлетворительными по двум разным
причинам. Во-первых, отсутствовал подходящий для создания обозначений
язык. Во-вторых, не было возможности учесть отличие между внутренними
и внешними мерами ввиду отсутствия этих понятий.
Величина )|( πYXE ↔ играет очень важную роль в теории информа-
ции. Можно показать, что имеет место равенство, аналогичное (11):
),(),(),()|( ππππ YXGYGXGYXE ×−+=↔ 21 prpr . (15)
Кроме того, очевидно, справедливы также неравенства
),()|(),( πππ 21 prpr YGYXEXG ≤↔≥ , (16)
аналогичные неравенствам (12).
Однако необходимо помнить, что, несмотря на вышесказанное, вели-
чины )( yxI ↔π и )|( πYXE ↔ отнюдь не аналогичны, так как относятся
к разным категориям. И в то время как количество внешней взаимной ин-
формации всегда неотрицательно:
0)|( ≥↔ πYXE , (17)
количество внутренней взаимной информации )( yxI ↔π может быть как
положительным, так и отрицательным.
14. С КАКИМ ПРЕОБРАЗОВАНИЕМ СИТУАЦИЙ НЕОПРЕДЕЛЕННОСТИ
СВЯЗАНА МЕРА ВНЕШНЕЙ ВЗАИМНОЙ ИНФОРМАЦИИ?
Для ответа на этот вопрос необходимо сначала рассмотреть одно очень
простое преобразование ситуаций неопределенности.
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2013, № 2 135
1. Переход к совместному рассмотрению двух информационно не-
зависимых ситуаций неопределенности. Рассмотрим две ситуации неоп-
ределенности, (дискретные) множества возможностей которых обозначим
X и .Y И предположим, что вместо отдельного рассмотрения событий
,Xx∈ относящихся к первой ситуации, и событий ,Yy∈ относящихся ко
второй, мы хотим рассматривать комплексные события, которые могут изо-
бражаться парами вида ),( yx . Переход к рассмотрению пар ),( yx в качест-
ве новых комплексных событий означает, что теперь вместо двух ситуаций
неопределенности мы фактически рассматриваем одну двумерную ситуа-
цию, множеством возможностей которой является произведение YX ×
множеств X и .Y
Теперь наша задача состоит в том, чтобы суметь эту новую ситуацию
описать. Когда обе исходные ситуации неопределенности являются вероят-
ностными, способы построения описания новой ситуации известны (но эти
способы различны в зависимости от того, имеется ли информационная связь
между этими ситуациями, или они независимы). Пока мы займемся описанием
новой (двумерной) ситуации при условии независимости исходных ситуаций.
Пусть на множествах X и Y действуют распределения вероятностей
(РВ) p и q соответственно. Тогда обе рассматриваемые ситуации могут
быть исчерпывающим образом описаны двумя пространствами вероятностей
),( pX и ),( qY . Предположим, что нет никаких сведений о связи между рас-
пределениями p и ,q так что эти ситуации можно считать независимыми.
Теория вероятностей предлагает способ, позволяющий найти описание но-
вой (двумерной) ситуации (однако не предлагает ни подходящий для этих
целей язык, ни систему обозначений). Если исходные ситуации между собой
не связаны (информационно независимы), то на множестве YX × должно
действовать РВ ,qp× которое характеризуется следующим условием: для
любых Xx∈ и Yy∈ событие ),( yx может произойти с вероятностью
,),( yxqp× определяемой равенством
)()(),( yqxpyxqp ⋅=× . (18)
Таким образом, мы имеем полное описание новой ситуации неопреде-
ленности (которая тоже является вероятностной). Она характеризуется рас-
пределением вероятностей ,qp× действующим на множестве возможностей
YX × . Формальным описанием такой ситуации является (двумерное) про-
странство вероятностей ),( qpYX ×× . Распределение qp× будем называть
произведением пары распределений ),( qp , а пространство вероятностей
),( qpYX ×× естественно назвать произведением пространств ),( pX
и ),( qY (взятых в указанном порядке).
Легко убедиться в том, что произведение qp× пары распределений
),( qp обладает следующими свойствами:
pqp =×1pr , qqp =×2pr , (19)
где 1pr и 2pr — операции проектирования, описанные во второй части
статьи [2, разд. 8, п. 1].
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2013, № 2 136
2. Две интерпретации меры внешней взаимной информации. Пусть
имеется некоторая двумерная ситуация неопределенности, которая описы-
вается пространством вероятностей ),( πYX × (где π — есть РВ, действу-
ющее на произведении дискретных множеств YX × ). Рассмотрим две прое-
кции этой ситуации, описания которых имеют вид ),( π1prX и ),( π2prY
[2, разд. 8, п. 1]. И рассмотрим новую (двумерную) ситуацию неопределен-
ности, которая может быть описана пространством вероятностей
),( ππ 21 prpr ××YX . Ввиду сказанного выше, проекции этой новой ситуа-
ции информационно независимы. Следовательно, условием информацион-
ной независимости проекций исходной ситуации, описываемой пространст-
вом ,),( πYX × является равенство
πππ 21 prpr ×= . (20)
Теперь можно предложить две интерпретации меры внешней взаимной
информации )|( πYXE ↔ (14). Применив соглашение (18) к выражению
(14), получим следующее:
),(
),(log),()|(
2),( yx
yxyxYXE
YXyx ππ
πππ
prpr ×
=↔ ⋅∑
∈ 1
. (21)
Иначе говоря, если вспомнить выражение [2, (37)], то можно написать
),(),()|( πππππ YXGYXGYXE ×−×◊×=↔ 21 prpr , (22)
где
),(
1log),(),(
2),( yx
yxYXG
YXyx ππ
ππππ
prpr
prpr 21 ×
=×◊× ⋅∑
∈ 1
(23)
— мера неопределенности ситуации заблуждения, описываемой простран-
ством двойных вероятностей ),( πππ 21 prpr ×◊×YX [2, разд. 10, п. 1]. Эта
ситуация такова: в действительности на множестве YX × действует РВ ,π
но тот, кто принимает некое решение, думает, что действующим является
распределение ππ 21 prpr × . Это значит, что имеет место равенство
)||,()|( ππππ 21 prpr ××=↔ YXEYXE . (24)
Из этого равенства и вытекают упомянутые две интерпретации меры
)|( πYXE ↔ . Эти интерпретации настолько важны, что заслуживают от-
дельного неформального разъяснения.
1. Согласно равенству (24) количество внешней взаимной информации
)|( πYXE ↔ совпадает с количеством )||,( πππ 21 prpr ××YXE внешней
информации в пользу гипотезы о том, что верным описанием рассматривае-
мой ситуации является пространство вероятностей ,),( πYX × против гипо-
тезы о том, что ее нужно описывать пространством вероятностей
),( ππ 21 prpr ××YX (проекции которого независимы).
2. Согласно равенству (24) и предположению 2 [2, разд. 10, п. 2] число
)|( πYXE ↔ измеряет также количество внешней информации, которое
необходимо для преобразования ситуации неопределенности, описываемой
пространством ),( ππ 21 prpr ××YX (с независимыми проекциями) в си-
туацию, описываемую пространством ),( πYX × .
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2013, № 2 137
15. ПОНЯТИЕ ИНФОРМАЦИОННОГО КАНАЛА
Обычно, когда говорят о передаче информации (или о передаче сигналов),
имеют в виду передачу по специально созданному для этой цели каналу свя-
зи. Такое понимание объясняется известными постановками классической
теории информации. Однако с момента создания теории информации прошло
более чем полстолетия. И сейчас уже можно с уверенностью утверждать, что
сигналы, несущие информацию, передаются не только по искусственно соз-
данным каналам связи, и не только по каналам, созданным биологической эво-
люцией, но что подобные процессы передачи происходят повсеместно в нашей
Вселенной.
Иначе говоря, информация во Вселенной не пассивна. Она ничем не
напоминает тот мрачный образ, который лелеял Норберт Винер и который
существенным образом повлиял на его понимание созданной им новой нау-
ки — кибернетики. Под информацией, существующей во Вселенной, Винер
понимал некий реликт прошлого, неспособный обновляться или увеличи-
вать свое количество, а способный только постепенно деградировать. Вот
цитата из его книги «Кибернетика и общество»:
«Тот факт, что информация может быть потеряна, а не приобре-
тена, является, как мы видели, кибернетической формой второго за-
кона термодинамики… Подобно тому, как в замкнутой системе энтро-
пия [термодинамическая] стихийно стремится к увеличению, точно
так же информация стремится к уменьшению» [8, с. 87, 123].
Сейчас уже ясно, что представления Винера об информации, как следует
из приведенного отрывка, фактически противоречили идеям и результатам
Шеннона. В самом деле, очевидно, что введенные Шенноном понятия источ-
ника информации и канала связи имеют аналоги в Природе. Так, источником
информации может служить любое событие во Вселенной, любое изменение
состояния какого-либо объекта, любое столкновение или трансмутация эле-
ментарных частиц (в частности, распад элементарной частицы или, наоборот,
ее рождение). Всё это случаи, когда создается новая информация. А посколь-
ку такого (или какого-нибудь другого) рода события происходят все время
и повсеместно, это значит, что и новая информация создается постоянно
и бесперебойно. Из сформулированного же во второй части настоящей статьи
достаточного условия наличия информационной связи [2, разд. 9, п. 1] следу-
ет, что эта новая информация может передаваться в другие системы.
Поэтому появилась необходимость в выяснении механизма (или спосо-
ба) возникновения информационных связей, а также механизма функциони-
рования этих связей (заметим, что упомянутое достаточное условие ника-
ких сведений об этих двух механизмах не содержит).
1. Информационный канал и информационная связь. Итак, каким
же образом устанавливается информационная связь между двумя система-
ми? Для этого достаточно, чтобы существовал информационный канал
(в дальнейшем иногда будем говорить просто «канал»), по которому могли
бы передаваться сигналы (содержащие информацию) от одной из этих сис-
тем к другой. Уже из одной только этой фразы следует, что информацион-
ный канал и информационная связь — не одно и то же. Имеются два прин-
ципиальных отличия:
1) канал материален, а информационная связь — нет;
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2013, № 2 138
2) канал действует только в одну сторону (в направлении от причины
к следствию), а информационная связь — в обе стороны.
Известно, что передача сигналов (а, следовательно, и информации) —
это материальный процесс. С другой стороны, до сих пор никто и никогда
не обратил внимания на то, что верно и обращение этой фразы:
Любой материальный процесс всегда связан с передачей некоторых сигна-
лов и, следовательно, с передачей информации. Это значит, что любой
материальный процесс является информационным каналом.
Это совершенно новый поворот. И он требует осмысления. Рассмотрим
примеры.
Любая частица, летящая в космосе, несет в себе информацию о разно-
образных вещах. Тип частицы, ее импульс, энергия, заряд — это далеко не
полный список того, что можно о ней узнать, располагая соответствующей
аппаратурой. А некоторая часть содержащейся в данной частице информа-
ции может быть (при определенных условиях) использована для того, чтобы
кое-что узнать и о тех процессах, которые породили эту частицу (или отпра-
вили ее в путь). Далее, пронизывающие всю Вселенную электромагнитные
волны — свет, радиоволны, рентгеновское и гамма-излучение — все это
примеры материальных процессов, непосредственно связанных с передачей
информации из одной части Вселенной в другую (специалисты активно ис-
пользуют эти процессы для изучения Вселенной).
Одним из наиболее впечатляющих достижений XX века явилось при-
обретение знаний о том, что происходило с нашей Вселенной буквально
с самого момента ее рождения (по современным представлениям это случи-
лось около 14-и миллиардов лет назад). Пристальное изучение происходив-
ших тогда процессов и привело к современным представлениям об основ-
ных этапах развития Вселенной. Этой теме посвящена обширная
литература, в том числе и популярная. Здесь можно сослаться на следующие
книги: [9–13] (особенно впечатляют названия книг С. Вайнберга «Первые
три минуты» [9] и Дж. Нарликара «Неистовая Вселенная» [10]).
Однако снова всплывает уже поднимавшийся ранее вопрос: как вообще
возможно изучение (да еще пристальное!) тех процессов, которые происходи-
ли так давно? Ведь, как мы уже отмечали в [2, разд. 9, п. 1], с точки зрения со-
временной философии науки и теории познания научное изучение прошлого
невозможно. Конечно, буквально так никто не говорит! Однако до сих пор
считается неоспоримой истиной, что научные знания можно получать, только
опираясь на принцип причинности (опора на этот принцип считается призна-
ком научности). С другой стороны, какие-либо выводы о прошлом таким спо-
собом получить нельзя, поскольку настоящее не может быть причиной
прошлого. Отсюда непосредственно следует выделенное выше утверждение.
Тем не менее изучение прошлого нашей Вселенной дало поразитель-
ные результаты. Сейчас уже известно, каким образом и почему возникло
вещество (сначала наиболее элементарная его разновидность — водород);
как возникли звезды первого поколения, которые со временем превратились
в автоматические “заводы” по переработке водорода в другие химические
элементы; как появлялись звезды дальнейших поколений, в области притя-
жения которых уже могли образовываться планеты; как возникали галакти-
ки и их скопления; и, наконец, с чего все это началось — с Большого Взры-
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2013, № 2 139
ва. Почему оказалось возможным все это узнать? Потому, что все упомяну-
тые процессы и порождаемые ими сигналы, которые (после их доставки)
были доступны непосредственному наблюдению, несли в себе информацию
(так что их изучение позволяло часть этой информации превращать в зна-
ния).
И все же, приведенные примеры (несмотря на их вселенский масштаб)
могут показаться недостаточно убедительной иллюстрацией к утверждению,
что любой материальный процесс связан с передачей информации, посколь-
ку эти примеры ни в малейшей степени не отражают представления о “лю-
бом материальном процессе”. Поэтому теперь рассмотрим несколько при-
меров из повседневной жизни.
Никого не удивишь заявлением, что в разнообразных приборах (таких
как микроскоп, телескоп, барометр, весы, термометр) происходит передача
информации.
Несомненно, найдутся желающие внести в это заявление поправку, ут-
верждая, что приборы не передают, а “перерабатывают” информацию. В такой
поправке есть доля истины. Но в этой статье нет возможности разобраться
в том, какова эта доля.
Однако лишь немногие были бы готовы признать, что информация пере-
дается от прошлых состояний к будущим даже в таких машинах, как мясо-
рубка, соковыжималка, стиральная машина, мельница. Предположим, напри-
мер, что в некой лаборатории проводится химический эксперимент. Можно
ли сказать, что результат только что прошедшей химической реакции содер-
жит в себе информацию об исходном состоянии системы, которое существо-
вало до реакции? Разумеется! Ведь зная результат реакции, можно довольно
много (но, обычно, не все) узнать об исходном состоянии системы. А это бы-
ло бы совершенно невозможно, если бы в упомянутом результате реакции
объективно не содержалась информация об исходном состоянии!
Еще пример: процесс приготовления пищи. Легко понять, что этот про-
цесс тоже связан с передачей информации. Действительно, конечный ре-
зультат (т.е. готовая пища) несет в себе информацию об исходных продук-
тах. А сами исходные продукты несут информацию о тех условиях,
в которых они выросли (лес, поле, огород), или о тех процессах, с помощью
которых они были произведены.
Из всего этого следует, что сама Вселенная является гигантским клуб-
ком переплетенных между собой информационных каналов. А примеры,
подтверждающие наш тезис, можно было бы приводить без конца. Однако
в этом нет необходимости, поскольку очевидно, что любая материальная
система содержит огромное количество информации, в том числе — ин-
формацию о своем прошлом и о своем будущем. Но для того чтобы система
содержала информацию о своем прошлом, необходимо, чтобы информация
непрерывно передавалась из прошлого в будущее. И это действительно про-
исходит, независимо от того, какие материальные процессы идут внутри
системы. Фактически информация передается именно через эти материаль-
ные процессы (какими бы они ни были).
В первой части статьи (разд. 1) отмечено, что широко распространенные
представления об информации сводятся к тому, что информацию отождеств-
ляют либо со сведениями («Словарь по кибернетике» [14], «Энциклопедия ки-
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2013, № 2 140
бернетики» [15]), либо с текстами (концепция так называемой “переработки
информации” в компьютерах). Для тех, кто придерживается таких представле-
ний, все вышесказанное может звучать дико. Действительно, им должно быть
совершенно непонятно, какие такие сведения или, тем более, тексты могут
передаваться из прошлого в будущее, скажем, в процессе приготовления пи-
щи. Но рассмотренные выше примеры как раз и демонстрируют еще раз всю
нелепость упомянутых распространенных представлений об информации.
2. Две роли материальных процессов. Итак, из сказанного следует,
что любой материальный процесс исполняет одновременно как бы две роли.
Первая из этих ролей широко известна, так как ею уже давно заинтересова-
лась наука (физика, химия, биология). Эта роль и подразумевается всегда,
когда говорят о материальном процессе. В самом общем понимании эта
роль состоит в следующем:
1. Любой материальный процесс переводит некоторую материальную сис-
тему из одного состояния в другое.
Но нас здесь будет интересовать как раз вторая роль материальных
процессов. В наиболее общей формулировке эта роль состоит в следующем:
2. Новое состояние, в которое перешла материальная система в результа-
те некоторого материального процесса, может рассматриваться как сиг-
нал, несущий как информацию об этом новом состоянии системы, так
и информацию (обычно неполную) о причинах перехода системы в новое
состояние (в частности, об исходном ее состоянии).
Необходимо заметить, что в связи с этой второй ролью материальных
процессов мы оказались в совершенно незнакомой ситуации, не имевшей
прецедентов в истории науки. Действительно, первое, что сразу становится
очевидным, — это то, что о способах изучения материальных процессов
в этой второй роли неизвестно буквально ничего. Начинать придется с нуля,
а точнее — с выработки хотя бы некоторых базовых понятий.
Заметим, что здесь намечается целый пласт совершенно новых сложней-
ших теоретических и экспериментальных проблем, решением которых (наряду
с большим количеством других чисто кибернетических проблем) уже давно
должна была заняться кибернетика, вместо того чтобы заниматься не своим
делом — разработкой компьютеров.
Основным из искомых базовых понятий является понятие информа-
ционного канала.
Информационный канал — это произвольный материальный процесс
(материальная система или среда — естественная или искусственная), ко-
торый рассматривается исключительно с точки зрения возможности переда-
чи сигналов, а также возможности изучения информационных свойств про-
цесса передачи (т.е. характера помех, влияющих на качество передачи).
Эта формулировка, конечно, не претендует на то, что она способна
полностью раскрыть смысл нового понятия информационный канал. Следо-
вательно, ее нельзя рассматривать и как определение этого понятия. И во-
обще, ни о каких определениях пока речь идти не может, поскольку сейчас
с понятием информационный канал еще связано слишком много неясностей.
Эти неясности могут быть устранены только в процессе дальнейшей рабо-
ты — работы, объем которой даже трудно себе представить.
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2013, № 2 141
Что это за работа? Необходимо уже сейчас наметить хотя бы некоторые
задачи. Пока имеет смысл выделить всего три главные задачи.
1. Научиться описывать разнообразные информационные каналы,
а также выяснить, возможна ли единая схема такого описания.
2. Разработать систему информационных мер, отражающих свойства
каналов.
3. Дать примеры описания некоторых конкретных каналов и примене-
ния информационных мер.
Заметим, что первые две из трех выделенных задач фактически пред-
ставляют собой сложнейшие проблемы. С другой стороны, нетрудно сооб-
разить, что в классической теории информации был достаточно подробно
рассмотрен лишь один (очень узкий) частный случай обеих проблем. Дейст-
вительно, изучавшиеся в теории информации каналы связи являются специ-
фической разновидностью информационных каналов. Поэтому можно было
бы подумать, что для решения упомянутых проблем удастся использовать
опыт теории информации.
Однако на пути использования такого опыта имеется одно препятствие,
которое кажется непреодолимым. Главная трудность состоит в следующем.
Наивно было бы рассчитывать на то, что информационные свойства упомя-
нутых материальных систем и процессов удастся описать на том языке —
вероятностном, — который использовался в теории информации для опи-
сания каналов связи. Действительно, хорошо известно, что в Природе вероят-
ностные ситуации (в точном значении этих слов) встречаются крайне ред-
ко — чаще всего возникают ситуации неопределенности неизвестных
и неизученных типов. Это значит, что возможность корректного применения
теории вероятностей для описания разнообразных ситуаций неопределеннос-
ти может возникать только в исключительных случаях. С другой стороны, мы
уже показали, что нельзя изучать информацию, не рассматривая какие-либо
ситуации неопределенности. Сказанное в полной мере относится и к информа-
ционным свойствам каналов. Но в таком случае мы приходим к выводу, что
проблема изучения информационных каналов не может быть решена без
развития соответствующих разделов теории ситуаций неопределенности.
К счастью выяснилось, что проблема нахождения подхода к формаль-
ному описанию информационных каналов для своего решения не требует
каких-то новых радикальных идей. Действительно, как показано в работе
[16], всякий информационный канал можно рассматривать как некий пучок
ситуаций неопределенности (как бы растущий из множества возможных
состояний на входе этого канала). Поэтому для получения языка, пригодно-
го для формального описания информационных каналов, достаточно суметь
формально описать два понятия: пучок и ситуация неопределенности.
В работе [16] было показано, что для формального описания первого из них
вполне подходит математическое понятие семейства. А предложенному
автором универсальному способу описания разнообразных ситуаций не-
определенности посвящена большая серия статей. Этот способ сводится
к понятию пространство неопределенности [17, 18].
*****
В следующей (заключительной) части статьи будут рассмотрены два
преобразования информации, связанные с информационными каналами, —
индукция и вынуждение ситуаций неопределенности на выходе канала.
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2013, № 2 142
ЛИТЕРАТУРА
1. Дидук Н.Н. Меры внутренней и внешней информации (на примере веро-
ятностных ситуаций неопределенности). Часть I // Системні дослідження та
інформаційні технології. — 2012. — № 3 — С. 107–124.
2. Дидук Н.Н. Меры внутренней и внешней информации (на примере вероятностных
ситуаций неопределенности). Часть II // Системні дослідження та інформа-
ційні технології. — 2012. — № — С. 94–110.
3. Дидук Н.Н. Прообразы пространств неопределенности. Простые подпро-
странства // Системні дослідження та інформаційні технології. — 2005. —
№ 1 — С. 127–142.
4. Фано Р. Передача информации. Статистическая теория связи. — М.: Мир,
1965. — 440 с.
5. Галлагер Р. Теория информации и надежная связь. — М.: Советское радио,
1974. — 720 с.
6. Чисар И., Кёрнер Я. Теория информации. — М.: Мир, 1985. — 400 с.
7. Стратонович Р.Л. Теория информации. — М.: Советское радио, 1975. — 424 с.
8. Винер Н. Кибернетика и общество (The Human use of Human Beings). — М.:
ИЛ, 1958. — 200 с.
9. Вайнберг С. Первые три минуты. Современный взгляд на происхождение
Вселенной. — М.: Энергоиздат, 1981. — 208 с.
10. Нарликар Дж. Неистовая Вселенная. — М.: Мир, 1985. — 256 с.
11. Новиков И.Д. Как взорвалась Вселенная. — М.: Наука. Гл. ред. физ.-мат. лит.,
1988. — 176 с.
12. Хокинг С. Краткая история времени. От Большого Взрыва до черных дыр. —
Санкт-Петербург: Амфора, 2003. — 270 с.
13. Хокинг С., Млодинов Л. Кратчайшая история времени. — Санкт-Петербург:
Амфора, 2007. — 180 с.
14. Словарь по кибернетике. — Киев: Гл. ред. УСЭ, 1979. — 624 с.
15. Энциклопедия кибернетики. — Киев: Гл. ред. УСЭ, 1974. Том 1. — 608 с.
Том 2. — 624 с.
16. Дидук Н.Н. Информационные каналы как развитие представлений о каналах
связи // Системні дослідження та інформаційні технології. — 2007. —
№ 1. — С. 129–141.
17. Дидук Н.Н. Пространства неопределенности и изоморфизм // Системні дослі-
дження та інформаційні технології. — 2002. — № 4. — С. 128–143.
18. Дидук Н.Н. Пространства неопределенности. Энтропия и теорема кодирования //
Кибернетика. — 1984. — № 2. — С. 69–73.
Поступила 12.06.2010
Статтю надруковано під редакцією автора
|