Інформаційні канали як розвиток уявлень про канали зв’язку
The general notion of information channel is built, which represents an extension of the notions of a communication channel (information theory) and transitional probability distribution (probability theory) to all the types of uncertainty. The examples of information channels, including ideal and f...
Gespeichert in:
| Datum: | 2018 |
|---|---|
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Russisch |
| Veröffentlicht: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2018
|
| Online Zugang: | https://journal.iasa.kpi.ua/article/view/127967 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | System research and information technologies |
| Завантажити файл: |  |
Institution
System research and information technologies| _version_ | 1867334339975446528 |
|---|---|
| author | Diduk, N. N. |
| author_facet | Diduk, N. N. |
| author_institution_txt_mv | [
{
"author": "N. N. Diduk",
"institution": null
}
] |
| author_sort | Diduk, N. N. |
| baseUrl_str | http://journal.iasa.kpi.ua/oai |
| collection | OJS |
| datestamp_date | 2018-04-11T11:13:01Z |
| description | The general notion of information channel is built, which represents an extension of the notions of a communication channel (information theory) and transitional probability distribution (probability theory) to all the types of uncertainty. The examples of information channels, including ideal and fictitious ones are presented. Three main applications of information channels are considered. |
| first_indexed | 2025-07-17T10:23:57Z |
| format | Article |
| fulltext |
© Н.Н. Дидук, 2007
Системні дослідження та інформаційні технології, 2007, № 1 129
УДК 519.7
ИНФОРМАЦИОННЫЕ КАНАЛЫ КАК РАЗВИТИЕ
ПРЕДСТАВЛЕНИЙ О КАНАЛАХ СВЯЗИ
Н.Н. ДИДУК
Построено общее понятие информационного канала, представляющее собой
расширение на все типы неопределенности понятий канала связи (теория ин-
формации) и переходного распределения вероятностей (теория вероятностей).
Даны примеры каналов, в том числе — идеального и фиктивного. Кратко рас-
смотрены три основных способа применения информационных каналов.
Теория неопределенности представляет собой попытку создания математи-
ческого аппарата для работы с ситуациями неопределенности произвольной
природы, с которыми мы сталкиваемся при решении разнообразных практи-
ческих задач. Имеется только два ограничения, налагаемых на упомянутые
ситуации неопределенности: 1) должно быть известно множество возмож-
ностей, с которыми связана данная ситуация; 2) множество возможностей
должно иметь не более чем счетную мощность (такое множество мы ради
краткости называем дискретным).
Главная особенность теории неопределенности состоит в том, что ее
математический аппарат позволяет с ситуациями неопределенности произ-
вольной природы решать ВСЕ задачи, аналогичные тем, которые для ситуа-
ций вероятностного типа могут быть решены средствами теории вероятно-
стей и теории информации. Для решения таких задач используются
имеющиеся в теории неопределенности расширения на все типы неопреде-
ленности соответствующих понятий теории вероятностей и теории инфор-
мации: распределение вероятностей, источник сообщений, количество ин-
формации, энтропия, мера неопределенности.
Так, расширением понятий распределение вероятностей (РВ) и ис-
точник сообщений является пространство неопределенности (ПН) [1].
Расширениями теоретико-информационных понятий энтропия, количество
информации и мера неопределенности являются одноименные (но от-
личающиеся от них) понятия теории неопределенности [1, 2]. Однако
центральное понятие теории информации — канал связи — пока не имело
такого расширения. Известно, что в качестве простейших каналов связи
(дискретных каналов без памяти) использовались переходные распределения
вероятностей с одного конечного множества на другое. Но и понятие
переходного распределения пока не имело расширения в теории неопреде-
ленности.
В статье предпринимается попытка построить расширение обоих упо-
мянутых понятий — канала связи и переходного распределения (ПР) — на
все типы неопределенности. Построенное расширение названо информаци-
онным каналом. Показано, что возможно большое разнообразие типов ин-
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2007, № 1 130
формационных каналов и что каналы могут использоваться несколькими
различными способами (не только в качестве каналов связи).
1. ПОНЯТИЕ ШЕННОНОВСКОГО КАНАЛА
Для получения первоначального представления о том, что такое информа-
ционный канал, желательно прежде всего понять, какой объект можно по-
строить в теории неопределенности непосредственно из переходного рас-
пределения. Пусть X и Y — два дискретных множества и пусть s есть ПР
с множества X на Y . Известно, что всякое такое ПР можно представить как
семейство вида
)( |)|( Xxxss ∈= • (1)
(с множеством индексов X ). Для каждого Xx∈ элемент )|( xs • семейства
s представляет собой распределение вероятностей на множестве Y (а для
каждого Yy ∈ число )|( xys обычно называют условной вероятностью эле-
мента y относительно элемента x ). Сказанное выше означает, что )|( xs •
представляет собой функцию, определенную на Y . Подчеркнем также специ-
ально, что x есть не аргумент этой функции )|( xs • , а параметр. Т.е., если
Xzx ∈, и zx ≠ , то )|( xs • и )|( zs • — разные (вообще говоря) функции.
Опираясь на выражение (1), можно перевести ПР s на язык про-
странств неопределенности. Более конкретно, каждому РВ )|( xs • (элементу
семейства s ) можно поставить в соответствие некоторое шенноновское про-
странство. Напомним, что понятие шенноновского ПН было получено в
результате погружения вероятностного типа неопределенности в простран-
ства неопределенности [1]. Погружение свелось к тому, что каждому РВ q ,
заданному на дискретном множестве Y , ставится в соответствие ПН
)( , qY ∑ , которое названо шенноновским пространством ([1], с. 130).
Критерий свертывания (КС) q∑ пространства )( , qY ∑ имеет вид
)(yqg
Yy
dfq ∑
∈
=∑ ⊙ )(yg ◊ Y
+R (2)
(где { }∞+∪= ++ RR df ; ⊙ — операция умножения на +R , а Y
+R — множе-
ство всех отображений Y в +R ).
Теперь с помощью выражений (1) и (2) покажем, какой объект можно
построить из переходного распределения s . Если ПР s представлено в виде
семейства (1), то каждый его элемент )|( xs • (являющийся распределением
вероятностей на множестве Y ) можно подставить в выражение (2) вместо
распределения q , в результате чего получится КС )|( xs ⋅∑ по множеству Y ,
имеющий такую конструкцию:
)|()|( xysg
Yy
xs ∑
∈
=∑ ⋅ ⊙ )(yg ◊ Y
+R . (3)
Информационные каналы как развитие представлений о каналах связи
Системні дослідження та інформаційні технології, 2007, № 1 131
Таким образом, каждому элементу )|( xs • семейства s мы поставили в
соответствие пространство Шеннона вида )( )|(, xsY ⋅∑ . Всему же семейству
s тогда будет соответствовать следующее семейство критериев свертыва-
ния (по одному и тому же множеству Y ):
∑s )( |)|( Xxxsdf ∈∑= ⋅ . (4)
Полученное семейство ∑s будем называть шенноновским каналом
(или каналом Шеннона) перехода от множества X к множеству Y . По-
нятие шенноновского канала нетрудно обобщить на все типы неопреде-
ленности.
2. ОБЩЕЕ ПОНЯТИЕ ИНФОРМАЦИОННОГО КАНАЛА
Пусть X — дискретное множество. Это значит, что имеет место |||| N≤X ,
где N — множество натуральных чисел, а || X и || N — мощности (карди-
нальные числа) множеств X и N . И пусть задано семейство )( | XxYx ∈
(с множеством индексов X ) дискретных множеств xY . Вводимое ниже оп-
ределение информационного канала опирается на следующее утверждение
(которое приводится без доказательства).
Лемма. Объединение
x
x
YY
X
df ∪
∈
= (5)
дискретного семейства )( | XxYx ∈ дискретных множеств является дискрет-
ным множеством. ■
Пусть задано ПН ( )S,X . Напомним, что результат )( 0fS применения
критерия свертывания S к нулевой функции Xxf df ◊= 00 (которая для
каждого Xx∈ принимает значение 0)(0 =xf ) обозначается 〉〈0S ([1],
с. 137):
0)(0 0
Xx
fdf ∈
==〉〈 SSS .
ПН ( )S,X называется нормальным, если его критерий S сохраняет нуль,
т.е. имеет место равенство 00 =〉〈S ([2], с. 74) (в этом случае и сам критерий
S иногда называем нормальным). Важное свойство каждого нормального
пространства ( )S,X состоит в том, что для любой функции Xf +∈R выпол-
няется 0)( ≥fS . Действительно, ввиду того что функция 0f является наи-
меньшим элементом множества X
+R , для любой функции Xf +∈ R должно
выполняться неравенство 0)()( 0 =≥ ff SS .
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2007, № 1 132
Определение 1. Пусть задано (дискретное) семейство )( | XxYx ∈ не-
пустых дискретных множеств и для каждого Xx∈ задан сохраняющий нуль
критерий свертывания xV по множеству xY . Тогда семейство
)( | Xxx
df ∈= VV (6)
будем называть информационным каналом (или просто каналом) над па-
рой алфавитов ),( YX (где Y определяется из (5)), или каналом перехода
от множества X к множеству Y . Сами множества X и Y будем называть
соответственно входным и выходным алфавитами канала V. ■
Примем еще следующее обратное соглашение: если задан некоторый
канал V и его входной алфавит X , то будем предполагать, что канал V все-
гда может быть представлен в виде семейства (6), а каждому элементу се-
мейства V, который соответствует индексу Xx∈ , присваивается стандарт-
ное обозначение xV (не исключающее возможность и других обозначений).
Множество всех каналов над парой алфавитов ),( YX будем обозначать
),( YXV .
Пусть задан канал V над парой алфавитов ),( YX и некоторый элемент
Xx∈ . Согласно определению 1 областью действия критерия xV является
не выходной алфавит Y канала V, а множество xY (которое ввиду дефини-
ции (5) может не совпадать с множеством Y ). Иначе говоря, область опре-
деления критерия xV не всегда совпадает с множеством Y
+R . Это может вы-
звать некоторые неудобства при записи выражений с участием каналов.
Поэтому мы сейчас покажем, как можно раз и навсегда избавиться от этих
неудобств за счет несущественного сужения понятия канала.
3. НЕСУЩЕСТВЕННОЕ СУЖЕНИЕ ПОНЯТИЯ КАНАЛА
Если задан канал V над парой алфавитов ),( YX , то для каждого Xx∈ с
помощью критерия свертывания xV можно построить КС xCV по множе-
ству Y (т.е имеющий область определения Y
+R ). Пусть задана функция
Yg +∈ R . Тогда положим
)()( x
x
df
x Ygg ↓=VCV , (7)
где xYg ↓ есть сужение функции g на множество xY . Таким образом, с
помощью канала V можно определить новый канал вида )( | Xxx
df ∈= CVCV
такой, что для каждого Xx∈ областью действия критерия свертывания
xCV является множество Y .
Информационные каналы как развитие представлений о каналах связи
Системні дослідження та інформаційні технології, 2007, № 1 133
Определение 2. Пусть задан канал )( | Xxdf ∈= xVV над парой алфави-
тов ),( YX (где xV для каждого Xx∈ есть КС по множеству xY , а множе-
ство Y определяется из соотношения (5)). Замыканием канала V будем
называть такой канал )( | Xxx
df ∈= CVCV , что для каждого Xx∈ КС xCV
имеет вид
)( x
x
df
x Ygg ↓= VCV ◊ Y
+R . (8)
Канал будем называть замкнутым, если он совпадает со своим замыка-
нием. ■
Очевидно, что для всякого канала ),( YXV∈V имеют место соотноше-
ния ),( YXV∈CV и CVCCV= .
Замечания. 1. Следует помнить, что в результате замыкания кана-
ла V, т.е. превращения его в канал CV, некоторые (или все) из состав-
ляющих его КС xCV могут, как следует из соотношения (8), приобрести
непустые области безразличия ([3], разд. 7), состоящие из тех элементов y
множества Y , для которых значение )(yg каждой функции Yg +∈R в точ-
ке y не влияет на результат )(gxCV применения функционала xCV к функ-
ции g .
2. В известной монографии «Универсальная алгебра» П. Кон ввел по-
нятие оператора замыкания на данном множестве ([4], гл. II, п. 1). Наше
понятие замыкания канала связано с операторами замыкания по Кону сле-
дующим образом. Пусть задано некоторое множество ),( YXVW ⊂ кана-
лов над парой алфавитов ),( YX . Замыканием W множества W назовем
объединение множества W с множеством замыканий всех каналов из W .
Очевидно, что тогда будет также выполняться включение ),( YXVW ⊂ .
Теперь легко показать, что отображение WW множества )( ),( YXVB
в себя (где )(VB есть булеан, т.е. множество всех подмножеств, множества
V ) является оператором замыкания в множестве ),( YXV (по Кону). ■
Понятие замкнутого канала, конечно, уже общего понятия канала, но,
как легко видеть, такое сужение является несущественным, так как каждый
канал общего вида можно превратить в замкнутый. Поэтому дальше, говоря
о каком-нибудь канале, будем обычно (если не оговорено противное) пред-
полагать, что он замкнут.
4. ПРИМЕРЫ КАНАЛОВ
1. Шенноновский канал. Этот пример уже рассмотрен выше: выраже-
ния (3) и (4) выясняют структуру шенноновского канала ∑s (где s — пере-
ходное распределение с множества X на множество Y ).
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2007, № 1 134
2. Канал Заде. Напомним, что согласно функции погружения FSϑ в
пространства неопределенности нечетких множеств (выражение (7) из ра-
боты [1]) каждому нечеткому подмножеству множества Y с функцией при-
надлежности Y]1,0[∈µ соответствует пространство Заде )( , µSUPY , где
КС µSUP имеет вид
)(sup yg
Yy
df µµ
∈
=SUP ⊙ )(yg ◊ Y
+R (9)
(там же, выражение (6)).
В теории нечетких множеств, кажется, еще не успели ввести понятие
переходной функции принадлежности, аналогичное понятию переходного
распределения вероятностей. Поэтому мы здесь даем его определение.
Пусть задано некоторое семейство вида
)( |)|( Xxx ∈= •λλ , (10)
аналогичное семейству (1), но такое, что каждый его элемент )|( x•λ пред-
ставляет собой функцию принадлежности некоторого нечеткого подмноже-
ства (дискретного) множества Y . Такое семейство λ будем называть пере-
ходной функцией принадлежности с множества X на множество Y .
Снова подчеркнем, что в каждой функции принадлежности )|( x•λ из се-
мейства λ буква x есть не аргумент, а параметр. Аргументами же являют-
ся элементы y множества Y , а число )|( xyλ можно рассматривать как ус-
ловную степень принадлежности (множеству Y ) элемента y относительно
элемента x .
В соответствии с функцией погружения FSϑ нечетких множеств каж-
дой функции принадлежности )|( x•λ из семейства λ должно соответство-
вать пространство Заде )( )|(, xY ⋅λSUP , критерий свертывания )|( x⋅λSUP ко-
торого, как следует из выражения (9), должен иметь вид
)|(sup)|( xyg
Yy
x λλ
∈
=⋅SUP ⊙ )(yg ◊ Y
+R . (11)
Всему же семейству λ тогда будет соответствовать следующее семейство
критериев свертывания (по одному и тому же множеству Y ):
SUPλ )( |)|( Xxxdf ∈= ⋅λSUP . (12)
Нетрудно убедиться, что семейство SUPλ представляет собой (замкну-
тый) канал перехода от множества X к множеству Y . Семейства вида
SUPλ мы будем называть каналами Заде.
3. Экспоненциальный суммирующий канал. В работе [5] в качестве
примера рассматривалось экспоненциальное суммирующее ПН вида
Информационные каналы как развитие представлений о каналах связи
Системні дослідження та інформаційні технології, 2007, № 1 135
)( *, qY ∑ (где q — по-прежнему есть РВ на множестве Y ). КС *q∑ этого
пространства описывается выражением
)(* yqg
Yy
dfq ∑
∈
=∑ ⊙ )(2 yg ◊ Y
+R (13)
([5], выражение (19)). Пространство )( *, qY ∑ интересно тем, что демонст-
рирует возможность довольно необычной ситуации — когда знание задан-
ного на множестве Y распределения вероятностей q отнюдь не означает,
что на этом множестве имеет место вероятностная ситуация неопределен-
ности в традиционном понимании (которая, как мы знаем, описывается
шенноновским пространством )( , qY ∑ , а не пространством )( *, qY ∑ ).
Действительно, наиболее характерными особенностями ситуации неоп-
ределенности чаще всего считаются те, которые определяют возможности и
условия для отыскания нужного нам элемента (например, в процессе так
называемого свободного поиска или при игре в отгадывание). Но, как легко
показать, вся специфика любой задачи свободного поиска сводится к спосо-
бу определения полных затрат, т.е. того, каким образом полные затраты
зависят от тех процедур поиска, которые порождаются заданной стратегией
поиска. Кроме того, практически теми же самыми способами определения
полных затрат характеризуется и процесс дешифруемого или префиксного
кодирования.
Легко понять, что при поиске в шенноновском пространстве )( , qY ∑ и
в экспоненциальном пространстве )( *, qY ∑ , а также при кодировании того и
другого пространства, способы определения полных затрат существенно
различны (чтобы в этом убедиться, достаточно сравнить выражения (1) и
(13)). Это различие проявляется и в том, что энтропия )( *
2 , qYH ∑ (по осно-
ванию 2) экспоненциального пространства )( *, qY ∑ , имеющая вид
2)( )(, )( *
2 yqYH
Yy
q ∑
∈
=∑ (14)
([5], выражение (20)), совсем непохожа на энтропию шенноновского про-
странства )( , qY ∑ ([1], выражение (13)).
Экспоненциальный канал строится аналогично тому, как строились ка-
налы Шеннона и Заде. Пусть снова s — переходное распределение вероят-
ностей с множества X на множество Y . Тогда для каждого Xx∈ можно
построить экспоненциальное ПН )( *, )|( xsY ⋅∑ , критерий свертывания кото-
рого * )|( xs ⋅∑ имеет вид
)|(* )|( xysg
Yy
xs ∑
∈
=∑ ⋅ ⊙ )(2 yg ◊ Y
+R . (15)
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2007, № 1 136
А семейство
∑*s )( |* )|( Xxxsdf ∈∑= ⋅ (16)
является, очевидно, (замкнутым) каналом перехода от множества X к мно-
жеству Y . Этот канал и будем называть экспоненциальным суммирую-
щим каналом.
4. Ассоциированные каналы. Пусть задано некоторое (непустое) дис-
кретное множество K критериев свертывания по множеству X , сохра-
няющих нуль. Тогда для каждого K∈S имеем нормальное ПН вида ( )S,X .
Пусть теперь Ki — тождественное отображение множества K на себя.
Тогда, как нетрудно видеть, функция Ki (если ее представить как семейст-
во), является замкнутым каналом перехода от множества K к множеству
X . Будем говорить, что канал Ki ассоциирован с множеством K (или с
элементами множества K ).
5. Канал, ассоциированный с распределениями вероятностей. На-
помним, что множество всех распределений вероятностей на (дискретном)
множестве X мы обозначаем )(XP . Пусть задано некоторое непустое дис-
кретное множество )(XQ P⊂ распределений вероятностей на множестве
X . В этом случае для каждого Qq ∈ имеем шенноновское ПН )( , qX ∑ . А
семейство
∑Q )( | Qqqdf ∈∑= (17)
представляет собой канал над парой алфавитов ),( XQ . Будем говорить, что
канал ∑Q ассоциирован с распределениями вероятностей из Q . Заметим,
что подобные каналы используются (для описания условий наблюдения) в
математической статистике при решении, например, задач проверки ги-
потез (в этом случае элементы множества Q называются статистически-
ми гипотезами).
6. Канал, ассоциированный с подмножествами. Пусть задано дис-
кретное множество )(XBX ⊂ непустых подмножеств множества X , та-
кое, что
XA
A
=
∈
∪
X
. (18)
Для каждого подмножества X∈A получим бесструктурное ПН ( )AA SUP,
([1], с. 131), КС ASUP которого имеет вид
)(sup xgg
Ax
dfA
∈
=SUP ◊ A
+R . (19)
Ввиду равенства (18) семейство
SUPX )( | X∈= AAdf SUP (20)
Информационные каналы как развитие представлений о каналах связи
Системні дослідження та інформаційні технології, 2007, № 1 137
есть канал перехода от множества X к множеству X . Специально под-
черкнем, что SUPX — незамкнутый канал (хотя можно, конечно, построить
его замыкание). Будем говорить (допуская вольность речи), что канал SUPX
ассоциирован с подмножествами из X .
7. Идеальный канал. Интуитивно подразумевается, что информаци-
онный канал — это математическая модель такого устройства (обладающего
входом и выходом), назначение которого сводится к передаче информации с
входа на выход (мы говорим тогда, что эта информация передается по кана-
лу). Пока у нас еще нет возможности получить ответ на вопрос, как много
этой информации передается по тому или иному каналу. Однако можно по-
казать, что все каналы, рассматривавшиеся в предыдущих примерах, неспо-
собны передавать всю информацию с входа на выход. Иначе говоря, по со-
стоянию на выходе канала (т.е. по заданному элементу выходного алфавита)
невозможно однозначно восстановить состояние на входе канала (т.е. уз-
нать, какому элементу входного алфавита он соответствует). Теперь мы со-
бираемся ответить на вопрос, как должен выглядеть идеальный канал, кото-
рый будет передавать с входа на выход всю информацию.
Пусть задан некоторый элемент x (дискретного) множества X . Рас-
смотрим функционал
)(xffdf
x =1 ◊ X
+R . (21)
Очевидно, что он является возрастающим и что, следовательно, пара
)( , xX 1 есть ПН. Для каждой функции Xf +∈ R имеем равенство
)()( xffx =1 . (22)
А опираясь на (22), легко показать, что пространство )( , xX 1 является нор-
мальным.
Замечание. Подчеркнем, что пространство )( , xX 1 имеет почти мак-
симально возможную область безразличия: каждый элемент Xy ∈ , отлич-
ный от x , является точкой безразличия. ■
Рассмотрим теперь семейство
)( | Xxx
df ∈= 11 , (23)
которое, очевидно, представляет собой (замкнутый) канал над парой алфа-
витов ),( XX . Этот канал будем называть идеальным каналом (или кана-
лом без помех).
Оправдывает ли канал 1 свое название идеального канала и согласуется
ли наше понятие канала без помех с аналогичным понятием теории инфор-
мации? В теории информации канал без помех, как известно, описывается
переходным распределением
)( |)|( Xxxtt df ∈= • (24)
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2007, № 1 138
с множества X на себя, таким, что для каждого Xx∈ распределение
)()|( Xxt P∈• тривиально и характеризуется условием 1)|( =xxt . Теперь
мы можем рассмотреть шенноновский канал ∑ t и выяснить, какое отноше-
ние он имеет к нашему идеальному каналу 1.
Для этого достаточно выбрать произвольный элемент Xx∈ и сравнить
два критерия свертывания: шенноновский КС )|( xt ⋅∑ и КС x1 . Пусть задана
функция Xf +∈ R . Тогда для любого элемента Xu ∈ , отличного от x , имеем
0)|( =xut . Следовательно, в силу выражения (3) получим
)|()()|( xutf
Xu
xt ∑
∈
=∑ ⋅ ⊙ )()( xfuf = . (25)
Сравнивая же выражения (22) и (25), можно сделать вывод, что для каждого
Xx∈ выполняется
x
xt 1=∑ ⋅ )|( . (26)
Следовательно, имеем равенство ∑ t 1= .
Замечание. Во избежание недоразумений напомним об экстенсио-
нальности математики, опирающейся на теорию множеств. Смысл извест-
ной аксиомы теории множеств, которая так и называется аксиома экстен-
сиональности [6] (гл. II, § 1, п. 3), сводится к тому, что два множества,
состоящие из одних и тех же элементов, считаются равными. Функционалы,
так же, как и все остальные функции (в том числе и те, которые представле-
ны в виде семейств), являются множествами (более конкретно — множест-
вами пар). Поэтому не имеет никакого значения, что происхождение и спо-
соб построения двух функционалов )|( xt ⋅∑ и x1 совершенно различны. Их
равенство следует из того, что выражения (22) и (25) дают один и тот же
результат для каждой функции Xf +∈ R . Равенство же каналов ∑ t и 1 гаран-
тировано тем, что для каждого Xx∈ имеет место (26). ■
Так что наше понятие канала без помех, по-видимому, хорошо согласуется с
представлениями, сложившимися под влиянием теории информации, а ка-
нал 1 действительно заслуживает названия идеального.
8. Фиктивные каналы. Рассмотрим разновидность каналов, противо-
положную идеальным каналам, т.е. покажем, какими свойствами должен
обладать канал для того, чтобы он оказался вообще неспособным переда-
вать информацию с входа на выход. Итак, пусть задан некоторый канал
)( | Xxx
df ∈= VV над парой алфавитов ),( YX . И предположим, что канал V
обладает следующим свойством: найдется такой КС T по множеству Y , что
для каждого Xx∈ имеет место TV =x . КС T будем в таком случае назы-
вать реализатором канала V.
Информационные каналы как развитие представлений о каналах связи
Системні дослідження та інформаційні технології, 2007, № 1 139
Иначе говоря, если канал V с входным алфавитом X обладает реали-
затором T , то он должен иметь вид
)( | Xxdf ∈= TV , (27)
из которого должно быть ясно, что никакая информация с входа на выход по
такому каналу передаваться не может. Каналы этого типа (т.е. такие, кото-
рые обладают реализатором) будем называть фиктивными.
Замечание. В двух последних примерах каналов говорилось о возмож-
ности или невозможности передачи информации с входа канала на его вы-
ход. При этом мы не опирались на какой-либо конкретный аппарат, позво-
ляющий измерять передаваемую информацию, а опирались исключительно
на самые общие соображения. Наша аргументация очень близка к той, кото-
рая позволила У.Р. Эшби обосновать в его книге «Введение в кибернетику»
[7] закон необходимого разнообразия (гл. 11). Действительно, фиктивный
канал не способен передавать информацию просто потому, что разнообра-
зие, которое он обеспечивает на своем выходе, равно нулю. ■
Для иллюстрации сказанного применим понятие фиктивного канала к
вероятностному типу неопределенности. Пусть задан шенноновский канал
∑s над парой алфавитов ),( YX . При каких условиях канал ∑s будет фик-
тивным? Ответ очевиден: когда найдется такое РВ )(Yq P∈ , что для лю-
бых Xx∈ и Yy ∈ будет выполняться равенство )()|( yqxys = . В этом слу-
чае шенноновский КС q∑ будет реализатором канала ∑s. Из теории
информации известно, что, действительно, с помощью канала связи, описы-
ваемого таким переходным распределением s , нельзя передать никакую
информацию.
5. СПОСОБЫ ПРИМЕНЕНИЯ ИНФОРМАЦИОННЫХ КАНАЛОВ
Введенное выше понятие информационного канала может применяться в
нескольких направлениях.
Во-первых, каждый канал может рассматриваться как фрагмент фор-
мальной модели некоторой системы связи. Тогда (и только тогда) он играл
бы роль канала связи (в теории информации рассматривались только каналы
связи).
Во-вторых, понятие канала может использоваться при описании задач
принятия решений, в которых перед принятием решений допускается про-
ведение наблюдений (с целью получения дополнительной информации о не-
известном состоянии природы). В этом случае ситуация неопределенности,
связанная с ожидаемым результатом наблюдения, должна зависеть от со-
стояния природы. Иначе говоря, описание полных условий проведения на-
блюдений фактически должно представлять собой семейство ситуаций не-
определенности (с набором возможных состояний природы в качестве
множества индексов семейства). Для формализации такого семейства впол-
не подходит понятие информационного канала. В случае же, если связанная
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2007, № 1 140
с наблюдениями ситуация неопределенности не зависит от состояния при-
роды, проведение таких наблюдений бесполезно, так как это было бы рав-
носильно попытке использования фиктивного канала (см. пример 8).
Наконец, возможно еще одно направление применения каналов: они
могут использоваться как строительный материал, позволяющий конст-
руировать способы описания новых типов неопределенности (более слож-
ных, чем те, которые были взяты за основу). Аналогии можно почерпнуть из
теории вероятностей, где давно уже переходные распределения применяют-
ся в роли строительного материала, или, говоря точнее, — в качестве опе-
раторов, позволяющих одни РВ преобразовывать в другие. Действительно,
пусть заданы: некоторое РВ p на множестве X и ПР s с множества X на
множество Y . Тогда, как известно, из пары ),( sp можно построить два но-
вых распределения вероятностей: 1) двумерное РВ на произведении мно-
жеств YX × и 2) одномерное РВ на множестве Y . Оба эти способа построе-
ния новых РВ заслуживают того, чтобы перенести их на общий аппарат
неопределенности.
Идея такого перенесения вытекает из следующих двух аналогий:
1) множество X , на котором задано РВ p , аналогично шенноновскому ПН
)( , pX ∑ ; 2) а ПР s с множества X на множество Y аналогично шенно-
новскому каналу ∑s . Так что, продолжая аналогию, по-видимому, можно
построить такой математический аппарат, в котором информационные ка-
налы будут играть роль операторов преобразования одних пространств не-
определенности в другие. Однако это уже тема для следующей статьи.
ВЫВОДЫ
Введенное здесь общее понятие информационного канала представляется
важным шагом в развитии теории неопределенности по следующим причи-
нам:
1. Впервые появилась возможность рассмотреть все проблемы связи
более полно, чем это было сделано в теории информации, т.е. сняв требова-
ние о том, что как в источниках сообщений, так и в каналах связи может
существовать неопределенность только вероятностного типа (для этого в
качестве источника сообщений достаточно взять произвольное ПН, а в каче-
стве канала связи — информационный канал)
2. Применение информационных каналов в задачах принятия решений
в роли средства для описания условий наблюдения позволяет расширить
спектр условий, поддающихся описанию, а также унифицировать такие
описания, во всех случаях сводя их только к выбору соответствующего ка-
нала (формальная структура канала может отражать не только его способ-
ность передавать информацию, но и убытки, связанные с проведением на-
блюдений, а также еще ряд других возможных привходящих обстоятельств).
3. Применение информационных каналов в качестве строительного ма-
териала для конструирования способов описания новых типов неопределен-
ности дает возможность существенно расширить ассортимент поддающихся
Информационные каналы как развитие представлений о каналах связи
Системні дослідження та інформаційні технології, 2007, № 1 141
описанию типов. Это касается в первую очередь комбинированных типов
неопределенности со сложной (иерархической) внутренней структурой.
Наиболее важным примером ситуаций такого рода является поливероятно-
стная ситуация, когда известно, что ситуация характеризуется некоторым
распределением вероятностей, но сведения об этом распределении неполны
(или вообще отсутствуют).
ЛИТЕРАТУРА
1. Дидук Н.Н. Пространства неопределенности и изоморфизм // Системні
дослідження та інформаційні технології. — 2002. — № 4. — С. 128–143.
2. Дидук Н.Н. Информационные пространства. Понятия собственной информации
и неопределенности // Кибернетика. — 1986. — № 4. — С. 74–80.
3. Дидук Н.Н. Система морфизмов для пространств неопределенности и ее при-
менение // Системні дослідження та інформаційні технології. — 2003. —
№ 1. — С. 34–47.
4. Кон П. Универсальная алгебра. — М.: Мир, 1968. — 352 с.
5. Дидук Н.Н. Понятие шкалы пространства неопределенности и его применение
// Системні дослідження та інформаційні технології. — 2004. — № 3. —
С. 115–127.
6. Бурбаки Н. Теория множеств. — М.: Мир, 1965. — 456 с.
7. Эшби У.Р. Введение в кибернетику. — М.: Изд. иностр. лит., 1959. — 432 с.
Поступила 07.06.2005
|
| id | journaliasakpiua-article-127967 |
| institution | System research and information technologies |
| keywords_txt_mv | keywords |
| language | Russian |
| last_indexed | 2025-07-17T10:23:57Z |
| publishDate | 2018 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| resource_txt_mv | journaliasakpiua/a4/f1d70115ec173b68db9d9b057a941ea4.pdf |
| spelling | journaliasakpiua-article-1279672018-04-11T11:13:01Z Information channels as a development of notion of communication channels Информационные каналы как развитие представлений о каналах связи Інформаційні канали як розвиток уявлень про канали зв’язку Diduk, N. N. The general notion of information channel is built, which represents an extension of the notions of a communication channel (information theory) and transitional probability distribution (probability theory) to all the types of uncertainty. The examples of information channels, including ideal and fictitious ones are presented. Three main applications of information channels are considered. Построено общее понятие информационного канала, представляющее собой расширение на все типы неопределенности понятий канала связи (теория информации) и переходного распределения вероятностей (теория вероятностей). Даны примеры каналов, в том числе — идеального и фиктивного. Кратко рассмотрены три основных способа применения информационных каналов. Побудовано загальне поняття інформаційного каналу, що являє собою розширення на всі типи невизначеності понять каналу зв’язку (теорія інформації) і перехідного розподілу ймовірностей (теорія ймовірностей). Подані приклади каналів, у тому числі — ідеального та фіктивного. Коротко розглянуто три основні способи застосування каналів. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2018-04-04 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/127967 System research and information technologies; No. 1 (2007); 129-141 Системные исследования и информационные технологии; № 1 (2007); 129-141 Системні дослідження та інформаційні технології; № 1 (2007); 129-141 2308-8893 1681-6048 ru https://journal.iasa.kpi.ua/article/view/127967/122800 Copyright (c) 2021 System research and information technologies |
| spellingShingle | Diduk, N. N. Інформаційні канали як розвиток уявлень про канали зв’язку |
| title | Інформаційні канали як розвиток уявлень про канали зв’язку |
| title_alt | Information channels as a development of notion of communication channels Информационные каналы как развитие представлений о каналах связи |
| title_full | Інформаційні канали як розвиток уявлень про канали зв’язку |
| title_fullStr | Інформаційні канали як розвиток уявлень про канали зв’язку |
| title_full_unstemmed | Інформаційні канали як розвиток уявлень про канали зв’язку |
| title_short | Інформаційні канали як розвиток уявлень про канали зв’язку |
| title_sort | інформаційні канали як розвиток уявлень про канали зв’язку |
| url | https://journal.iasa.kpi.ua/article/view/127967 |
| work_keys_str_mv | AT diduknn informationchannelsasadevelopmentofnotionofcommunicationchannels AT diduknn informacionnyekanalykakrazvitiepredstavlenijokanalahsvâzi AT diduknn ínformacíjníkanaliâkrozvitokuâvlenʹprokanalizvâzku |