Основные энтропийные характеристики СПИ

МИНОБРНАУКИ РОССИИ

Федеральное государственное бюджетное образовательное  учреждение

высшего профессионального образования

«РОССИЙСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ТУРИЗМА И СЕРВИСА»

(ФГБОУ ВПО «РГУТиС»)

 

 

 

 

 

Факультет/филиал                                     Сервиса

Кафедра                                                        Информационные Системы и Технологии                                                                                  

 

 

 

 

 

 

 

 

Реферат

 

«Основные энтропийные характеристики СПИ»

 

 

дисциплина                        Основы построения систем передачи информации

для специальности             230201 Информационные системы и технологии

 

 

 

 

 

 

Работу выполнил:

студент 5 курса, группы ИСЗ-107

Соколенко Антон Александрович

 

 

Работу проверил:

Доц. к.т.н. Карпов Дмитрий Сергеевич

 

 

 

 

 

 

 

 

 

МОСКВА 2012

Содержание

 

Введение 3

1 Энтропия источника дискретных сообщений 4

1.1 Энтропия источника независимых сообщений 4

1.2 Энтропия источника зависимых сообщений 6

2 Избыточность источника сообщений 7

3 Связанные источники сообщений (объединения) 9

4 Энтропия непрерывного источника информации 13

Заключение 15

Список литературы 16

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Введение

 

Основное  внимание в теории информации уделяется  определению средней скорости передачи информации и решению задачи максимизации этой скорости путем применения соответствующего кодирования. Предельные соотношения теории информации позволяют оценить эффективность различных систем связи и установить условия согласования в информационном отношении источника с каналом и канала с потребителем.

Для исследования этих вопросов с общих  позиций необходимо прежде всего  установить универсальную количественную меру информации, не зависящую от конкретной физической природы передаваемых сообщений.

Количество информации в сообщении о некотором событии существенно зависит от вероятности этого события. Вероятностный подход и положен в основу определения меры количества информации.

Вместе с  тем во многих случаях, когда требуется  согласовать канал с источником сообщений, таких сведений оказывается недостаточно. Возникает потребность в характеристиках, которые позволяли бы оценивать информационные свойства источника сообщений в целом. Одной из важных характеристик такого рода является среднее количество информации, приходящееся на одно сообщение.

Энтропия  – это среднее количество информации, приходящееся на одно сообщение источника.

Чем больше энтропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника.

 

 

 

 

 

1 Энтропия источника дискретных сообщений

1.1 Энтропия источника независимых сообщений

 

В простейшем случае, когда все сообщения равновероятны, количество информации в каждом из них одинаково и определяется выражением:

 J (a) = - log P (a) = log m .

При этом среднее  количество информации равно log m.

Следовательно, при равновероятных независимых  сообщениях информационные свойства источника  зависят только от числа сообщений  в ансамбле m.

Однако в  реальных условиях сообщения, как правило, имеют разную вероятность.

Поэтому знание числа сообщений m в ансамбле является недостаточным, необходимо иметь сведения о вероятности каждого сообщения: P (a₁), P (a₂), P (a₃) ,…, P (a_m).

Так как вероятности  сообщений неодинаковы, то они несут различное количество информации: J (a₁) = - log P (a₁).

Менее вероятные  сообщения несут большее количество ин формации и наоборот.

В качестве примера  вычислим энтропию источника сообщений, который характеризуется ансамблем, состоящим из двух сообщений a₁ и а₂ с вероятностями P(a₁)=p и P(а₂)=1-p.

H(a) = - P(a₁)log P(a₁) - P(a₂)log P(a₂) = - p log p – (1-p)log (1-p).

Максимум  энтропии имеет место при p=1/2, то есть когда ситуация является наиболее неопределенной. При p=1 или p=0, что соответствует передаче одного из сообщений, неопределенности отсутствуют. В этих случаях энтропия H(a) равна нулю.

Среднее количество информации, содержащееся в последовательности из n-сообщений, равно: .

Отсюда следует, что количество передаваемой информации можно увеличить не только за счет числа сообщений, но и путем повышения  энтропии источника, т. е. информационной емкости его сообщений.

Обобщая эти  результаты, можно сформулировать основные свойства

энтропии источника независимых  сообщений: 

• энтропия - величина всегда положительная, так  как 

;

• при равновероятных сообщениях, когда:

,

 энтропия максимальна и равна:

 

• энтропия равняется  нулю лишь в том случае, когда  все вероятности 

P(a_t) равны нулю, за исключением одной, величина, которой равна единице;

• энтропия нескольких независимых источников равна сумме  энтропии этих источников:

.

 

 

 

 

 

1.2 Энтропия источника зависимых сообщений

 

Рассмотренные выше источники независимых сообщений  являются простейшим типом источников. В реальных условиях картина значительно усложняется из-за наличия статистических связей между сообщениями. Примером может быть обычный текст, где появление той или иной буквы зависит от предыдущих буквенных сочетаний.

Статистическая  связь ожидаемого сообщения с  предыдущим сообщением количественно оценивается совместной вероятностью P(a_k,a_L) или условной вероятностью P(a_L/a_k), которая выражает вероятность появления сообщения a_L при условии, что известно предыдущее сообщение а_к.

Количество  информации, содержащейся в сообщении  при условии, что известно предыдущее сообщение а_к будет равно:

Среднее количество информации при этом определяется условной энтропией , которая вычисляется как математическое ожидание информации по всем возможным сообщениям a_K и a_L.

Важным свойством  условной энтропии источника зависимых сообщений является то, что при неизменном количестве сообщений в ансамбле источника его энтропия уменьшается с увеличением числа сообщений, между которыми существует статистическая взаимосвязь. В соответствии с этим свойством, а также свойством энтропии источника независимых сообщений можно записать неравенства:

Таким образом, наличие статистических связей между  сообщениями всегда приводит к уменьшению количества информации, приходящейся в среднем на одно сообщение.

2 Избыточность источника сообщений

 

Уменьшение  энтропии источника с увеличением  статистической взаимосвязи можно  рассматривать как снижение информационной емкости сообщений. Одно и то же сообщение  при наличии взаимосвязи содержит в среднем меньше информации, чем  при ее отсутствии.

Иначе говоря, если источник создает последовательность сообщений, обладающих статистической связью, и характер этой связи известен, то часть сообщений, выдаваемая источником, является избыточной, так как она  может быть восстановлена по известным  статистическим связям. По является возможность  передавать сообщения в сокращенном  виде без потери информации, содержащейся в них. Например, при передаче телеграммы мы исключаем из текста союзы, предлоги, знаки препинания, так как они  легко восстанавливаются при  чтении телеграммы на основании известных  правил построения фраз и слов.

Таким образом, любой источник зависимых сообщений, как принято говорить, обладает избыточностью.

Количественное  определение избыточности может  быть получено из следующих соображений. Для того чтобы передать количество информации  J , источник без избыточности должен выдать в среднем k₀=J/H₀ сообщений, а источник с избыточностью k_n=J/H_n сообщений.

Поскольку H_n < H₀ и k_n > k₀ ,то для передачи одного и того же количества информации источник с избыточностью должен использовать большее количество сообщений. Избыточное количество сообщений равно k_n- k₀, а избыточность определяется как отношение:

 .

Величина  избыточности является неубывающей  функцией.

Коэффициент r = H_n/H₀ , называется коэффициентом сжатия.

Он показывает, до какой величины можно сжать  передаваемые сообщения, если устранить  избыточность. Источник, обладающий избыточностью, передает излишнее количество сообщений. Это увеличивает продолжительность  передачи и снижает эффективность  использования канала связи.

Сжатие сообщений  можно осуществить посредством  соответствующего кодирования. Информацию необходимо передавать такими сообщениями, информационная емкость которых  используется наиболее полно. Этому  условию удовлетворяют равновероятные и независимые сообщения.

Если информация передается по каналу связи, в котором  отсутствуют помехи, то избыточность является ненужной. В этом случае при  использовании избыточного сигнала  бесполезно увеличивается время  передачи информации, и она приходит к получателю с запозданием.

Однако практически  все реальные каналы связи имеют  помехи. Наличие помех характерно особенно для протяженных каналов. Если R = 0, то есть все элементы являются информационными, то при искажении  любого символа будем иметь другое сообщение. Если же сигнал избыточный, то часть символов можно использовать для увеличения его помехоустойчивости.

В канале может  быть искажено от одного до нескольких символов. Неизбыточный сигнал ни при  каких условиях не может способствовать обнаружению даже одиночной ошибки, не говоря уже о ее исправлении. для  получения такой возможности  надо обязательно использовать избыточный сигнал. При этом избыточность вводится намеренно в исходный неизбыточный сигнал в количестве, зависящем от конечной цели. Целью является обнаружение  и (или) исправление определенного  количества ошибок. Существует специальная  теория построения избыточных сигналов, называемая теорией помехоустойчивого  кодирования.

 

 3 Связанные источники сообщений (объединения)

 

До сих пор  предполагалось, что источник сообщения  единственен. Однако существует ситуация, когда информация к получателю поступает  от двух или более источников одновременно. В таких случаях говорят, что  источники называются связанными и  называют их объединениями. Степень  связанности источников оценивается  вероятностями появления сообщений  одновременно от нескольких источников.

Пусть первый источник характеризуется ансамблем

Второй источник представлен другим ансамблем

Степень связанности  источников можно охарактеризовать следующей матрицей:

Вероятность одновременного появления сообщений x_i и y_j обозначена p(x_i, y_j). Если появилось сообщение от одного источника, то с определенной вероятностью поступит сообщение от другого источника, если соответствующий элемент в матрице связей ненулевой. Чем большее число вероятностей в матрице отлично от нуля, тем больше связь между источниками.

Если в этой матрице все вероятности p_ij = 0, то источники не являются коррелированными, и сообщения передаются независимо друг от друга. Однако наиболее вероятна ситуация существования связи между источниками. Одним из источников может быть помеха.

Если источников больше двух, можно построить матрицу  для двух источников, которую затем  рассматривать как эквивалентный  источник.

Введем энтропийные  характеристики для объединения. Пусть p(x_i) – априорная вероятность появления сообщения x_i.

Можно говорить об энтропии источника X:

.

Аналогично для  источника Y априорная вероятность появления сообщения p(y_j) и энтропия

.

Если p(x_i, y_j) – вероятность совместного появления сообщений от источников X, Y, то

.

Введем другие характеристики. Условная энтропия определяется следующим образом:

Взаимная энтропия

где p(x_i, · y_j) – взаимная вероятность, которая характеризует обязательное появление сообщений от двух источников одновременно; фактически p(x_i, · y_j) является частным случаем вероятности p(x_i,, y_j).

Можно установить графически или аналитически связь между любой парой введенных энтропийных характеристик.

Таблица.  Графическая связь между энтропийными характеристиками.

Наименование	Обозначение	Соотношение	Иллюстра-тивная диаграмма
Безусловная (априорная)  энтропия			Рис. а)
Условная  энтропия			Рис. б)
Совместная  энтропия			Рис. в)
Взаимная  энтропия			Рис. г)

Рисунок  Энтропийные характеристики.

Связь между различными энтропиями может быть получена аналитически. Выразим, например, H(X,Y) через другие энтропийные характеристики.

Известно, что 

Предварительно  установим связь между совместной, условной и безусловной вероятностями:

Таким образом, формула H(X/Y) = H(X,Y) – H(Y) была получена аналитически.

Относительно  энтропийных характеристик можно  также сказать, что выполняется  соотношение H(X) < H(X/Y),

где H(X/Y) – среднее количество информации, полученное от источника X при условии, что уже получено сообщение от Y; H(X) – среднее количество информации, полученное от источника X независимо от того, получено ли сообщение от другого источника.