Кодирование дискретных источников информации методом Шеннона-Фано

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И  НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное автономное образовательное учреждение  
высшего профессионального образования

«САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ  
АЭРОКОСМИЧЕСКОГО ПРИБОРОСТРОЕНИЯ»

КАФЕДРА ПРИКЛАДНОЙ МАТЕМАТИКИ

ОТЧЕТ О ЛАБОРАТОРНОЙ РАБОТЕ 
ЗАЩИЩЕН С ОЦЕНКОЙ

РУКОВОДИТЕЛЬ

				М.В.Соколовская
должность, уч. степень, звание		подпись, дата		инициалы, фамилия

 

ЛАБОРАТОРНАЯ РАБОТА №4

«Кодирование дискретных источников информации методом Шеннона-Фано» и «Кодирование дискретных источников информации по методики Д.Хаффмана»

ОТЧЕТ ВЫПОЛНИЛ

СТУДЕНТ ГР.	6331К				Е.О.Мишель
			подпись, дата		инициалы, фамилия

 

 

Лабораторная работа №4 «Кодирование дискретных источников информации методом  Шеннона-Фано»

Цель работы

Освоить метод  построения кодов дискретного источника  информации используя конструктивный метод, предложенный К.Шенноном и Н.Фано. На примере показать однозначность раскодирования имеющегося сообщения.

При кодировании  дискретных источников информации часто  решается задача уменьшения избыточности, т.е. уменьшения количества символов, используемых для передачи сообщения по каналу связи, что позволяет повысить скорость передачи за счет уменьшения количества передаваемой информации, а в системах хранения уменьшение избыточности позволяет  снизить требования к информационной емкости используемой памяти.

Для передачи и  хранения информации, как правило, используется двоичное кодирование. Если алфавит A состоит из N символов, то для их двоичного кодирования необходимо слово разрядностью n, которая определяется

n =log₂ N, где значение округляется до верхнего целого числа.

Это справедливо  при использовании стандартных  кодовых таблиц, например, ASCII, KOI-8  и т.п., обеспечивающих кодирование  до 256 символов.

Если в используемом алфавите символов меньше, чем используется в стандартной кодовой таблице, то возможно использование некоторой  другой таблицы кодирования если необходимо передавать или хранить  сообщение, состоящее из символов кириллицы, цифр и семи символов разделителей {«.», «,», «:», «;», «!», « кавычки », «?»} ( всего 50 символов), мы можем воспользоваться  способами кодирования:

• Кодировать каждый символ в соответствии со стандартной кодовой таблицей, например, KOI-8R. По этой таблице n₁ = 8;
• Составить и использовать отдельную кодовую таблицу, это может быть некоторый усеченный вариант стандартной таблицы, не учитывающую возможность кодирования символов, не входящих в передаваемое сообщение, тогда необходимый размер кодового слова n₂ = log₂ N= log₂ 50=6, где значение округляется так же, как и при определении основной формулы разрядности.

Эффективное кодирование базируется на основной теореме Шеннона для каналов без шума, в которой доказано, что сообщения, составленные из букв некоторого алфавита, можно закодировать так, что среднее число двоичных символов на букву будет сколь угодно близко к энтропии источника этих сообщений, но не меньше этой величины.

 

Код строится следующим  образом:

буквы алфавита сообщений  выписываются в таблицу в порядке  убывания вероятностей. Затем они  разделяются на две группы так, чтобы  суммы вероятностей в каждой из групп  были по возможности одинаковы. Всем буквам верхней половины в качестве первого символа приписывается 1, а всем нижним — 0. Каждая из полученных групп, в свою очередь, разбивается  на две подгруппы с одинаковыми  суммарными вероятностями и т. д. Процесс повторяется до тех пор, пока в каждой подгруппе останется  по одной букве.

Можно вычислить среднее количество двоичных разрядов, используемых при кодировании  символов по алгоритму Шеннона-Фано

 

где: A — размер (или объем) алфавита, используемого для передачи сообщения;

 

 

n(a_i) — число двоичных разрядов в кодовой комбинации, соответствующей символу a_i.

n_ср = 4,628325 бит

I_{ср =} ∑ * p(a_i) * n(a_i) , где p(a_i) -  вероятность p, n(a_i) - число двоичных разрядов в кодовой комбинации, соответствующей символу a_i.

n_ср =∑ p(a_i)* n(a_i) ,

где  n_ср – среднее количество двоичных разрядов, используемых при кодировании символов по алгоритму Шеннона-Фано; n(a_i) — число двоичных разрядов в кодовой комбинации, соответствующей символу a_i.

 

 

Т – 0111

Е – 0100

Р – 10011

М – 10110

О – 001

М – 10100

Е – 0100

Т – 0111

Р - 10011

Слово Термометр  «011101001001110110001101000100011110011»

 

Вывод:Освоила метод построения кодов дискретного источника информации используя конструктивный метод, предложенный К. Шенноном и Н. Фано. Показала на примере однозначность раскодирования сообщения.

 

Лабораторная работа №5 «Кодирование дискретных источников информации по методики Д.Хаффмана»

Цель работы

Освоить метод  построения кодов дискретного источника  информации используя методику Д.Хаффмана. На примере показать однозначность раскодирования имеющегося сообщения.

 

 

n_ср = 1,80426 бит

 

Кодовое дерево

Из точки, соответствующей  вероятности 1, направляются две ветви. Ветви с большей вероятностью присваивается символ 1, а с меньшей  — символ 0. Такое последовательное ветвление продолжаем до тех пор, пока не дойдем до каждого символа. Символам источника сопоставляются концевые вершины дерева. Кодовые  слова, соответствующие символам, определяются путями из начального узла дерева к  концевым. Каждому ответвлению влево  соответствует символ 1 в результирующем коде, а вправо — символ 0.

Поскольку только концевым вершинам кодового дерева сопоставляются кодовые слова, то ни одно кодовое слово не  будет  началом другого. Тем самым гарантируется  возможность разбиения  последовательности кодовых слов на отдельные кодовые  слова. Теперь, двигаясь по кодовому дереву сверху вниз, можно записать для каждой буквы соответствующую ей кодовую комбинацию.

 

С – 110

Т – 100

Е – 001

Н – 101

А - 011

Отсюда слово  «стена» будет кодироваться как  - 110100001101011.

Минимальное количество двоичных символов при кодировании  одно знака – 1, следовательно:

 

Вывод:

При исследованиях  в данной лабораторной работе, освоила  метод построения кодов дискретного  источника информации используя, методику Д.Хаффмана. На примере показала однозначность раскодирования имеющегося сообщения.