«информация» и «энтропия»

     Единицы измерения энтропии:

     - если рассматривается физическая  система с двумя равновероятными  состояниями, тогда в формуле  основание log 2. Единицы измерения  биты.

     - если рассматривается физическая  система с числом n-равновероятных состояний, тогда в формуле основание log10. Единицы измерения диты.

     - если физическая система с  2,7 состояниями, то log е. единицы  измерения ниты.

     На  Рис. 1 показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p, (1-p)). Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны 0,5, нулевое значение энтропии соответствует случаям (p₀=0, p₁=1) и (p₀=1, p₁=0).

     

     Рисунок 1 - Поведение энтропии для случая двух альтернатив

     Количество  информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия).

     Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H.

     При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. H_t + I_t = H.

     

     Рисунок 2 - Связь между энтропией и  количеством информации

     По  этой причине, формулы, которые будут  представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I, т.е. когда речь идет о полном снятии неопределенности, H в них может заменяться на I.

     Сведения  об информационной энтропии необходимы для повышения надёжности передачи сигналов. Именно на неё ориентируются при задании избыточной информации, передаваемой по линии связи. Избыточность - термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же время контрольная сумма применяется для внесения дополнительной избыточности в поток, что позволяет производить исправление ошибок при передаче информации по каналам, вносящим искажения (спутниковая трансляция, беспроводная передача и т. д.).

     Чем меньше вероятность какого-либо события, тем большую неопределенность снимает  сообщение о его появлении и, следовательно, тем большую информацию оно несет.

     Впервые понятия энтропия и информация связал Шеннон в 1948 году. С его подачи энтропия стала использоваться как мера полезной информации в процессах передачи сигналов по проводам. Следует подчеркнуть, что под информацией Шеннон понимал сигналы нужные, полезные для получателя. Неполезные сигналы, с точки зрения Шеннона, это шум, помехи. Если сигнал на выходе канала связи является точной копией сигнала на входе, то это означает отсутствие энтропии. Отсутствие шума означает максимум информации.

     Взаимосвязь энтропии и информации нашло отражение  в формуле:

     H + Y = 1,

     где Н – энтропия, Y – информация.

     Этот  вывод количественно был обоснован  Бриллюэном.

     Исследуя  проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии. Его сенсационные идеи быстро послужили основой разработки двух основных направлений: теории информации, которая использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, и теории кодирования, в которой используются главным образом алгебраические и геометрические инструменты для разработки эффективных шифров.

     Известны  разные определения энтропии:

1. Поворот, превращение, опасное изменение чего-либо; необратимый процесс рассеивания энергии.
2. Направление, движение к беспорядку, хаосу и смерти,
3. В общей теории систем - естественное состояние закрытой системы, стремящейся исчерпать свою энергию и остановиться.

 
 

     Основные  свойства информации и энтропии 

     В простейшем бытовом понимании с  термином «информация» обычно ассоциируются  некоторые сведения, данные, знания и т.п. Информация передается в виде сообщений, определяющих форму и  представление передаваемой информации. Примерами сообщений являются музыкальное произведение; телепередача; команды регулировщика на перекрестке; текст, распечатанный на принтере; данные, полученные в результате работы составленной вами программы и т.д. При этом предполагается, что имеются «источник информации» и «получатель информации».

     Сообщение от источника к получателю передается посредством какой-нибудь среды, являющейся в таком случае «каналом связи». Так, при передаче речевого сообщения  в качестве такого канала связи можно рассматривать воздух, в котором распространяются звуковые волны, а в случае передачи письменного сообщения (например, текста, распечатанного на принтере) каналом сообщения можно считать лист бумаги, на котором напечатан текст.

     Человеку свойственно субъективное восприятие информации через некоторый набор ее свойств: важность, достоверность, своевременность, доступность, «больше-меньше» и т.д. Использование терминов «больше информации» или «меньше информации» подразумевает некую возможность ее измерения (или хотя бы количественного соотнесения). При субъективном восприятии измерение информации возможно лишь в виде установления некоторой субъективной порядковой шкалы для оценки «больше-меньше». При объективном измерении количества информации следует заведомо отрешиться от восприятия ее с точки зрения субъективных свойств, примеры которых перечислены выше. Более того, не исключено, что не всякая информация будет иметь объективно измеряемое количество.

     Чтобы сообщение было передано от источника к получателю необходима некоторая материальная субстанция — носитель информации. Сообщение, передаваемое с помощью носителя — сигнал. В общем случае сигнал — это изменяющийся во времени физический процесс. Та из характеристик процесса, которая используется для представления сообщений, называется параметром сигнала.

     В случае, когда параметр сигнала принимает  последовательное во времени конечное число значений (при этом все они  могут быть пронумерованы), сигнал называется дискретным, а сообщение, передаваемое с помощью таких сигналов — дискретным сообщением. Если же источник вырабатывает непрерывное сообщение (соответственно параметр сигнала — непрерывная функция от времени), то соответствующая информация называется непрерывной. Примеры дискретного сообщения — текст книги, непрерывного сообщения — человеческая речь, передаваемая модулированной звуковой волной; параметром сигнала в этом случае является давление, создаваемое этой волной в точке нахождения приемника — человеческого уха.

     Непрерывное сообщение может быть представлено непрерывной функцией, заданной на некотором интервале. Непрерывное сообщение можно преобразовать в дискретное (такая процедура называется дискретизацией). Из бесконечного множества значений параметра сигнала выбирается их определенное число, которое приближенно может характеризовать остальные значения. Для этого область определения функции разбивается на отрезки равной длины и на каждом из этих отрезков значение функции принимается постоянным и равным, например, среднему значению на этом отрезке. В итоге получим конечное множество чисел. Таким образом, любое непрерывное сообщение может быть представлено как дискретное, иначе говоря, последовательностью знаков некоторого алфавита.

     При анализе информации социального  происхождения на первый план могут выступить такие ее свойства как истинность, своевременность, ценность, полнота и т.д. Их невозможно оценить в терминах «уменьшение неопределенности» (вероятностный подход) или числа символов (объемный подход). Обращение к качественной стороне информации породило иные подходы к ее оценке. При аксиологическом подходе стремятся исходить из ценности, практической значимости информации, т.е. качественных характеристик, значимых в социальной системе. При семантическом подходе информация рассматривается как с точки зрения формы, так и содержания. При этом информацию связывают с тезаурусом, т.е. полнотой систематизированного набора данных о предмете информации. Отметим, что эти подходы не исключают количественного анализа, но он становится существенно сложнее и должен базироваться на современных методах математической статистики.

     Информацию  следует считать особым видом ресурса, при этом имеется в виду толкование «ресурса» как запаса неких знаний материальных предметов или энергетических, структурных или каких-либо других характеристик предмета. В отличие от ресурсов, связанных с материальными предметами, информационные ресурсы являются неистощимыми и предполагают существенно иные методы воспроизведения и обновления, чем материальные ресурсы. В связи с таким взглядом центральными становятся следующие свойства информации: запоминаемость, передаваемость, преобразуемость, воспроизводимость, стираемость.

     А теперь перечислим основные свойства энтропии:

1. Энтропия является неотрицательной вещественной величиной. Это так, поскольку вероятность лежит в интервале от 0 до 1, ее логарифм отрицателен, а значение –pilog pi положительно.
2. Энтропия ограничена сверху значением 1.
3. Энтропия равна 0, только если одно из состояний имеет вероятность, равную 1 (полностью определенный источник).
4. Энтропия максимальна, когда все состояния источника равновероятны. При этом Hmax(UN) = log2 N.
5. Энтропия источника с двумя состояниями изменяется от 0 до 1, достигая максимума при равенстве их вероятностей.
6. Энтропия объединения нескольких независимых источников информации равна сумме энтропий исходных источников.
7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, не учитывая содержательную сторону (семантику) состояний.
8. Энтропия как мера неопределенности согласуется  с экспериментальными психологическими данными. Время безошибочной реакции на последовательность случайно чередующихся равновероятных раздражителей растет с увеличением их числа так же, как энтропия, а при переходе к неравновероятным раздражителям, среднее время реакции снижается так же, как энтропия.

 
 
 
 
 
 
 
 
 
 
 
 
 

     Заключение 

     Подводя итог всему, что было сказано выше, сделаем вывод, что

1. Информация и энтропия характеризуют сложную систему с точки зрения упорядоченности и хаоса, причем если информация — мера упорядоченности, то энтропия — мера беспорядка.
2. Энтропия Шеннона количественно характеризует достоверность передаваемого сигнала и используется для расчета количества информации.                                
3. Полученная единица количества информации, представляющая собой выбор из двух равновероятных событий, получила название двоичной единицы, или бита.

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Список  использованной литературы

     1. Спиркин А.Г. Философия. –М.: Гардарика, 1998.

     2. Кальоти Дж. От восприятия к  мысли –М.: Мир, 1998.

     3. Гегель Г.В. Энциклопедия философских  наук.– М.: Наука, 1977. – Т.1.

     4. Гречанова В.А. Неопределенность  и противоречивость в концепции  детерминизма. — Л.: ЛГУ, 1990.

     5. Готт В.С., Урсул А.Д. Определенность  и неопределенность как категории  научного познания. – М.: Наука, 1971.

     6. Петров Ю.А. Теория познания  – М.: Мысль, 1988.

     7. Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.