«информация» и «энтропия»

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Введение 

     Термин  «информация» замечателен тем, что, существующему с давних пор бытовому понятию, К.Шенноном [1] был придан математически точный смысл. Неопределенно-бытовой смысл этого термина уже научного. Теория информации как самостоятельная научная дисциплина была основана американским ученым К.Шенноном в конце 40-х годов 20-го века. Предложенная им теория основывалась на фундаментальном понятии количественной меры неопределенности – энтропии – и связанного с нею понятия – количества информации.

     Информация и энтропия характеризуют сложную систему с точки зрения упорядоченности и хаоса, причем если информация — мера упорядоченности, то энтропия — мера беспорядка. Эта мера простирается от максимальной энтропии, т.е. хаоса, полной неопределенности до высшего уровня порядка.

     Популярность энтропии связана с её важными свойствами: универсальностью и аддитивностью. Со своей стороны, информация оказалась характеристикой степени зависимости некоторых переменных. Её можно сравнить с корреляцией, но если корреляция характеризует лишь линейную связь переменных, информация характеризует любую связь. Тип связи может быть каким угодно и неизвестным исследователю.

     Информацию можно рассматривать как отрицательную энтропию, тогда энтропия и информация смотрятся, как понятия одного уровня. Однако, это не так: в отличие от энтропии информация – общенаучное понятие, приближающееся по своему значению к философской категории.

     В данном реферате мы дадим определения энтропии и информации, рассмотрим этапы развития энтропии, взаимосвязь энтропии и информации, сравнение энтропии с информацией. 
 

Понятия «информация» и «энтропия» в контексте фундаментальной  мировоззренческой  и методологической проблемы

 

     Клаузиус  в 1865 году, исследуя необратимые процессы, ввел понятие об энтропии, в 1872 году Больцман предложил статистическую интерпретацию данной концепции. С тех пор об энтропии написано очень много, более того в наши дни существует устойчивая тенденция, направленная на применение информационно-энтропийного подхода к лингвистическим, биологическим, экономическим и военным системам. Однако, как пишет Дж. Кальоти, «кажется невероятным, чтобы кто-нибудь смог изучить все, что известно об энтропии и неопределенности, и это порождает потребность избавиться от неопределенности, связанной с энтропией, чтобы получить, таким образом, полную информацию о том, что по определению служит мерой неопределенности» [2]. При этом можно встретить различные точки зрения по поводу возможной корреляции между энтропией и информацией, начиная от глубоко укоренившегося скептицизма до убежденности в правильности данной концепции.

     Как уже отмечалось, создателем вероятностного фундамента теории энтропии был австрийский  ученый Людвиг Больцман. Заслуга его  заключалась не только в привлечении аппарата теории вероятностей к исследованию энтропийных процессов. Главная идея Л. Больцмана заключалась в том, что сущность энтропии отражает невидимое состояние микроскопических тел. Способ, описания возможности осуществления определенного распределения взаимодействующих частиц системы, Больцман выразил с помощью введенной им вероятностной формулы энтропии: 

       

     Исходя  из парадигмы современного естествознания, следует, что отправной точкой к познанию понятий «информация» и «энтропия» служит понятие «неопределенность». История развития понятия «неопределенности» долгое время не раскрывала его подлинного смысла, поэтому и в науке, и в практике оно не играло никакой существенной роли. И только с возникновением математической теории информации и установлением одного из самых основных принципов квантовой механики – принципа неопределенности к понятию «неопределенность» стал проявляться все возрастающий интерес. В настоящее время выяснение общенаучного статуса понятия «неопределенность» в основном обусловлено тем, что оно непосредственно выводится из взаимосвязи философских категорий. При этом понятию «неопределенность» прямой противоположностью является понятие «определенность», которая исторически всегда была на первом плане философского анализа. Смысл категории «определенность» сводится к выяснению, насколько богато данное явление различными свойствами, а быть определенным означает обладать определениями [3]. Философский анализ связи категорий определенности и неопределенности позволяет выделить аспект этих понятий, отображающих направленность развития. Процесс развития по Гегелю заключается в выявлении все новых и новых определений, что равнозначно движению от простого к сложному, от абстрактного к конкретному, а значит, от неопределенного к определенному (имеется в виду не абсолютные значения данных категорий, а относительные). При этом многие авторы [3, 4] указывают на связь категории неопределенности с категорией движения. «Признание существования объективных неопределенностей содержится уже в диалектическом понимании движения как нахождения тела и «здесь» и «не здесь». Движение по самой своей сущности есть явная неопределенность, и сущность движения выражается известной диалектической формулой «и да и нет» [4]. «Итак, неопределенность – это понятие, отражающее момент тождества противоположности в противоречивости движения» [5].

     Таким образом, непосредственная связь категории  «неопределенность» с категорией движения дает основание считать подход к определению понятия «неопределенность» через противоречивость движения основным. Использование других категорий диалектики в определении неопределенности необходимо лишь для раскрытия тех или иных дополнительных сторон, граней, смысловых оттенков этого понятия. Учитывая, что энтропия — это теоретико-информационная мера степени неопределенности случайной величины, а мера информации определяется через ее диалектическую противоположность, в качестве которой выступает неопределенность.

     Тогда рассматривая энтропию как меру неопределенности состояния некоторой системы, становится очевидным, что в результате получения  сведений неопределенность системы  может быть уменьшена. Чем больше объем полученных сведений, тем больше будет информация о системе, тем менее неопределенным будет ее состояние. Естественно поэтому количество информации измерять уменьшением энтропии той системы, для уточнения состояния которой предназначены сведения. Следовательно, формула определения информации имеет вид 

     

где: H_max – максимальная энтропия системы;

H_p– энтропия, описывающая состояние системы после получения количества информации, равного p.

     Таким образом, во многих процессах, приводящих к увеличению порядка в структуре  формирующих систем, происходит накопление информации, количество которой определяется с помощью функции 

       

     Однако  следует отметить, что приведенные  определения не удовлетворительны  с принципиальных позиций, так как  они не являются определениями. На вопрос, что такое информация или энтропия, они не отвечают, дают лишь метод  их вычисления. Напомним, что гносеологический подход к выбору типа определения, в соответствии с условием простоты, относится и к выбору целесообразного для решения поставленной задачи определения из эффективных (указывающих способ построения или распознавания определяемых объектов) или неэффективных определений. В данном случае целесообразность диктует применения эффективных определений, удовлетворяющих логическим и методологическим правилам. Учитывая основные правила введения определений, приведем эффективное вербальное определение (определение понятия через другие понятия, смысл или значение; смысл понятия о некотором объекте – это признак этого объекта, отображаемый в понятии; значение понятия – это те предметы, которые входят в его объем [6]) сначала информации, затем энтропии.

     Информация  – это упорядоченное (через принцип  тождества и различия) отображение, позволяющее качественно или  количественно охарактеризовать (раскрыть) объективные свойства как материальных, так и реализованных духовных систем (где виды упорядоченности – это структуры и законы композиции). Конструктивное значение категории системы в данном определении состоит в том, что она выступает средством исследования противоречий и закономерностей их динамики (эволюции) на различных уровнях – относительно существа вещей, с учетом таких их сторон как организация и целостность.

     В заключении отметим, что в контексте  изложенного, подход Больцман к определению  энтропии приобретает общенаучный  характер, применимый для различных  по своей сущности систем. Данное положение способствует пониманию того факта, что через понятия «энтропия» и «информация» стали определяться многие закономерности, при чем не только в микромире, но и в поведении макроскопических систем. В целом учитывая данную концепцию становятся пророческими слова Дж.К. Максвелла о том, что истинная логика нашего мира – правильный подсчет вероятностей. 
 
 
 

Информационная  энтропия 

     Понятие информационной энтропии определено Шенноном для случая дискретных данных. Это - величина, обозначающая количество информации, содержащееся в данном сообщении (или последовательности сигналов).

     По  Шеннону информация, снятая неопределенность. Точнее получение информации - необходимое  условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределённости — уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.

     Информационная  энтропия - мера хаотичности информации или мера внутренней неупорядоченности  информационной системы. Энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении.

     Информационная  энтропия - мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

     Информационная  энтропия - неопределённость появления  какого-либо символа первичного алфавита. При отсутствия информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка) встречаются очень редко, то неопределённость ещё более уменьшается.

     Информационная  энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n) рассчитывается по формуле:

     

     Эта величина также называется средней энтропией сообщения. Величина   называется частной энтропией, характеризующей только i-e состояние.

     Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы (основание 2 выбрано только для удобства работы с информацией, представленной в двоичной форме).

     Представьте, что вы зашли в магазин и  попросили продать вам жевательную  резинку. Продавщица, у которой, скажем, 16 сортов жевательной резинки, находится  в состоянии неопределенности. Она  не может выполнить вашу просьбу без получения дополнительной информации. Если вы уточнили, скажем, - «Orbit», и из 16 первоначальных вариантов продавщица рассматривает теперь только 8, вы уменьшили ее неопределенность в два раза (забегая вперед, скажем, что уменьшение неопределенности вдвое соответствует получению 1 бита информации). Если вы, не мудрствуя лукаво, просто указали пальцем на витрине, - «вот эту!», то неопределенность была снята полностью. Опять же, забегая вперед, скажем, что этим жестом в данном примере вы сообщили продавщице 4 бита информации.

     Ситуация  максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается следующим распределением вероятностей: {1/N, 1/N, … 1/N}.

     Минимальная неопределенность равна 0, т.е. эта ситуация полной определенности, означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0}.

     Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия.

     Энтропия (H) – мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.