Основные подходы к определению понятия «информация». Измерение информации в теории информации и в технике

Недетерминированный подход к понятию информации встречается также достаточно широко. Он состоит в отказе от определения информации на том основании, что оно является фундаментальным, как, например, материя и энергия. Так, например, мы не найдем определения информации и в таком уважаемом справочном издании, как Британская энциклопедия. Определение можно получить лишь косвенным образом через статью "Обработка информации и информационные системы", где говорится, что "... этот термин используют применительно к фактам и суждениям, получаемым в повседневной жизни от других живых существ, из средств массовой информации, из электронных баз данных, а также путем наблюдения явлений окружающей среды".

 

2. Измерение информации в теории информации и технике.

2.1 Теоретические основы измерения информации.

Современная наука о свойствах информации и закономерностях информационных процессов называется теорией информации. Содержание понятия "информация" можно раскрыть на примере двух исторически первых подходов к измерению количества информации: подходов Хартли и Шеннона: первый из них основан на теории множеств и комбинаторике, а второй - на теории вероятностей.

Информация может пониматься и интерпретироваться в различных проблемах, предметных областях по-разному. Вследствие этого, имеются различные подходы к определению измерения информации и различные способы введения меры количества информации.

Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности (упорядоченности), определенности, выбору состояний отображаемой системы.

Если рассматривается некоторая система, которая может принимать одно из n возможных состояний, то актуальной задачей является задача оценки этого выбора, исхода. Такой оценкой может стать мера информации (события).

Мера - непрерывная действительная неотрицательная функция, определенная на множестве событий и являющаяся аддитивной (мера суммы равна сумме мер).

Меры могут быть статические и динамические, в зависимости от того, какую информацию они позволяют оценивать: статическую (не актуализированную; на самом деле оцениваются сообщения без учета ресурсов и формы актуализации) или динамическую (актуализированную т.е. оцениваются также и затраты ресурсов для актуализации информации).

Существуют различные подходы к определению количества информации. Наиболее часто используются следующие два способа измерения информации: объёмный и вероятностный.

Объемный подход. Используется двоичная система счисления, потому что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: намагничено / не намагничено, вкл./выкл., заряжено / не заряжено и др.

Энтропийный (вероятностный) подход. Этот подход принят в теории информации и кодирования. Данный способ измерения исходит из следующей модели: получатель сообщения имеет определённое представление о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределённостей называется энтропией. Энтропия характеризуется некоторой математической зависимостью от совокупности вероятности наступления этих событий.

Количество информации в сообщении определяется тем, насколько уменьшилась эта мера после получения сообщения: чем больше энтропия системы, тем больше степень её неопределённости. Поступающее сообщение полностью или частично снимает эту неопределённость, следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после получения сообщения. За меру количества информации принимается та же энтропия, но с обратным знаком.

Другими, менее известными способами измерения информации являются:

Алгоритмический подход. Так как имеется много различных вычислительных машин и языков программирования, т.е. разных способов задания алгоритма, то для определённости задаётся некоторая конкретная машина, например машина Тьюринга. Тогда в качестве количественной характеристики сообщения можно взять минимальное число внутренних состояний машины, требующихся для воспроизведения данного сообщения.

Семантический подход. Для измерения смыслового содержания информации, т.е. её количества на семантическом уровне, наибольшее признание получила тезаурусная мера (тезаурус - совокупность сведений, которыми располагает пользователь или система), которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение.

Прагматический подход. Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели.

2.2 Измерение информации  в технике.

Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию. Подход к информации как мере уменьшения неопределенности знаний позволяет количественно измерять информацию, что чрезвычайно важно для информатики.

Рассмотрим конкретный пример. Пусть  у нас имеется монета, которую  мы бросаем на ровную поверхность. С  равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орел» или «решка».

Можно говорить, что события равновероятны, если при возрастающем числе опытов количества вы «орла» и «решки» постепенно сближаются. Например, если мы бросим монету 10 раз, то «орел» может выпасть 7 раз, а решка – 3 раза, если монету бросим 100 раз, то «орел» может выпасть 60 раз, а «решка» – 40 раз, если бросим монету 1000 раз, то «орел» может выпасть 530 раз, а «решка» – 470 и т.д. В итоге при очень большой серии опытов количества выпадений «орла» и «решки» практически сравняются.

Перед броском существует неопределенность наших знаний (возможны два события), и, как упадет монета, предсказать  невозможно. После броска наступает  полная определенность, так как мы видим (получаем зрительное сообщение), что монета в данный момент находится в определенном положении (например, «орел»). Это сообщение приводит к уменьшению неопределенности наших знаний в два раза, так как до броска мы имели два вероятных события, а после броска – только одно, то есть в два раза меньше. Говорят, что получено количество информации, равное 1 биту.

Бит является минимальной единицей измерения количества информации, а  следующей по величине единицей является байт, причем

1 байт = 2³ бит = 8 бит

В информатике система образования  кратных единиц измерения количества информации отличается от принятых в большинстве наук. Компьютер оперирует числами не в десятичной системе счисления, а в двоичной, поэтому в кратных    единицах измерения информации используется коэффициент 2ⁿ.

Так, кратные байту единицы измерения количества информации вводятся следующим образом:

1 Кбайт  =  2¹⁰ байт   =  1024 байт;

1 Мбайт  =  2¹⁰ Кбайт = 1024 Кбайт;

1 Гбайт   =  2¹⁰ Мбайт =  1024 Мбайт.

Существует несколько мер информации: синтаксическая мера, семантическая мера и прагматическая мера [2]. Синтаксическая мера – это мера количества информации, которая оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. Семантическая мера служит для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне. Прагматическая мера определяет полезность информации (ценность) для достижения пользователем поставленной цели.

Для измерения информации на синтаксическом уровне вводятся два параметра: объем  информации (данных) – V (объемный подход) и количество информации – I (энтропийный подход).

Объемный подход. При реализации информационных процессов информация передается в виде сообщения, представляющего собой совокупность символов какого-либо алфавита. При этом каждый новый символ в сообщении увеличивает количество информации, представленной последовательностью символов данного алфавита. Если теперь количество информации, содержащейся в сообщении из одного символа, принять за единицу, то объем информации V в любом другом сообщении будет равен количеству символов (разрядов) в этом сообщении. Так как одна и та же информация может быть представлена многими разными способами (с использованием разных алфавитов), то и единица измерения информации (данных) соответственно будет меняться.

Так, в десятичной системе счисления один разряд имеет вес, равный 10, и соответственно единицей измерения информации будет дит (десятичный разряд). В этом случае сообщение в виде n-разрядного числа имеет объем данных V = n дит.

В двоичной системе счисления один разряд имеет вес, равный 2, и соответственно единицей измерения информации будет бит (двоичный разряд). В этом случае сообщение в виде n-разрядного числа имеет объем данных V = n бит.

Создатели компьютеров отдают предпочтение именно двоичной системе счисления, потому что в техническом устройстве наиболее просто реализовать два различных состояния, например: диод открыт или закрыт, конденсатор заряжен или незаряжен и т.п. (Системы счисления рассматриваются в данном пособии в следующем разделе.)

Энтропийный подход. В теории информации и кодирования принят энтропийный подход к измерению информации. Этот подход основан на том, что факт получения информации всегда связан с уменьшением разнообразия или неопределенности (энтропии) системы. Исходя из этого, количество информации в сообщении определяется как мера уменьшения неопределенности состояния данной системы после получения сообщения. Неопределенность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, энтропия системы снизилась, так как для наблюдателя система стала более упорядоченной.

Таким образом, при энтропийном  подходе под информацией понимается количественная величина исчезнувшей  в ходе какого-либо процесса (испытания, измерения и т. д.) неопределенности. При этом в качестве меры неопределенности вводится энтропия Н, а количество информации равно:

I = H_apr – H_aps ,

где H_apr – априорная энтропия о состоянии исследуемой системы или процесса;

H_aps – апостериорная энтропия.

Апостериори (от лат. a  posteriori – из последующего) – происходящее из опыта (испытания, измерения).

Априори (от лат. a  priori – из предшествующего) – понятие, характеризующее знание, предшествующее опыту (испытанию), и независимое от него.

В случае когда в ходе испытания  имевшаяся неопределенность снята (получен конкретный результат, т. е. H_aps = 0), количество полученной информации совпадает с первоначальной энтропией I = H_apr.

Американский ученый К. Шеннон обобщил  понятие меры неопределенности выбора H на случай, когда Н зависит не только от числа состояний, но и от вероятностей этих состояний.

Формула Шеннона:                 _N

                                        I = - S  p_i  log₂  p_i ,

                                                                        _i=1

где p_i – вероятность i-го события.

При равновероятностных выборах формула  Шеннона преобразуется в формулу  Хартли:

I = log ₂ N    или    2^I = N,

где  N – количество равновероятных событий,

        I – количество информации.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Заключение.

Вся жизнь  человека так или иначе связана  с накоплением и обработкой информации, которую он получает из окружающего  мира, используя пять органов чувств – зрение, слух, вкус, обоняние и  осязание. Как научная категория  «информация» составляет предмет изучения для самых разных дисциплин: информатики, кибернетики, философии, физики, биологии, теории связи т. д. Несмотря на это, строгого научного определения, что же такое информация, до настоящего времени не существует, а вместо него используют понятие об информации. Понятие отличается от определений тем, что разные дисциплины в разных областях науки и техники вкладывают в него разный смысл с тем, чтобы оно в наибольшей степени соответствовало предмету и задачам конкретной дисциплины. Имеется множество определений и понятия информации, от наиболее общего философского (информация есть отражение реального мира) до наиболее частного прикладного (информация есть сведения, являющиеся объектом переработки). Вот некоторые из них:

• сообщение, осведомление о положении дел, сведения о чем-либо, передаваемые модели;
• уменьшаемая, снимаемая неопределенность в результате получения сообщений;
• передача, отражение разнообразия в любых процессах и объектах, отраженное разнообразие;
• товар, являющийся объектом купли-продажи знаний для достижения определенных целей;
• данные как результат организации символов в соответствии с установленными правилами;
• продукт взаимодействия данных и адекватных им методов;
• сведения о лицах, предметах, фактах, событиях, явлениях и процессах независимо от формы их представления.

Без информации не может существовать жизнь в  любой форме и не могут функционировать  созданные человеком любые информационные системы. Без нее биологические  и технические системы представляют груду химических элементов. Общение, коммуникации, обмен информацией присущи всем живым существам, но в особой степени – человеку. Будучи аккумулированной и обработанной с определенных позиций, информация дает новые сведения, приводит к новому знанию. Получение информации из окружающего мира, ее анализ и генерирование составляют одну из основных функций человека, отличающую его от остального животного мира.