Шпаргалка по "Информатике"

 

Информация рассматривается как сообщение об исходе случайных событий, о реализации случайных сигналов. Поэтому количество информации ставится в зависимость от вероятности этих событий.

 

Если сообщение несет  сведения о часто встречающихся  событиях, вероятность появления  которых стремится к единице, то такое сообщение малоинформативное.

 

Количество информации в сообщении с таких позиций  определяется уменьшением неопределенности состояния некоторого процесса. В  отношении сигнала, несущего информацию, неопределенность выражается неизвестностью его информационных параметров. Пока сигнал не принят и не определены его информационные параметры, о содержании сообщения можно только догадываться с некоторой вероятностью правдоподобия. После приема сигнала неопределенность в содержании сообщения значительно уменьшается. Если есть гарантия, что при передаче сообщения не возникло искажений сигнала, то неопределенность вообще исчезает. Однако имеется всегда, хотя и малая, вероятность ошибки, так - как без искажений вообще сигнал не может быть передан. Поэтому некоторая неопределенность все-таки остается.

 

Неопределенность ситуации принято характеризовать величиной, которая называется энтропия. В информатике  она характеризует способность  источника отдавать информацию. В  статической теории информации, учитывающей вероятность появления тех или иных сообщений, энтропия количественно выражается как средняя функция множества вероятностей каждой из возможных реализаций сообщения или несущего сигнала. Исходя из этого, энтропия определяется суммой произведений вероятностей различных реализаций сигнала x на логарифм этих вероятностей, взятых с обратным знаком.

Использование энтропии в теории информации оказалось очень  удобным в силу ее следующих важных свойств:

 

- энтропия равна нулю, когда одно из событий достоверно, а другие невозможны;

 

- энтропия максимальна,  когда все возможные события  равновероятны, и растет с увеличением  числа равновероятных состояний;

 

- энтропия обладает  свойством аддитивности, т.е. энтропию  независимых систем можно складывать.

 

Сообщения источника  обладают избыточностью. Дело в том, что отдельные знаки сообщения  находятся в определенной статической  связи. Избыточность позволяет представлять сообщения в более экономной, сжатой форме. Мера возможного сокращения сообщения без потери информации за счет статистических взаимосвязей между его элементами определяется избыточностью.

 

Наличие избыточности в  сообщении часто оказывается  полезным и даже необходимым, т.к. позволяет  обнаруживать и исправлять ошибки, т.е. повысить достоверность воспроизведения его. Если избыточность в сообщении не используется для повышения достоверности, то она должна быть исключена. Это достигается использованием специального статистического кодирования. При этом избыточность сигнала уменьшается по отношению к избыточности сообщения.

 

Избыточное кодирование  уменьшает неопределенность воспроизведения  передаваемого сообщения, т.е. уменьшает  ошибки при его приеме.

 

Избыточностью кода называют разность между средней длинной  слова и энтропией.

 

 

4. Меры и единицы количества и обьема информации

Наиболее удобное определение  кол-ва информ. дал Шеннон. В основе измен. информ. лежит понятие энтропии Н. Н явл. показателем беспорядка. Если в изуч. системе порядок увелич, то Н уменьш.

Рассмотрим игр. кубик, котор. имеет N граней. Если кубик бросить m раз, то число возм. событий = N ^m. На осн. этих сообр. Шеннон предложил Н=mlogN, I=H₂-H₁

Если в системе измен. энтропия, то дельта Н приним. за кол-во информации I=log₂N

В тексте не все знаки  встреч. одинаково часто. Вероятность появления пробела = 0,175, а буквы а – 0,09. I=P_ilog₂ 1/P_i – формула Шеннона

За единицу количества информации принимается такое количество информации, которое содержит сообщение, уменьшающее неопределенность в  два раза. Такая единица названа  «бит». Минимальной единицей измерения количества информации является бит, а следующей по величине единицей является байт, причем 1 байт = 23 бит = 8 бит.

Компьютер оперирует  числами не в десятичной, а в  двоичной системе счисления, поэтому  в кратных единицах измерения  количества информации используется коэффициент 2n.

 Так, кратные байту  единицы измерения количества  информации вводятся следующим  образом:

1 Кбайт = 210  байт = 1024 байт;

1 Мбайт = 210 Кбайт = 1024 Кбайт;

1 Гбайт = 210 Мбайт = 1024 Мбайт.

Существует формула, которая связывает между собой количество возможных событий N и количество информации I: N=2I.

 По этой формуле  можно легко определить количество  возможных событий, если известно  количество информации. Например, если  мы получили 4 бита информации, то  количество возможных событий составляло: N = 24= 16. Так, в русском алфавите, если не использовать букву ё, количество событий (букв) будет равно 32. Тогда: 32 = 2I,откуда I = 5 битов.

 Каждый символ несет  5 битов информации (его информационная  емкость равна 5 битов). Количество информации в сообщении можно подсчитать, умножив количество информации, которое несет один символ, на количество символов.

Количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно  количеству информации, которое несет один знак, умноженному на количество знаков.

 

Количество информации

 

2.3.1. Информационный объем  сообщения

 

Итак, в процессе кодирования  любое сообщение преобразуется  в последовательность допустимых знаков. Каждое такое сообщение содержит некоторое количество информации.

 

Информативность сообщения  зависит от многих причин. Например, письмо на китайском языке для  человека, ничего не смыслящего в китайской  грамоте, не будет нести никакой  информации, т.е. информативность письма будет равна нулю.

 

Существует несколько  подходов к вопросу информативности  сообщения. Мы будем считать, что  существует две меры для количества информации: внешняя (техническая - выражается информационным объемом сообщения; при таком измерении количество информации в сообщении пропорционально количеству переданных символов) и внутренняя (семантическая, или смысловая). Мы будем иметь дело с технической мерой информации.

 

Информационный объем  сообщения легко измерить, подсчитав  количество содержащихся в нем символов. Такой подход не требует рассмотрения содержания сообщения: смысл сообщения здесь не играет никакой роли.

 

Упоминая дальше количество информации, мы будем иметь в виду информационный объем сообщения.

 

 

3. Единицы измерения  информации в компьютере

 

С физической точки зрения информация, циркулирующая внутри компьютера, кодируется с помощью электрических сигналов. Математическое значение этих сигналов - 0 (нет тока) и 1 (есть ток). Код из 0 и 1 называется двоичным кодом. С его помощью передается минимальное количество информации 1 б и т. Конкретный смысл кода зависит от установленной договоренности. 1 бит - это такое количество информации, которое позволяет выбрать один вариант из 2-х возможных х (примером может служить выпадение одной из двух сторон монеты). Если слова двухбитные, то можно составить 4 разных слова; если трехбитные, то можно составить 2^3=8 разных слов; если k-битное слово, то 2^k разных слов.

 

Информация, которая циркулирует  внутри компьютера, хранится в его  памяти. Вся память ЭВМ разбита  на отдельные участки по 8 битов в каждом; эту порцию информации назвали 1 байтом. Два таких соседних участка образуют ячейку памяти ЭВМ, следовательно, она хранит 16 битов=2 байта информации. Содержимое одной ячейки памяти называется машинным словом. В более мощных ЭВМ ячейка памяти может содержать 3 байта информации; их содержимое называется двойным словом. Машинное слово может принимать 2^16==65536 различных значений. Биты нумеруются справа налево, начиная с нуля. Например, слово "0001001001001111":

 

2. Системы счисления

Для удобства последующего преобразования дискретный сигнал подвергается кодированию (о кодировании см. в  разделе Кодирование сигнала). Большинство  кодов основано на системах счисления, причем использующих позиционный принцип  образования числа, при котором значение каждой цифры зависит от ее положения в числе.

 

Примером позиционной  формы записи чисел является та, которой мы пользуемся (так называемая арабская форма чисел). Так, в числах 123 и 321 значения цифры 3, например, определяются ее положением в числе: в первом случае она обозначает три единицы (т.е. просто три), а во втором – три сотни (т.е. триста).

 

Тогда полное число получается по формуле:

 

 

где l – количество разрядов числа, уменьшенное на 1, i – порядок  разряда, m – основание системы счисления, ai – множитель, принимающий любые целочисленные значения от 0 до m-1, и соответствующий цифре i-го порядка числа.

 

Например, для десятичного (m = 10) числа 345 его полное значение рассчитывается по формуле:

3*102 + 4*101 + 5*100 = 345.

 

Римские числа являются примером полупозиционной системы образования числа: так, в числах IX и XI знак I обозначает в обоих случаях единицу (признак непозиционной системы), но, будучи расположенным слева от знака X (обозначающего десять), вычитается из десяти, а при расположении справа – прибавляется к десяти. В первом случае полное значение числа равно 9, во втором – 11.

В современной информатике  используются в основном три системы  счисления (все – позиционные): двоичная, шестнадцатеричная и десятичная.

Двоичная система счисления используется для кодирования дискретного сигнала, потребителем которого является  вычислительная техника. Такое положение дел сложилось исторически, поскольку двоичный сигнал проще представлять на аппаратном уровне. В этой системе счисления для представления числа применяются два знака – 0 и 1.

Шестнадцатеричная система  счисления  используется для кодирования  дискретного сигнала, потребителем которого является хорошо подготовленный пользователь – специалист в области  информатики. В такой форме представляется содержимое любого файла, затребованное через интегрированные оболочки операционной системы, например, средствами Norton Commander в случае MS DOS. Используемые знаки для представления числа – десятичные цифры от 0 до 9 и буквы латинского алфавита – A, B, C, D, E, F.

Десятичная система  счисления используется для кодирования  дискретного сигнала, потребителем которого является так называемый конечный пользователь – неспециалист в области  информатики (очевидно, что и любой  человек может выступать в роли такого потребителя). Используемые знаки для представления числа – цифры от 0 до 9.

 

6. Кодирование  информации

Для того чтобы управлять  деятельностью объекта, необходимо передавать ему некоторые сообщения. Такое сообщение называется сигналом. Он должен быть доступен и понятен устройству, которое его принимает. По своей физической природе сигналы могут быть электрическими, тепловыми, звуковыми, световыми, механическими. Например, сигналами при передаче информации с пульта дистанционного управления TV на телевизор являются световые лучи разных длин; микрокалькулятор работает с помощью циркулирующих в нем электрических сигналов, и т.д.

 

Условное обозначение  сигнала для записи и передачи некоторых заранее определенных понятий называется кодом сигнала. Т.е. каждый сигнал, из которых состоит сообщение, имеет свой код (свое обозначение). Например, при наборе номера телефона происходит передача на телефонную станцию кода набираемого номера телефона.

 

Процесс преобразования сообщения в коды называется кодированием. Обратный процесс, то есть воспроизведение закодированной информации, называется декодированием.

 

Одну и ту же информацию можно передать разными сигналами  и разными способами (например, одно и то же сообщение может быть записано на бумаге в символьном виде, а на магнитной ленте в звуковом виде).

 

Информацию можно классифицировать по способу восприятия принимаемого сигнала: она может быть получена человеком с помощью следующих  органов чувств: зрения, слуха, осязания, обоняния, вкуса.

 

Итак, одну и ту же информацию можно передать разными сигналами и разными способами. Приемник должен понимать этот сигнал.

 

 

2.1. Язык как средство  передачи информации

 

Для кодировки сообщения  выбирается алфавит - набор допустимых знаков, и сообщение преобразуется в последовательность таких знаков. Например, алфавит с русскими буквами (от "а" до "я"), алфавит для записи десятичных чисел содержит 10 цифр - от 0 до 9.

 

Последовательность символов алфавита называется словом. Правила, согласно которому образуются новые слова из данного алфавита, называются грамматикой, а язык - это множество всех слов, записываемых в данном алфавите с учетом данной грамматики. Например, для общения друг с другом мы используем код, представляющий собой русский язык; при разговоре этот код передается с помощью сигналов-звуков, при письме условными значками (буквами). При работе с числовой информацией используется язык десятичной нумерации (в нем алфавитом являются 10 цифр - от 0 до 9, а грамматикой - позиционная нумерация) - множество всех натуральных чисел (это пример формального языка), язык музыки, алфавитом которого является набор из 7 нот.