Шпаргалка по "Информатике и ИТ"

2) Для целых положительных  n, должно выполняться следующее  неравенство:

3) Для целых положительных  b_i, где , должно вып-ся рав-во:

Шеннон показал, что единств-я ф-ция, удовл-щая этим требованиям, имеет вид:

 где K – константа (нужна  для выбора единиц измер-я).

Шеннон опр-л, что измер-е  энтропии ( ), прим-мое к ист-ку инф-и, м. опр-ть треб-я к миним-й пропускной спос-сти канала, требуемой для надёжной передачи инф-и в виде закодир-х двоичных чисел. Для вывода формулы Шеннона необх-мо вычислить мат-е ожид-е «кол-ва инф-и», содерж-ся в цифре из ист-ка инф-и. Мера энтропии Шеннона выражает неувер-сть реализ-и случ-й переменной. Т.о., энтропия явл-ся разницей м/ду инф-й, сод-ся в сообщ-и, и той частью инф-и, кот-я точно известна (или хорошо предсказуема) в сообщении. Примером этого явл-ся избыточ-сть языка – им-ся явные статистич-е закономер-сти в появл-и букв, пар пос-ных букв, троек и т. д.

Энтропия  Хартли. Частный случай энтропии Шеннона. Вер-сть появл-я каждого символа А одинакова. Если задано N, то

 

Хартли предложил хар-ть неопред-сть логарифмом числа n. Т.е. log n явл-ся колич-й мерой неопр-сти. Пусть имеется N сост-й системы S или N опытов с разл-ми, равновозм-ми пос-ми сост-ми системы. Если каждое сост-е  системы закодир-ть, напр., двоичными  кодами опр-ной длины d, то эту длину  необх-мо выбрать так, чтобы число  всех разл-х комбинаций было бы не меньше, чем N. Наименьшее число, при кот-м это возможно или мера разнообразия мн-ва сост-й системы зад-ся формулой Р. Хартли: H=k log _а N, где k – коэф-нт пропорц-сти (масштабир-я, в зав-сти от выбранной единицы измерения меры), а - основание системы меры.

Если измерение ведётся  в экспоненц-й системе, то k=1, H=lnN (нат); если измерение - в двоичной системе, то k=1/ln2, H=log₂N (бит); если измерение - в десятичной системе, то k=1/ln10, H=lgN (дит).

Пример. Чтобы узнать полож-е  точки в системе из 2х клеток т.е. получить некот-ю инф-ю, необх-мо задать 1 вопрос ("Левая или правая клетка?"). Узнав полож-е точки, мы ув-м суммарную инф-ю о системе на 1 бит (I=log₂ 2). Для системы из 4х клеток необх-мо задать 2 аналог-х вопроса, а инф-я равна 2 битам (I=log₂4). Если сист имеет n разл-х сост-й, то макс-е кол-во инф-и равно I=log₂ n.

По Хартли, для того, чтобы  мера инф-ции имела практ-ю цен-сть - она д.б. такова, чтобы отражала кол-во информации пропорционально числу выборов.

Пример. Имеются 192 монеты из кот-х одна фальшивая. Опр-м ск-ко взвеш-й нужно произвести, чтобы  опр-ть ее. Если положить на весы равное кол-во монет, то получим 2 возм-сти: а) левая  чашка ниже; б) правая чашка ниже. Т.о., каждое взвеш-е дает кол-во инф-и I=log₂2=1 и, следов-но, для опр-я фальш-й монеты нужно сделать не менее k взвеш-й, где k удовл-т условию log₂2k³ log₂192. Отсюда, k=7. След-но, нам необходимо сделать не менее 7 взвешиваний (достаточно семи).

Формула Хартли отвлечена  от качеств-х, индивид-х св-в рассм-мой  системы (кач-ва инф-ции, сод-щейся в  системе, в проявлениях системы с помощью рассматриваемых N состояний системы). Это основная положит-я сторона этой формулы. Но имеется и основная отриц-я сторона: формула не учит-т различимость и различность рассматриваемых N состояний системы.

 

9. Особенности двоичных систем  передачи информации

Дост-ва двоичной системы  счисления: простота реализ-и проц-в  хран-я, пере-дачи и обработки инф-и  на ПК, для ее реализ-и нужны эл-нты  с 2мя возможными сост-ми, а не с десятью, предст-е инф-и посредством только 2х сост-й надежно и помехоуст-во, возм-сть прим-я алгебры логики для вып-ния логич-х преобр-й.

Недостатки двоичной системы  счисления: код числа п/с послед-сть из 0 и 1. Большие числа занимают дост-но бол-е число разрядов. Быстрый рост числа разрядов – самый существенный недостаток двоичной системы счисления.

Таблица сложения

Пример сложения «столбиком» (14 + 5 = 19):

Таблица умножения 

Пример умножения «столбиком» (14 × 5 = 70):

Для преобр-я из двоичной системы в десятичную исп-т следующую  таблицу степеней основания 2:

512    256   128   64 32 16 8 4 2 1

Преобр-е двоичных чисел  в десятичные: дано двоичное число 110001. Для перевода в десятичное запишите его справа налево как сумму по разрядам:

Преобр-е десятичных чисел в двоичные: нужно перевести число 19 в двоичное:

19 /2 = 9  с остатком 1

9  /2 = 4  c остатком 1

4  /2 = 2  с остатком 0

2  /2 = 1  с остатком 0

1  /2 = 0  с остатком 1

Длим каждое частное на 2 и запис-м остаток в конец  двоичной записи. Прод-м деление  до тех пор, пока в делимом не будет 0. В рез-те получаем число 19 в двоичной записи: 10011.

Преобр-е дробных двоичных чисел в десятичные: нужно перевести число 1011010.101 в десятичную систему:

Преобр-е дробных десятичных чисел в двоичные: * Вначале переводится целая часть десятичной дроби в двоичную систему счисления; * Затем дробная часть десятичной дроби умнож-ся на основ-е двоичной системы счисления; * В получ-м произвед-и выд-ся целая часть, кот-я приним-ся в кач-ве знач-я 1-го после запятой разряда числа в двоичной системе счисления; * Алгоритм заверш-ся, если дробная часть получ-го произвед-я = 0 или если достигнута требуемая точ-сть вычисл-й. В противном случае вычисления продолжаются с предыдущего шага.

Пример: Требуется перевести  дробное десятичное число 206,116 в  дробное двоичное число. Перевод  целой части дает 206₁₀=11001110₂ по ранее опис-м алг-мам; дроб-ю часть умнож-м на основ-е 2, занося целые части произв-я в разряды после запятой искомого дробного двоичного числа:

.116 • 2 = 0.232   .232 • 2 = 0.464  .464 • 2 = 0.928

.928 • 2 = 1.856   .856 • 2 = 1.712  .712 • 2 = 1.424

.424 • 2 = 0.848   .848 • 2 = 1.696  .696 • 2 = 1.392

.392 • 2 = 0.784   и т.д.

Получим: 206,11610=11001110,0001110110₂

Двоичная система исп-ся в цифр-х ус-вах, поскольку является наиболее простой и соотв-т требованиям: Чем меньше значений сущ-т в системе, тем проще изготовить отд-е элементы, оперирующие этими знач-ми. В частности, две цифры двоичной системы счисления  м.б. легко предст-ны многими физ-ми явл-ми: есть ток (ток больше пороговой в-ны) – нет тока (ток меньше пороговой в-ны), индукция магн-го поля больше пороговой в-ны или нет (индукция магнитного поля меньше пороговой величины) и т. д.

Чем меньше кол-во сост-й  у элемента, тем выше помехоуст-сть  и тем быстрее он может работать. Двоичная арифметика является довольно простой. Простыми являются таблицы  сложения и умножения — основных действий над числами.

10 Количество информации

Основоположник теории инф-и  Клод Шеннон определил инф-ю как  снятую неопределенность. Чем более  неопределенна первоначальная ситуация (чем большее количество информационных сообщений возможно), тем больше мы получим новой инф-и при  получении информационного сообщения (тем в большее количество раз уменьшится неопределенность знания).

Количество инф-и можно  в таком случае рассматривать  как меру уменьшения неопределенностии (=энтропии) знания при получении  информационных сообщений.

Подход к инф-и как  мере уменьшения неопределенности знания (=энтропии) позволяет количественно  измерять инф-ю.

За единицу количества инф-и принимается такое количество инф-и, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица  названа битом (BInary digiT). Производной от бита единицей измерения количества инф-и является байт, причем 1 байт = 8 битов.

В компьютере инф-я кодируется с помощью двоичной знаковой системы, поэтому в кратных единицах измерения  количества инф-и используется коэффициент 2ⁿ.

Кратные байту единицы  измерения количества инф-и:

1 килобайт (Кбайт) = 2¹⁰ байт = 1024 байт ≈ 10³ байт;

1 мегабайт (Мбайт) = 2²⁰ байт ≈ 10⁶ байт;

1 гигабайт (Гбайт) = 2³⁰ байт ≈ 10⁹ байт.

Для исчисления ещё больших  объёмов инфи имеются единицы  терабайт (2⁴⁰ байт) и петабайт (2⁵⁰ байт).

При алфавитном подходе к  определению количества инф-и информационное сообщение рассм-ют как последовательность знаков определенной знаковой системы.

Формула N = 2^К связывает между собой количество возможных информационных сообщений N и количество бит инф-и К, которое несет полученное сообщение.

Чем большее количество знаков содержит алфавит, тем большее количество инф-и несет один знак. Тогда в  рассматриваемой ситуации N — это  количество знаков в алфавите знаковой системы, а К — количество бит инф-и, которое несет каждый знак.

Пример: определим количество инф-и, которое несет 1 буква русского алфавита. В русский алфавит входят 33 буквы, но на практике часто для  передачи сообщений используются 32 буквы (исключается "ё").

С помощью формулы N = 2^К определим количество инф-и, которое несет буква русского алфавита: N = 32 => 32 = 2^К => 2⁵ = 2^К => К=5 битов.

Таким образом, буква русского алфавита несет 5 битов инф-и.

Сообщение состоит из последовательности знаков, каждый из которых несет  определенное количество инф-и. Если знаки  несут одинаковое количество инф-и, то количество инф-и Кc в сообщении можно подсчитать, умножив количество инф-и Кзн, которое несет один знак, на длину кода (количество знаков в сообщении) N:

Кc = Кзн × N

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

11 Сущность основных проблем современных  ИСиТ

Основные проблемы в области  ИСИТ:

1) увеличение скорости передачи данных, чтобы уменьш. стоимость передачи;

2) увеличение надежности передачи, для уменьшения стоимости потерь из-за ненадёжных каналов;

3) проблема защиты (=безопасности) инф-и, каналов коммуникации, носителей инф-и от несанкционированного доступа.

Проблема  повышения скорости передачи данных:

Скорость передачи ― коли-во информации (бит), передаваемой за 1 секунду.

В любой ИС скорость передачи определяется прежде всего пропускной способностью канала связи.

Пропускная способность  в свою очередь определяется свойством  шины, соединяющей источник и получателя. Пропускная способность шины определяется частотой шины и ее разрядностью:   П = F (Гц=1/сек) × R(бит)

=>для повыш. проп. спос-ти шины необх. увелич. такт. частоту и разрядность шины.

Проблема  надёжной передачи и обработки информации:

Надёжность - способность/свойство технич. устр-ва или программн. средства выполнять установленные функции в течение заданного промежутка времени, т.е. надёжность определяет безошибочность и безотказность функц-ния любой системы.

Осн. методы повышения функциональной надёжности технических устройств:

1) методы резервирования (=аппаратной избыточности); 2) методы  автоматич. поиска и устранения  отказов (=информационной избыточности, =избыточного кодирования)

Резервирование – метод повыш-я хар-к надёжности технич. устройств за счет включ-я запасных (резервных) элементов и связей, дополнит-х по сравн. с минимально необходимым для выполнения заданных функций в данных условиях работы.

При общем резерв-и резервируется вся система в целом. Общее резерв-е в завис-ти от способа включ-я резерв. устройств: постоянное и замещением. При общ. пост-м резерв-и резерв. устройства подключены к осн. в теч. всего времени работы в одинак. с ним реж. работы. При резерв-и замещ-ем резерв. изделия замещ. осн. только после отказа.

При раздельном способе резерв-я вводится индивидуальный резерв для каждой части неизбыточной системы. Раздельное резерв-е тоже бывает общим и замещением. При раздельном замещении отказ системы может произойти только тогда, когда отказ дважды подряд произойдёт в одном и том же устройстве, что маловероятно.

Проблема безопасной передачи и хранения информации:

Безопасность – свойство ИС обеспечивать доступ к информацион. ресурсам только тем пользователям и процессам, которые имеют право на это, и блокировать несанкц. доступ к объектам и процессам. Под несанкц-м доступом понимают попытку получения доступа к ИС без ведома владельца этих ресурсов.

Цели несанкц. доступа: кража информации, изменение инф., удаление инф.

Методы несанкц. доступа: физический (доступ к носителям (HDD, DVD, и др.)), анализ электромагнитного излучения, использование специализир. ПО, деструктивных программн. средств.

Последствия: потеря/компрометация  данных, правовые послед-я, ухудш. репутации фирмы, сниж. доверия инвесторов/клиентов, наруш. бизнес-процесса, потери доходов.

 

12 Базовые технологии преобразования  информации

При использовании компьютеров  информация подразделяется на входную и выходную. При этом разделяют входную информацию для пользователя и для компьютера, аналогично – выходную информацию для пользователя и для компьютера. При таком подходе технологический процесс обработки информации подразделяется на этапы:

1) Преобраз-е инф-и из  вида, представленного пользователю, к виду, доступному для ввода  в компьютер.

2) Ввод инф-и в компьютер,  преобразование к электронному  виду представления.

3) Переработка инф-и при  помощи одного или нескольких  алгоритмов программными средствами  информационных технологий.