Урок 8. Подходы к измерению информации

На прошлых уроках мы с вами выяснили, что компьютер «думает» нулями и единицами, а также узнали, как защитить данные от ошибок при передаче. Но сегодня мы затронем фундаментальный вопрос, который волнует не только программистов, но и философов, и физиков.

Мы привыкли измерять мир вокруг: длину — в метрах, массу — в килограммах, время — в секундах. А как измерить информацию? Можно ли сказать: «В этой новости ровно 5 килограмм смысла»? Очевидно, что нет.

В информатике существуют два главных подхода к измерению информации. Они совершенно разные по смыслу, но математически тесно связаны. Давайте разберем их подробно, опираясь на жизненные примеры.

Содержание

1. Подходы к измерению информации
2. Вероятностный подход
На чем он основан?
Кто предложил данный подход?
Что такое бит в этом подходе?
3. Алфавитный подход
Что такое информация в этом подходе?
Что такое мощность алфавита?
Основные этапы решения задачи при алфавитном подходе
💻 Задачи на количество информации
Задача 1. (Вероятностный подход)
Задача 2. (Алфавитный подход, базовый)
Задача 3. (Алфавитный подход, жизненная/экзаменационная)
💡 Вопрос для размышления

1. Подходы к измерению информации

Чтобы понять разницу, представьте, что вы получили сообщение: «Завтра в школе отменяют все уроки».

С точки зрения содержания (смысла), это сообщение несет огромное количество информации для вас (вы радостно планируете день), но ноль информации для директора школы (он и так это знал).
С точки зрения техники (компьютера), это просто набор из 38 символов (букв, пробелов и знаков препинания). Компьютеру абсолютно всё равно, радует вас эта новость или нет. Он просто посчитает символы.

Именно поэтому в науке выделяют два подхода:

Вероятностный (содержательный) — измеряет информацию как меру уменьшения незнания (неопределенности).
Алфавитный (формальный) — измеряет информацию как объем данных, не вдаваясь в их смысл. Именно этот подход использует ваш смартфон, флешка и жесткий диск.

2. Вероятностный подход

На чем он основан?

Этот подход основан на том, что информация — это мера уменьшения неопределенности знаний. Чем более неожиданным и маловероятным является событие, тем больше информации содержит сообщение о нем.

Пример: Представьте два сообщения:

«В Москве в октябре выпал снег». (Вероятность этого события очень высока, почти 100%). Это сообщение почти ничего нового вам не говорит, неопределенность уменьшилась слабо. Информации мало.
«В Сахаре в октябре выпал снег». (Вероятность стремится к нулю). Это шок! Ваше незнание уменьшилось колоссально. Это сообщение содержит огромное количество информации.

Кто предложил данный подход?

Фундаментальные основы этого подхода заложил американский математик и инженер Клод Шеннон в 1948 году в своей легендарной работе «Математическая теория связи». Он первым смог перевести абстрактное понятие «смысл» на строгий математический язык.

Что такое бит в этом подходе?

В вероятностном подходе бит — это мера уменьшения неопределенности знаний ровно в два раза.

Пример: Вы загадали число от 1 до 100. Я не знаю, какое это число (моя неопределенность велика). Я задаю вопросы, на которые вы отвечаете «Да» или «Нет» (то есть получаю 1 бит информации за каждый ответ, так как каждый ответ делит мои сомнения пополам).

Вопрос 1: «Это число больше 50?» (Ответ «Нет» — неопределенность уменьшилась в 2 раза, осталось 50 вариантов).
Вопрос 2: «Оно больше 25?» (Ответ «Да» — осталось 25 вариантов).
И так далее. Чтобы угадать число из 64 вариантов, мне потребуется ровно 6 вопросов (6 бит информации), потому что 2⁶=64

3. Алфавитный подход

Этот подход полностью игнорирует смысл текста. Он идеален для компьютеров, ведь машина не понимает, что такое «снег в Сахаре», она просто обрабатывает символы.

Что такое информация в этом подходе?

Здесь информация — это просто последовательность символов из некоторого набора (алфавита). Объем информации зависит только от размера алфавита и длины сообщения, но никак не от его содержания.

Пример: Возьмем книгу «Война и мир» и случайный набор из такого же количества букв, напечатанный обезьяной на пишущей машинке. С точки зрения алфавитного подхода, объем информации в них абсолютно одинаков, потому что количество символов совпадает. (Хотя для читателя польза, конечно, разная).

Что такое мощность алфавита?

Алфавит — это набор всех символов, которые используются в тексте (буквы, цифры, знаки препинания, пробелы). Мощность алфавита ( $N$ ) — это общее количество символов в этом наборе.

Пример: Если мы пишем сообщение, используя только русские строчные буквы (33 буквы) и пробел, то мощность нашего алфавита N=34.

В кодировке ASCII используется стандартный алфавит мощностью 256 символов (буквы, цифры, знаки, символы переноса строки и т.д.). Этой мощности достаточно, чтобы закодировать любой текст. Так как 256 =2⁸, то на каждый символ такого алфавита отводится ровно 8 бит (или 1 байт). Это называется информационным весом одного символа.

Основные этапы решения задачи при алфавитном подходе

Если вам нужно найти объем информации в тексте, действуйте по этому четкому алгоритму:

Найти мощность алфавита (N) — сколько всего символов используется в сообщении.
Найти информационный вес одного символа (i) — решить уравнение N =2ⁱ (Например, если N=32, то i=5 бит).
Посчитать количество символов в сообщении (K) — просто пересчитать все буквы, цифры и пробелы.
Вычислить общий объем информации (I) — умножить вес одного символа на их общее количество: I=K x i.

💻 Задачи на количество информации

Давайте закрепим теорию на практике. Попробуйте решить задачи сначала сами, а потом посмотрите разбор!

Задача 1. (Вероятностный подход)

В корзине лежат 16 шаров. Все они разные. Вы достаете один шар. Какое количество информации (в битах) вы получите, если узнаете, что достали именно красный шар?

Разбор:

Изначально неопределенность велика: шар может быть любым из 16.
Сообщение о том, что шар красный, уменьшило неопределенность. Но так как красный шар всего один, сообщение фактически указало на один конкретный объект из 16.
Используем формулу: 2ⁱ=16, где N — количество равновероятных событий (16 шаров).

2ⁱ=16 ⇒ 2⁴=16 ⇒ i=4 Ответ: 4 бита.

Задача 2. (Алфавитный подход, базовый)

Племя «Тумба-Юмба» использует алфавит, состоящий всего из 8 символов (три гласные, четыре согласные и один символ-разделитель). Вождь отправил гонцу сообщение, состоящее из 50 символов. Какой объем информации (в битах) содержит это сообщение?

Разбор:

Мощность алфавита N=8
Находим вес одного символа: 2ⁱ=8 ⇒ 2³=8 ⇒ i=3
Количество символов в сообщении K=50
Общий объем: I=K*i 50*3=150 бит.

Ответ: 150 бит.

Задача 3. (Алфавитный подход, жизненная/экзаменационная)

Ученик 10 класса написал сочинение по литературе на компьютере. В сочинении 2 страницы. На каждой странице 40 строк, в каждой строке 60 символов (включая пробелы и знаки препинания). Компьютер использует кодировку, где каждый символ кодируется 1 байтом (8 битами). Каков информационный объем сочинения в килобайтах? (Справка: в 1 Кбайте 1024 байта, в 1 байте 8 бит).

Разбор:

Считаем общее количество символов (K): 2 страницы × 40 строк × 60 символов = 4800 символов.
Так как 1 символ = 1 байт, объем в байтах равен количеству символов: 4800 байт.
Переводим в килобайты: 4800 / 1024 ≈ 4,68 Кбайт. Ответ: ≈ 4,68 Кбайт (или 4800 байт, если в задаче не просят переводить).

💡 Вопрос для размышления

Представьте, что вы разработчик мессенджера. Вам нужно отправить другу текстовое сообщение «Привет!».

С точки зрения алфавитного подхода, это 6 байт информации. Но в реальности по кабелю или Wi-Fi передается гораздо больше данных (добавляются IP-адреса, порты, коды исправления ошибок, заголовки протоколов).

Как вы думаете, почему мы вынуждены передавать в сотни раз больше «технической» информации, чтобы доставить всего 6 байт «полезного» смысла?
Всегда ли избыточность — это зло, или в некоторых случаях она необходима?

Обсудим ваши ответы на следующем уроке! А пока попробуйте самостоятельно придумать задачу по алфавитному подходу, используя ваш никнейм в социальной сети.