Теоретические и практические вопросы, относящиеся к информации, изучает информатика

1.2. Основные понятия теории информации Теория информации – раздел математики, исследующий процесс хранения, преобразования и передачи информации. Теория информации базируется на фундаментальной работе американского инженера и математика Клода Элвуда Шеннона [7], и она тесно сопряжена со статистической теорией связи. Согласно теории информации количество полученной информации следует рассматривать с учетом понятия неопределенности состояния системы, например, неопределенность состояния системы связи. Вместо термина «неопределенность состояния системы» часто используют эквивалентный термин - «энтропия системы». Под неопределенностью состояния системы связи понимается тот факт, что на приемной стороне получатель информации не знает, какое сообщение пошлет отправитель информации, который находится на передающей стороне системы связи. Лишь после приема сообщения (букв, цифр символов, звуков, изображения и т.д.) у получателя уменьшается неосведомленность относительно содержания передаваемого сообщения. Иначе говорят: полученная информация уменьшает энтропию системы. Рассмотрим основные понятия, которые используются в теории информации [1]. Сообщение – это совокупность знаков или первичных сигналов, отображающих ту или иную информацию. Например, текст электронного письма представляет собой совокупность таких знаков, как буквы, цифры, знаки препинания, специальные символы. Примерами сообщений являются: текст телеграммы, данные на выходе ЭВМ, речь, музыка. Передача сообщений на расстояние осуществляется с помощью какого-либо материального носителя (бумаги, фотопленки, кинопленки, магнитной ленты, магнитного или оптического дисков, микросхем памяти и т.п.) или физического процесса (звуковых, световых или электромагнитных волн и т.п.). Таким образом, информация передается путем обмена между отправителем и получателем материей (бумага, диски, лента) или энергией (электромагнитные волны). Физический процесс, несущий передаваемое сообщение, называется сигналом. Сообщения могут быть функциями времени (информация представляется в виде первичных сигналов - музыка, речь, показания датчиков) и не являться функциями времени (информация представляется в виде совокупности знаков, например, телеграмма, письмо). В современных системах связи чаще всего используются электрические и оптические сигналы. Передача информации осуществляется путем изменения какого-либо параметра сигнала в соответствии с передаваемым сообщением, например, путем изменения амплитуды, частоты, фазы гармонических колебаний или длительности прямоугольных импульсов. Процесс изменения параметров сигнала на передающей стороне, происходящий в соответствии с содержанием передаваемого сообщения, называется модуляцией. Благодаря модуляции сигнал получает возможность распространяться на большие расстояния с помощью системы связи. Процесс восстановления сообщения из принятого сигнала называется демодуляцией (или детектированием). Амплитудная модуляция Частотная модуляция На рисунке показаны две осциллограммы, иллюстрирующие сигналы с двумя видами модуляции - амплитудной и частотной. Здесь в качестве сигнала, несущего информацию, использованы синусоидальные гармонические колебания. В первом случае предаваемая информация содержится в изменении амплитуды колебаний (размаха по вертикали). Во втором случае информативным параметром является частота – плотность колебаний по горизонтали. Таким образом, можно передать по аналоговому каналу, например, цифровые сигналы 1 и 0. В качестве сигналов, переносящих информацию, может быть использована последовательность прямоугольных импульсов. В этом случае при модуляции могут изменяться длительность импульсов, их временное положение или частота. Линией связи называется физическая среда, используемая для транспортировки сигналов от передатчика к приемнику. В качестве примера линии связи можно назвать оптоволоконный и коаксиальный кабели связи, пространство, в котором распространяются радиоволны. Совокупность технических средств, предназначенных для передачи сообщений от отправителя к получателю, называется системой связи. В качестве составных частей в систему связи входят передающее устройство (передатчик), канал связи и приемное устройство (приемник). Отправителями и получателями информации могут быть субъекты (пользователи, абоненты, корреспонденты) и объекты (датчики, компьютеры, факс-модемы, принтеры, устройства автоматики и т.п.). Каналом связи называют часть системы связи, которая обеспечивает передачу сигналов между передатчиком и приемником информации. В состав канала связи входят линии связи и каналообразующая аппаратура (КА). Задачей каналообразующей аппаратуры является уплотнение сигналов, то есть передача по одной физической линии информации сразу от нескольких отправителей. Существуют каналы проводной связи (проводные, кабельные, световодные и др.) и каналы радиосвязи (телевизионные, радио - и сотовые станции). Широкое распространение получили радиорелейные линии (РРЛ). В радиорелейных линиях радиосигнал передается от одной станции к другой (ретранслируется) как бы по эстафете в пределах прямой видимости. Разновидностью РРЛ являются тропосферные линии, которые используют отражения радиосигнала от неоднородностей тропосферы. Существуют спутниковые сети - радиорелейные линии, в которых ретранслятор располагается на искусственном спутнике земли. Отпра-витель Пере- датчик КА КА При- емник Полу-чатель Канал связи Линия связи Применительно к глобальной сети Интернет можно сказать, что она содержит самые разнообразные каналы связи, которые соединяют между собой узлы с коммутационным оборудованием и компьютерами-серверами. При обмене сообщениями с помощью Интернет-пейджера ICQ или при работе в чате получатель информации не знает, какую клавишу на клавиатуре в данный момент нажал отправитель сообщения. Другими словами: существует неопределенность состояния системы связи при приеме информации (неизвестно, какой сигнал передается в данный момент времени по каналу связи). Чем выше неопределенность (неизвестность, неосведомленность), тем больше энтропия системы. Энтропия характеризует степень упорядоченности передаваемого текста, степень его отклонения от полного хаоса. В наиболее хаотичном тексте вероятности появления любых букв (символов) текста практически одинаковые. В этом случае текст представляет собой нечитаемый набор бессмысленных символов. Бессмысленный нечитаемый текст, состоящий из равновероятных символов, имеет наибольшую энтропию. Наведение «порядка» среди букв, то есть формирование осмысленно текста, снижает энтропию (неопределенность). Предположим, что получатель информации имеет какие-то предварительные (априорные) сведения о некоторой системе . Мерой неосведомленности получателя информации о системе  является функция H(). После получения по каналу связи некоторого сообщения  получатель приобретает дополнительную информацию I(). Полученная информация уменьшает имевшуюся (говорят, априорную) неосведомленность H(), которая в результате получения сообщения становится равной H(). Новую неопределенность H() называют апостериорной, то есть неопределенностью после проведения опыта (передачи и приема сообщения ). Таким образом, количество принятой информации можно выразить соотношением: I() = H() - H(). Простыми словами это соотношение можно прокомментировать так: количество информации I(), содержащейся в полученном сообщении , измеряется величиной уменьшения неосведомленности (незнания) о состоянии системы . То есть информация увеличивает знание. Количество информации = Априорная неопределенность = Апостериорная неопределенность Порядок расчета энтропии системы и полученной информации зависит от того, какова вероятность появления каждого знака (символа) в сообщении. Если вероятности появления всех символов выбранного алфавита одинаковые, то используется формула Хартли. Если вероятности появления каждого символа в сообщении различны, то используется формула Шеннона. Формула Хартли применяется в случаях, когда появление различных символов в сообщении равновероятно. Это бывает, например, при передаче по каналу связи результатов математических расчетов (набор цифр), криптографических ключей, паролей и т.п. Получение одного символа из N допустимых символов используемого алфавита дает потребителю такой объем информации: . Здесь N – число допустимых символов (знаков), которое отправитель может использовать при формировании своего сообщения. Указанную величину I можно трактовать, как количество информации, приходящееся на один символ (знак) сообщения. Согласно формуле Хартли количество информации, содержащейся в двоичном числе, равно количеству двоичных разрядов в этом числе. Один разряд двоичного числа позволяет сформировать два знака (символа): 0 и 1. Если N = 2, то I = 1 бит. Для восьмиразрядного числа N = 256, а объем информации, который несет это число, I = 8 бит = 1 байт. Формула Хартли является частным случаем формулы Шеннона. Последняя формула используется при расчете энтропии в ситуациях, когда вероятности появления символов различны: . Здесь pi – вероятность появления i-го символа. Указанную величину следует трактовать, как среднее значение (математическое ожидание) информации, приходящееся на один из неравновероятных символов. Знак минус в формуле поставлен для того, чтобы измерять информацию положительными числами. В противном случае логарифм числа, меньшего единицы, даст отрицательное значение. Заметим, что . Безусловно, формулы Хартли и Шеннона не охватывают всех возможных случаев расчета энтропии. Например, эти формулы нельзя использовать для расчета условной энтропии. Установлено, что текстовые сообщения содержат много избыточной информации. Так, например, если во время передачи сообщения, произошел отказ в работе канала связи, и на приемной стороне было принято оборванное (неполное) сообщение типа «Спартак – чемпи», то легко «догадаться», что, вероятно, полное сообщение было «Спартак – чемпион». Содержательный анализ принятого сообщения позволяет восстановить пропущенный или недостающий фрагменты осмысленного текста. К.Шеннон установил, что в английских текстах избыточная информация достигает 80% от общего объема информации, заключенной в письменном сообщении. Оставшиеся 20% текста являются источником снятия неопределенности, непредсказуемости полученного текста. Именно эти 20% текста несут новую информацию, снимают неопределенность, дают знание. В русском языке (так же как и в языках других народов) существует статистическая устойчивость вероятности появления каждой буквы алфавита. Так буква «о» в русских текстах появляется значительно чаще, чем буква «ъ». Кроме того, существует зависимость вероятности появления буквы от того, какая буква в осмысленном тексте ей предшествовала. Очевидно, что вероятность появления сочетания букв «ма» значительно выше, чем у сочетания букв «мъ». Знание правил грамматики конкретного естественного языка позволяет с высокой вероятностью заранее предсказать очередную букву сообщения, если по каналу связи был получен какой-то осмысленный текст (то есть из контекста). Полученную с помощью существующих правил грамматики информацию К.Шеннон определил как «избыточную» - лишнюю. Это объясняется тем, что знание правил построения сообщений позволяет предсказывать появление букв раньше, чем они будут переданы по каналу связи. Избыточность текста наблюдается в тех случаях, когда вероятности появления различных символов различны, и когда вероятность появления очередного символа зависит от ранее принятого символа. Избыточность позволяет правильно понять содержание осмысленного текста даже при наличии в нем ошибок или пропуска символов. Для подобных случаев выведены формулы, которые учитывают тот факт, что вероятность появление очередного символа зависит от принятых предыдущих символов (учитывается условная энтропия). Ознакомиться с этими формулами можно по специальной литературе. Современные достижения в области теории информации позволили разработать эффективные криптографические системы, системы массового обслуживания. На основании теории информации разработаны алгоритмы и программы для сжатия файлов, а также для кодирования, обнаружения и исправления ошибок в полученных данных. Теория информации помогла разработать эффективные способы ослабления действия помех, действующих в каналах связи. Теория информации позволила эффективно решить множество прикладных вопросов, например, создать модемы для телефонных каналов, у которых скорость передачи информации приблизилась к теоретической пропускной способности существующих каналов связи.

Похожие:

	Теоретические и практические вопросы, относящиеся к информации, изучает информатика В данном разделе даны определения понятиям «информация», «информатика», «информационные технологии», рассмотрены этапы развития вычислительной...		«защита информации от несанкционированного доступа» Фз о защите информации, который рассматривает проблемы защиты информации и задачи защиты информации, а также решает некоторые уникальные...
	Нп "Центр реализации идей "Партнер" Международная заочная научно-практическая конференция "Теоретические и практические аспекты развития науки"		Примеры оформления портфолио класса и классного уголка с помощью ит Интернет-ресурс содержит теоретические и практические материалы для проведения уроков, внеклассных мероприятий
	Теоретические и практические проблемы нацио-государственного строительства в современной россии ...		Единая коллекция цифровых образовательных ресурсов Педсовет org. Живое пространство образования. Интернет-ресурс содержит теоретические и практические материалы для проведения уроков,...
	Самостоятельная работа Методические указания к выполнению самостоятельной... Методические указания выполнению самостоятельной работы по курсу «Информатика» и «Информатика и программирование»: Авт сост Н. В....		Эта дисциплина изучает Изучает условия и факторы появления государственности, формирования правовых систем, а так же их эволюция исторических периодов
	Фонд оценочных средств для проведения промежуточной аттестации обучающихся Общие сведения Пк-11: готовность использовать систематизированные теоретические и практические знания для определения и решения исследовательских...		Методические рекомендации для руководителей самодеятельных хореографических коллективов Методические рекомендации включают теоретические и практические рекомендации по работе над постановкой танцев в соответствии с законами...