Банковские ИС. Лекция 2 (по гл2) Элементы теор.информации. Лекция 2 элементы теории информации информация различные подходы к этому понятию
 Скачать 278 Kb.
|
|
Лекция 2 ЭЛЕМЕНТЫ ТЕОРИИ ИНФОРМАЦИИ 2.1. Информация: различные подходы к этому понятию Информация является важнейшим понятием, имеющим отношение как к повседневной деятельности человека, так и ко многим наукам, которые используют лишь различные грани этого понятия, поэтому единого взгляда на информацию не существует, что не позволяет дать одно всеобъемлющее определение информации. Термин «информация» происходит от латинского слова informatio, что означает сведение, разъяснение, осведомление, изложение. «Информировать» означает «сообщить нечто новое, т.е. неизвестное раньше». Близко к этому определения информации, данные в «Словаре русского языка» С.И.Ожегова [2]: 1) «Информация - это сведения об окружающем мире и протекающих в нем процессах, воспринимаемые человеком или специальным устройством». 2) «Информация – это сообщения, осведомляющие о положении дел». Там же раскрывается понятие «сведения» - это познания в какой-либо области, известия, сообщения, знания, представление о чем-либо. Такое понимание информации как передачи сообщений сохранялось на протяжении более двух тысячелетий - вплоть до середины XX века, поэтому оно называется традиционным. Оно интуитивно понятно практически любому человеку. При таком подходе информация является неотъемлемой (и важнейшей) составляющей информационного процесса, который можно изобразить в виде простой схемы (рис.2.1).  В такой схеме наличие приемника информации является обязательным, поскольку полагается, что информация имеет смысл (содержание), который зависит от приемника. Действительно, одно и то же информационное сообщение (статья, письмо, рассказ и т.д.) может иметь различное содержание для разных людей - в зависимости от их предшествующих знаний, от уровня понимания этого сообщения, а также - интереса к нему. Однако, после возникновения науки кибернетики, традиционное понимание информации перестало быть единственным, поскольку научное познание пришло к ее пониманию как нечто самостоятельному, имеющему непосредственное отношение к процессам управления и развития, обеспечивающим устойчивость и выживаемость любых систем как биологических, так и технических, поэтому. Сегодня информация уже мыслится как важнейшая субстанция, наряду с материей и энергией, поэтому существует научный подход к понятию «информация». В природе существует два фундаментальных вида взаимодействия: обмен веществом и энергией, причем, сколько вещества и энергии один объект передал другому, столько тот и получил, и наоборот, т.е. эти виды взаимодействия подчиняются законам сохранения, соответственно, материи и энергии. Современной науке неизвестны взаимодействия, когда при них передачи материи или энергии не происходит. Но при этих взаимодействиях между объектами передается еще некая субстанция, причем таким образом, что один из них ее приобретает, а другой не теряет.Согласно этой точке зрения, 3) информация – это субстанция, проявляемая при материально-энергетическом взаимодействии объектов, причем таким образом, что один из них ее приобретает, а другой не теряет. Когда вы, например, информируете собеседника о каком-либо событии, то информация об этом событии у вас не исчезнет, причем независимо от количества собеседников. Можно в разных опытах передать одинаковое количество материи или энергии, но количество информации будет передаваться в них неодинаковое. Если поднять, к примеру, на высоту 1 м груз массой 1 кг в первом случае в виде одного предмета, а в другом – в виде 5 предметов по 200 г каждый, то поднятая материя будет иметь одинаковые массу и потенциальную энергию, но информация о количестве поднятых предметов будет, естественно, различной. И наоборот, одно и то же количество информации может быть передано перемещением различного количества и качества материи. Например, во втором случае информация о 5 предметах не зависит: от массы предметов, от высоты, на которую они поднимаются, от материала (железо, пластмасса или др.) предметов и их формы. Поэтому прямой связи между материей и информацией нет, что давно заметили люди, стараясь использовать для передачи информации технические средства, требующие для этого как можно меньше материальных и энергетических затрат. Особенно это заметно при сравнении первых компьютеров (потребляемая мощность 100000 Вт при 10 тысячах арифметических операций в секунду) с современными персональными компьютерами (потребляемая мощность 100 Вт при 100 миллионах операций в секунду). Подчеркнем, что поскольку материя является носителем информации, то при передаче последней необходимо перемещать и материю (или энергию) хотя бы в минимальном количестве. Грубо этот процесс можно сравнить с трамваем, едущим по рельсам: рельсы будут играть роль материи, а сам трамвай – роль информации, причем без рельсов движение трамвая невозможно (вспомним, что рельсы являются не только опорой, но проводом, по которому передается электроэнергия, питающая двигатель трамвая). То, что в окружающем нас мире, кроме материи и энергии есть еще что-то, показывает простой пример. Представьте какой-либо предмет (это материальное образование), который освещается, например солнцем, и отбрасывает тень. Чем является эта тень? Это не материя, поскольку с ней нельзя осуществить физические действия: пощупать, взвесить и т.д. Это и не энергия, поскольку с помощью тени нельзя выполнить никакой работы. Но с помощью тени можно передавать информацию. Известен, например, театр теней, когда сложные образы артистами создаются с помощью теней, отбрасываемых хитросплетениями их пальцев и других частей тела. Таким образом, имеются нематериальные свойства материального мира, которые невозможно измерить ни в единицах энергии, ни в единицах инерциальной массы, а потому они существуют независимо от энергии и массы. Это еще не означает, что эти свойства могут существовать вне материального мира, который они характеризуют. Информация – это неотъемлемое свойство материи и без материи существовать не может. Некоторые ученые склоняются к тому, что дать всеобъемлющее понятие информации невозможно. Известно, например, знаменитое высказывание основателя кибернетики Н. Винера: «Информация есть информация, а не материя и не энергия». Перефразируя Н.Винера, можно сказать, что 4) информация – это то, что не является ни материей, ни энергией. Тем самым Н. Винер отказался от строгой формулировки понятия информации, считая, что оно сродни таким категориям, как движение, жизнь, сознание [3]. Значительный объем представлений о содержании понятия «информация» накоплен в философии. Существует две концепции научного подхода к понятию информации –функциональная и атрибутивная [4]. «Функционалисты» связывают информацию лишь с функционированием самоорганизующихся систем (живых и технических), считая, что информация неразрывно связана лишь с процессами управления. Информация понимается при этом как свойство не всей, а лишь высокоорганизованной материи. При такой концепции информация возникает лишь вместе с жизнью и характеризует органическую природу, человеческое общество и технику, которая является продуктом сложной деятельности человека и которая используется им в процессах управления. Такая концепция является развитием первичной, поскольку также предполагает обязательное наличие как источника, так и потребителя информации, поэтому можно воспользоваться формулировкой 1). «Атрибутивисты» же определяют информацию как свойство всех без исключения материальных объектов - как живых, так и неживых, т.е. как атрибут материи. Этот подход хорошо иллюстрируют слова академика В.М. Глушкова: 5) «Информация в самом общем ее понимании представляет собою меру неоднородности распределения материи и энергии в пространстве и во времени, меру изменений, которыми сопровождаются все протекающие в мире процессы». Таким образом, «информацию несут в себе не только испещренные буквами листы книги или человеческая речь, но и солнечный свет, складки горного хребта, шум водопада, шелест листвы» [5]. Поэтому информация имеется там, где есть разнообразие, неоднородность, когда элементы чем-то различаются, и ее нет, если элементы тождественны друг другу. Например, растения содержат собственную генетическую информацию, и только благодаря этой информации из желудей, упавших с дуба, вырастут только дубы. Информация, согласно атрибутивной концепции, представляет собой всеобщее свойство взаимодействия материального мира, определяющее направленность движения энергии и вещества. Приведенные пять определений информации являются далеко не единственными. Также отметим, что научный подход к понятию информации не вытесняет традиционного во всех случаях, речь идет о многообразии и широте этого понятия. 2.2. Информация и данные Здесь необходимо затронуть вопрос о соотношении информации и другого важного понятия - «данные». Как отмечалось, информационное взаимодействие тел (от источника к приемнику) происходит посредством переноса материи или энергии в виде обмена сигналами. Сигнал - это физический процесс во времени, воздействия источника на приемник, когда в приемнике происходит изменение свойств в соответствии с информацией, содержащейся в сигнале. Воздействие может быть механическим или с помощью физического поля, например электромагнитного – при приеме радиопередач. Фиксирование этих изменений свойств называется регистрацией сигналов, которая внешне существует в виде каких-либо символов называемых данными. Эти символы (буквы, звуки и др.) обязательно существуют на каком-либо материальном носителе (бумага, жесткий диск, электронная память и др.). Данные - это зарегистрированные сигналы, существующие в виде определенной знаковой системы (цифровом, символьном, графическом, звуковом и любом другом формате) на материальном носителе, причем данные являются материальным способом существования информации, т.е. формой информации. Таким образом, с физической точки зрения нельзя отождествлять понятия «информация» и «данные»: данные – это материя: сигналы в виде, например, электромагнитного поля (оно является особым видом материи), их регистрация всегда на материальном носителе; а информация - это нематериальное образование. Несмотря на это, часто для решения технических задач, связанных с информационными процессами и функционированием компьютеров, в первую очередь с вопросами измерения количества информации, акцент смещается в сторону данных, вплоть до отождествления данных и информации. Рассмотрим, к примеру, задачу создания канала связи для передачи информации. Как и электрику, которому при прокладке электрической проводки неважно какие приборы будут подключены к сети, ему важно обеспечить протекание определенного (в соответствии с заданием) количества ампер по проводам без их перегрева, так и связисту не важен смысл передаваемой информации, а важным является лишь обеспечение передачи определенного количества именно данных. Или другой пример. В таком часто используемом информационном процессе, как хранение информации, по сути, имеют дело с преобразованием знаний только в данные, например, записью на компакт-диск, и хранении именно данных. Таким образом, для дальнейшего изложения отметим, что в информатике часто отождествляют понятия информации и данных в тех случаях, когда смысловое содержание информации не является главным (например, в процессах, связанных с хранением или передачей информации). 2.3. Информация и знания Информация также тесно связана со знаниями, это интуитивно понятно, но между этими понятиями имеется различие. Знания – это результат познавательной деятельности субъекта, включающей фиксирование информации, ее обработку и проверку практикой, с целью решения конкретных задач. Например, студент получил информацию на лекции по математике о способе интегрирования. Получил ли он знания? Конечно, еще нет. Для преобразования информации в знания необходимо проделать работу: запомнить материал, понять его, посмотреть пример решения, задать (при необходимости) уточняющие вопросы преподавателю, потренироваться в решении подобных задач, проверив правильность решения и т.д. Этот процесс занимает длительное время. Причем результат познавательной деятельности (т.е. количество и качество знаний) будет зависеть от многих субъективных (личностных) факторов: предыдущих знаний, мотивации, характера обучающегося и многого другого. Таким образом, знание относится к конкретному индивидууму, к тому, что отложилось в памяти и прошло через сознание. Что же касается информации, то она может передаваться по различным каналам в виде сигналов (данных), т.е. не является принадлежностью только конкретного субъекта. Или по-другому: знание относится к сфере понимания объективной реальности (окружающей среды) конкретным субъектом, в то время как информация – к процессам передачи этого понимания от одного субъекта к другому. Информация является источником знаний, их первопричиной. Но затем человек может добывать знания путем размышлений, доказывания теорем, логических построений в своем сознании. Простой пример. Человек получает два сообщения: «Компьютер является электронным устройством для обработки информации» и «Данный (конкретный) компьютер не подключен к электросети и в нем нет аккумулятора». Анализируя полученную информацию, человек получает новое знание, что этот конкретный компьютер не может обрабатывать информацию, поскольку ему из опыта известно, что для функционирования любого электронного устройства необходимо электропитание. Затем, при коммуникации (общении), знания могут превратиться в информацию, если специалист (знающий человек) захочет и сумеет облечь свои знания в соответствующую форму (речь, статья, видеозапись и т.д.). Поэтому неправильно говорить, что знания содержатся в книгах. В них содержится информация в форме данных. Воспринимая эту информацию, студент, например, может получить знания, если пройдет все ступени обучения, о которых говорилось в начале данного параграфа. 2.4. Способы измерения информации Вопрос о количестве информации и как его измерить является очень важным, поскольку он является основой научного подхода (известно выражение Д.И.Менделеева: «Наука начинается там, где начинаются измерения»). Это непростой вопрос. Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными. 2.4.1. Вероятностный подход к измерению информации. Единицы измерения информации Вокруг нас существует огромное число событий (особенно в спорте), которые имеют определенное количество возможных результатов (исходов), могущих произойти как с одинаковой вероятностью (жеребьевка спортсменов), так и с разными вероятностями (результат матча). В этих случаях для измерения информации удобнее пользоваться не самими знаниями о каком-либо событии, а неопределенностью знаний о нем. Это количество возможных результатов события: бросания монеты, кубика; вытаскивания жребия и др. Например, перед началом бросания игрального кубика неопределенность равна шести, поскольку он имеет шесть граней (количество возможных результатов события в данном случае равно шести). После бросания мы получаем один исход, поэтому неопределенность уменьшилась тоже в 6 раз. Насколько же увеличились наши знания ответить гораздо труднее. Еще пример: спортсмены-лыжники перед забегом путём жеребьёвки определяют свой порядковый номер на старте, если их, например 50, то и неопределенность равна пятидесяти и после жеребьевки для каждого спортсмена она снижается в 50 раз. Неопределенность знаний о событии равна количеству возможных результатов этого события. Информация, соответственно, снижает неопределенность знаний о событиях. При решении вопроса о количестве информации необходимо выбрать единицу ее количества, т.е. единицу измерения информации. В качестве ее принято минимально возможное количество, называемое битом. Бит – минимально возможное количество информации, принятое за единицу, когда принятое сообщение уменьшает неопределенность в два раза. Например, после бросания монеты, посмотрев на результат, вы получили зрительное сообщение, что выпал, допустим, орёл - реализовался один из двух возможных исходов. Неопределённость знаний уменьшилась в два раза: было два возможных варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации. Меньшего объема информации при наличии равновероятных исходов не существует. После бита следующей по возрастанию единицей является байт, причем 1 байт = 23 бит = 8 бит. Эта единица играет важную роль в информатике, поскольку, команды компьютеров связаны не с отдельными битами, а с кратным количеством байтов сразу. В информатике система образования кратных единиц измерения количества информации несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10n, где п = 3, 6, 9 и так далее, что соответствует десятичным приставкам Кило (103), Мега (106), Гига (109) и так далее. Компьютер оперирует числами не в десятичной, а в двоичной системе счисления, поэтому в кратных единицах измерения количества информации используется коэффициент 2n. Так, кратные байту единицы измерения количества информации вводятся следующим образом: 1 Кбайт (1 Кб) = 210 байт = 1024 байт; 1 Мбайт (1 Мб) = 210 Кбайт = 1024 Кбайт; 1 Гбайт (1 Гб) = 210 Мбайт = 1024 Мбайт. А теперь такая задача. Студент на экзамене может получить одну из четырёх оценок: «5», «4», «3», «2». Причём, учится он очень неровно и может с одинаковой вероятностью получить любую из этих оценок. После экзамена он пришёл домой и сообщает: «Я получил пятерку». Вопрос: сколько бит информации содержится в его сообщении? Подойдём к ответу постепенно: будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет». Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации. Первый вопрос: оценка выше тройки? Да! После этого ответа число вариантов уменьшилось в два раза. Остались только «4» и «5». При этом получен 1 бит информации. Второй вопрос: ты получил четверку? Нет! В итоге выбирается один вариант из двух оставшихся: оценка – «5». Получен еще 1 бит информации. В сумме имеем 2 бита. Сообщение о том, что произошло одно из четырёх равновероятных событий (неопределенность уменьшилась в четыре раза) несёт 2 бита информации. Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления. Обозначим буквой N количество возможных исходов (т.е. - неопределённость знаний). Буквой Iбудем обозначать количество информации в сообщении о том, что реализовался один из N исходов. В примере с монетой N = 2, I= 1бит. В примере с оценками N = 4, I= 2 бита. Нетрудно заметить, что связь между этими величинами выражается формулой: N=2 I. (2.1) Действительно: 21 = 2; 22 = 4. Решив это показательное уравнение относительно I, получим:  . (2.2)Количество информации может быть, естественно, и нецелым. Например, при бросании игрального кубика из шести равновероятных результатов получаем один, поэтому I=log2N = log26 = 2,58 бит. При таком понимании, если говорить коротко, информация - это снятая неопределенность, или результат выбора из набора возможных альтернатив. Очень важнымздесь является следующее. Если мы будем решать другие по смыслу задачи, но с таким же количеством возможных результатов, имеющих одинаковую вероятность, то получим такие же количества информации. Например, при сообщении номера полки (из четырех возможных), на которой находится книга, получим, как и в случае с оценкой, 2 бита информации. При сообщении о номере рейса самолета (из шести возможных), которым прилетает ваш родственник, вы получите 2,58 бита информации, как и в случае с бросанием кубика и т.д. Здесь имеет место такая же ситуация как при выполнении, например, арифметических вычислений: мы абстрагируемся от смысла решаемой задачи и оперируем только с числами. Эта концепция оказалась весьма полезной в технике связи и вычислительной технике, послужила основой для объективного измерения информации и оптимального кодирования сообщений. Причем эта концепция применима и для событий с исходами, имеющими разные вероятности, только формула для вычисления количества информации будет сложнее, чем выражение (2.2). Для интересующихся затронем этот вопрос. Из теории вероятностей известно, что если имеется N равновероятных исходов события, то вероятность каждого из них равна p=1/N. С учетом этого формулу (2.2) можно переписать в виде:  . (2.3)Если Nисходов, образующих полную группу (сумма их вероятностей равна 1), имеют разную вероятность появления pi, то количество информации об i-ом исходе определится формулой, аналогичной (2.3):  (2.4)Здесь отметим важный момент: чем меньше вероятность исхода события, тем большее количество информации оно несет, т.е. является с этой точки зрения более ценным. Например при p=0,8 по формуле (2.4) имеем I=0,32 бит, а при p=0,1 - I=3,32 бит. При неравновероятных событиях формула (2.4) определяет частичную информацию и имеет чисто теоретический интерес, поскольку в реальности при реализации одного из N исходов мы получим информацию обо всём опыте (да, реализовался только один вариант, но ведь в этом есть «вина» всех возможных исходов, например, данный вариант реализовался в силу того, что вероятности появления других были малы). Эту информацию обо всем опыте можно трактовать как среднюю информацию. Ее можно найти как среднеарифметическое частичных информаций (2.4), т.е. их суммированием с учетом того, сколько раз может реализоваться i-й вариант (что определяет вероятность этого варианта). Если первый вариант может произойти n1 раз из Nвозможных, то его вероятность p1=n1/N, второй – n2 раз, его вероятность p2=n2/N, и так далее. В итоге средняя информация определится выражением:  . (2.5)Впервые информацию и вероятность связал американский математик, основатель теории информации, К.Шеннон в конце 40-х годов ХХ века. При равновероятных событиях формула (2.3) также будет определять и среднюю информацию, подобно тому как, среднеарифметическое, например из 10 двоек, равно, естественно, двум. |