Винер Н. Кибернетика, или управление и связь в... Httpgrachev62. narod ru
 Скачать 2.71 Mb.
|
|
и равна нулю вне ее. Следовательно, количество информации, полученной при наложении условий на значения у, будет равно4 [c.125]
С этой задачей тесно связано обобщение задачи, о которой говорилось по поводу уравнения (3.091). Сколько информации в рассматриваемом случае приобретается нами об одних только переменных х1, ..., xn–m? Здесь априорная плотность вероятности этих переменных равна
а ненормированная плотность вероятности после фиксации величин у* будет
где Σ берется по всем множествам значений (xn–m+1, …, xn), соответствующим данному множеству значений у*. Основываясь на этом, нетрудно записать решение нашей задачи, хотя оно и будет несколько громоздким. Если мы примем множество (x1, …, xn–m) за обобщенное сообщение, множество (xn–m+1, …, xn) – за [c.126] обобщенный шум. а величины у* – за обобщенное искаженное сообщение, то получим, очевидно, решение обобщенной задачи выражения (3.091). Таким образом, мы имеем по крайней мере формальное решение обобщения упомянутой уже задачи о сигнале и шуме. Некоторое множество наблюдений зависит произвольным образом от некоторого множества сообщений и шумов с известным совместным распределением. Мы хотим установить, сколько информации об одних только сообщениях дают эти наблюдения. Это центральная проблема техники связи. Решение ее позволит нам оценивать различные системы связи, например системы с амплитудной, частотной или фазовой модуляцией, в отношении их эффективности в передаче информации. Это техническая задача, не подлежащая здесь подробному обсуждению; уместно, однако, сделать некоторые замечания. Во-первых, можно показать, что если пользоваться данным здесь определением информации, то при случайных помехах в эфире с равномерно распределенной по частоте мощностью и для сообщения, ограниченного определенным диапазоном частот и определенной отдачей мощности на этом диапазоне, не существует более эффективного способа передачи информации, чем амплитудная модуляция, хотя другие способы могут быть столь же эффективны. Во-вторых, переданная этим способом информация не обязательно имеет такую форму, которая наиболее приемлема для слуха или для другого данного рецептора. В этом случае специфические свойства уха и других рецепторов должны быть учтены при помощи теории, весьма сходной с только что изложенной. Вообще эффективное использование амплитудной модуляции или какого-либо другого вида модуляции должно быть дополнено применением соответствующих декодирующих устройств для преобразования принятой информации в такую форму, которая может быть хорошо воспринята рецепторами человека или же механическими рецепторами. Первоначальное сообщение тоже должно кодироваться, чтобы оно занимало возможно меньше места при передаче. Эта задача была разрешена, по крайней мере частично, когда Белловские телефонные лаборатории разработали систему “вокодер”, а д-р К. Шеннон из этих лабораторий [c.127] представил в весьма удовлетворительном виде соответствующую общую теорию. Так обстоит дело с определением и методикой измерения информации. Теперь рассмотрим, каким способом информация может быть представлена в однородной во времени форме. Заметим, что большинство телефонных устройств и других приборов связи в действительности не предполагает определенного начала отсчета во времени. В самом деле, только одна операция как будто противоречит этому, но и здесь противоречие лишь кажущееся. Мы имеем в виду модуляцию. В ее наиболее простом виде она состоит в преобразовании сообщения f(t) в сообщение вида f(t)sin(at+b). Однако, если мы будет рассматривать множитель sin(at+b) как добавочное сообщение, вводимое в аппаратуру, то, очевидно, случай модуляции подойдет под наше общее утверждение. Добавочное сообщение, которое мы называем переносчиком, ничего не прибавляет к скорости передачи информации системой. Вся содержащаяся в нем информация посылается в произвольно короткий промежуток времени, и затем больше ничего нового не передается. Итак, сообщение, однородное во времени, или, как выражаются профессионалы-статистики, временной ряд, находящийся в статистическом равновесии, есть функция или множество функций времени, входящее в ансамбль таких множеств с правильным распределением вероятностей, не изменяющимся, если всюду заменить t на t+τ. Иначе говоря, вероятность ансамбля инвариантна относительно группы преобразований, состоящей из операторов Tλ которые изменяют f(t) в f(t+λ). Группа удовлетворяет условию
Следовательно, если Ф[f(t)] – “функционал” от f(t), т.е. число, зависящее от всей истории функции f(t), и среднее значение f(t) по всему ансамблю конечно, то мы вправе применить эргодическую теорему Биркгоффа из предыдущей главы и заключить, что всюду, исключая множество значений f(t) нулевой вероятности, существует временное среднее от Ф[f(t)], или в символах
[c.128] Но это еще не все. В предыдущей главе проводилась другая теорема эргодического характера, доказанная фон Нейманом: коль скоро некоторая система переходит в себя при данной группе сохраняющих меру преобразований, как в случае нашего уравнения (3.15), то, за исключением множества элементов нулевой вероятности, каждый элемент системы входит в подмножество (быть может, равное всему множеству), которое: 1) переходит в себя при тех же преобразованиях; 2) имеет меру, определенную на нем самом и также инвариантную при этих преобразованиях; 3) замечательно тем, что любая часть этого подмножества с мерой, сохраняемой данной группой преобразований, имеет либо максимальную меру всего подмножества, либо меру 0. Отбросив все элементы, не принадлежащие к такому подмножеству, и используя для него надлежащую меру, мы найдем, что временное среднее (3.16) почти во всех случаях равно среднему значению функционала Ф[f(t)] по всему пространству функций f(t), т.е. так называемому фазовому среднему. Стало быть, в случае такого ансамбля функции f(t), за исключением множества случаев нулевой вероятности, мы можем найти среднее значение любого статистического параметра ансамбля по записи любого временного ряда ансамбля, применяя временное среднее вместо фазового. Более того, этим путем можно найти одновременно любое счетное множество таких параметров ансамбля, и нам нужно знать лишь прошлое одного, почти какого угодно временного ряда ансамбля. Другими словами, если дана вся прошлая история – вплоть до настоящего момента – временного ряда, принадлежащего к ансамблю в статистическом равновесии, то мы можем вычислить с вероятной ошибкой, равной нулю, все множество статистических параметров ансамбля, к которому принадлежит ряд. До сих пор мы установили это для отдельного временного ряда, но сказанное справедливо также для многомерных временных рядов, где вместо одной изменяющейся величины мы имеем несколько одновременно изменяющихся величин. Теперь мы можем рассмотреть различные задачи, относящиеся к временным рядам. Ограничимся случаями, в которых все прошлое временного ряда может быть задано счетным множеством величин. Например, для [c.129] довольно широкого класса функций f(t) (–∞ < t < ∞) функция f(t) полностью определена, если известно множество величин
Пусть теперь А – некоторая функция от будущих значений t, т.е. от значений аргумента, больших нуля. Тогда мы можем определить совместное распределение величин (a0, a1, ..., аn, A) из прошлого одного, почти любого временного ряда, если множество функций f берется в самом узком возможном смысле. В частности, если даны все a0, ..., аn, то мы можем найти распределение функции А. Здесь мы прибегаем к известной теореме Никодима об условных вероятностях. Та же теорема гарантирует нам, что это распределение при весьма общих условиях стремится к пределу, когда п→∞, и этот предел даст нам полные сведения относительно распределения любой будущей величины. Мы можем таким же образом определить по известному прошлому совместное распределение значений любого множества будущих величин или любого множества величин, зависящих от прошлого и от будущего. Если теперь нам дана некоторая подходящая интерпретация “наилучшего значения” статистического параметра или множества статистических параметров – например, в смысле математического ожидания, или медианы, или моды, – то мы можем вычислить это значение из известного распределения и получить предсказание, удовлетворяющее любому желательному критерию надежности предсказания. Мы можем численно оценить качество предсказания, применяя какой угодно статистический показатель качества: среднеквадратическую ошибку, максимальную ошибку, среднюю абсолютную ошибку и т.д. Мы можем вычислить количество информации о любом статистическом параметре или множестве статистических параметров, которое дает нам фиксация прошлого. Можно даже вычислить количество информации о всем будущем после определенного момента, даваемое нам знанием прошлого. Правда, если этот момент – настоящее, то, вообще говоря, мы будем знать о нем из прошлого, и наше знание настоящего будет содержать бесконечно много информации. [c.130] Другой интересной проблемой является проблема многомерных временных рядов, в которых мы точно знаем лишь прошлое нескольких составляющих. Распределение величины, зависящей от более богатого прошлого, может изучаться методами, весьма близкими к уже рассмотренным. В частности, нам может понадобиться узнать распределение значений другой составляющей или множества значений других составляющих в некоторый момент прошлого, настоящего или будущего. К этому классу относится и общая задача о волновом фильтре. Даны сообщение и шум, скомбинированные некоторым образом в искаженное сообщение, прошлое которого нам известно. Нам известно также статистическое совместное распределение сообщения и шума как временных рядов. Мы ищем распределение значений сообщения в данный момент прошлого, настоящего или будущего. Затем мы разыскиваем оператор, который, будучи применен к прошлому искаженного сообщения, восстановит истинное сообщение наилучшим образом, в данном статистическом смысле. Мы можем также искать статистическую оценку какой-либо меры ошибок в нашем знании сообщения. Наконец, мы можем искать количество информации, которым располагаем в сообщении. Особенно простым и важным является ансамбль временных рядов, связанный с броуновым движением. Броуновым движением называется движение частицы газа, толкаемой случайными ударами других частиц под действием теплового возбуждения. Теория его была разработана многими исследователями, в частности Эйнштейном, Смолуховским, Перреном и автором5. Если только мы не спускаемся по шкале времени до столь малых промежутков, что становятся различимыми отдельные удары частиц по данной частице, броуново движение обнаруживает любопытное явление недифференцируемости. Средний квадрат перемещения частицы в данном направлении за данный промежуток времени пропорционален длине этого промежутка, а перемещения за [c.131] последовательные промежутки времени совершенно не коррелируются между собой. Это вполне согласуется с физическими наблюдениями. Если мы нормируем шкалу броунова движения соответственно шкале времени и будем рассматривать только одну координату х, положив x(t)=0 для t=0, то вероятность того, что при 0≤t1≤t2…≤tnчастицы находятся между х1 и x1+dx1 в момент t1 между х2 и x2+dx2 в момент t2, ..., между xп и xп+dхп в момент tn равна
Исходя из создаваемой этим системы вероятностей, вполне однозначной, мы можем ввести на множестве путей, соответствующих различным возможным броуновым перемещениям, такой параметр α, лежащий между 0 и 1, что: 1) каждый путь будет функцией x(t,α), где х зависит от времени t и параметра распределения α и 2) вероятность данному пути находиться в данном множестве S будет равна мере множества значений α, соответствующих путях, находящимся в S. Поэтому почти все пути будут непрерывными и недифференцируемыми. Весьма интересен вопрос об определении среднего значения произведения x(t, α), …, x(tn, α) относительно α. Это среднее равно
при условии 0 ≤t1 ≤…≤ tn. Положим
[c.132] где λk,1+λk,2+…+λk,n=n.Тогда выражение (3.19) примет значение
Здесь первая сумма берется по j; вторая – по всем способам разбиения п элементов на пары в группах, включающих соответственно λk,1, …, λk,n элементов; произведение – по парам значений k и q, где λk,1 элементов среди выбранных tk и tq равны t1, λk,2 элементов равны t2 и т.д. Отсюда сразу же следует
|
