ИСТОЧНИК СООБЩЕНИИ

- объект, вырабатывающий сообщения, подлежащие передаче поканалу связи.Сообщение, вырабатываемое И. с.U,есть случайная величина x, определенная на нек-ромвероятностном пространствепринимающая значения в нек-ром измеримом пространстве и имеющая распределение вероятностей p(Х). Обычно

где (X_t, S_Xt) - экземпляры одного и того же измеримого пространства (X, S_X),а П - прямое произведение пространств (X_t, S_Xt),когда параметр tпробегает множество Д, являющееся, как правило, либо нек-рым интервалом (конечным, полубесконечным или бесконечным в обе стороны) действительной оси, либо нек-рым дискретным подмножеством этой оси (в последнем случае обычно D= {..., - 1,0, 1,...} или D={1, 2,...}). В первом из этих случаев говорят об И. с. с непрерывным временем, а во втором - об И. с. с дискретным временем. Ив том, и в другом случае сообщением служит случайный процесс x= {x(t), } со значениями в пространстве (X, S_X);в приложениях x(t) трактуется как сообщение, вырабатываемое И. с. в момент времениt.Наборы случайных величин наз.отрезками (t, T] сообщений.

И. с. делятся на различные классы в зависимости от типа сообщения - случайного процесса x(t), вырабатываемого И. с. Напр., если x(t) - случайный процесс с независимыми одинаково распределенными значениями или стационарный, эргодический, марковский, гауссовский и т. д. процесс, то И. с. наз. соответственно И. с. без памяти, стационарным, эргодическим, марковским, гауссовскими т. д.

Одной из задач в теорииинформации передачиявляется задача кодирования И. с. При этом различают, напр., кодирование И. с. кодами фиксированной длины, переменной длины, кодирование И. с. при заданных условиях точности и др. (в приложениях нек-рые задачи кодирования И. с. наз. квантованием сообщений, сжатием сообщений и т. д.). Напр., пусть U- И. с. без памяти с дискретным временем, вырабатывающий сообщение x = (...,x_-1, x₀, x₁,...),компоненты x_kк-рого принимают значения из нек-рого конечного множества (алфавита)X.Пусть имеется другое конечное множество (множество значений компонент x_kвоспроизводимого сообщения Кодированием объема Мотрезка x^L=(x₁,..., x_L).сообщения длины Lназ. отображениеX^Lв множество из Мэлементов и пусть - образ элемента при таком отображении (здесьX^L- прямое произведение Lэкземпляров множества X).Пусть, далее,сообщений точность воспроизведениязадается действительнозначной неотрицательной функцией - мерой искажения, так что средняя мера искажения нек-рого кодирования задается равенством

где

еслиx^L=(x₁,. . ., x_L)и е-энтропией

И. с. без памяти наз. величина

где I(Х, Х) -информации количество,а нижняя грань берется по всевозможным совместным распределениям пары таким, что распределениеХ₁совпадает с распределением отдельной компоненты И. с. Uи

Теорема кодирования И. с. Пусть есть е-энтропия дискретного источника Uбез памяти с конечной мерой искажения и пусть М=ехр{LR}.Тогда: 1) для любого е>0, любого d>0, любого и достаточно большого Lсуществует кодирование объема Мотрезка сообщения длины Lтакое, что среднее искажение удовлетворяет неравенству 2) еслиR_e(U),то при любом кодировании объема Мотрезка сообщения длины Lсреднее искажение r_Lудовлетворяет неравенству Эта теорема кодирования обобщается и на более общий класс И. с, напр, для И. с. с непрерывным пространством Xзначений компонент. В этом случае вместо кодирования объема Мговорят о квантовании И. с. объемаМ.Следует заметить, что е-энтропия входящая в формулировку теоремы, при e=0 и мере искажения

совпадает со скоростью создания сообщений заданным И. с.

Лит.:[1] Шеннон К., Работы по теории информации и кибернетике, пер. с англ., М., 1963; [2] Добрушин P. Л., "Успехи матем. наук", 1959, т. 14, в. 6, с. 3-104; [3] Галлагер Р., Теория информации и надежная связь, пер. с англ., М., 1974; [4] Вerger Т., Rate distortion theory, N.Y., 1971.

Р. Л. Добрушин, В. В. Прелое.