1. Поколения вычислительных машин. 5

• Название: 1. Поколения вычислительных машин. 5
• Дата: 30.05.2022
• Размер: 2.93 Mb.
• Имя файла: ovs_voprosy.docx
• Тип: Документы; #557969
• страница: 30 из 38

82. Кодированное представление медийных объектов. Состав медийных объектов. Описание и синхронизация потоков данных для медийных объектов

Кодированное представление медийных объектов

Аудиовизуальные сцены MPEG-4 формируются из нескольких медийных объектов, организованных иерархически. На периферии иерархии находятся примитивные медийные объекты:

• 
  статические изображения (например, Фон изображения),
  
• 
  видео-объекты (например, говорящее лицо – без фона)
  
• 
  аудио-объекты (например, голос данного лица);
  

Кроме медиа-объектов, упомянутых выше, MPEG-4 определяет кодовое представление объектов, такое как:

• 
  текст и графика;
  
• 
  говорящие синтезированные головы и ассоциированный текст, использованный для синтеза речи и анимации головы;
  
• 
  синтезированный звук.
  

Медиа-объекты в его кодированной форме состоит из описательных элементов, которые позволяют обрабатывать его в аудио-визуальной сцене, а также, если необходимо, ассоциированный с ним поток данных.

Состав медийных объектов

MPEG-4 предлагает стандартизованный путь описания сцен, позволяющий:

• 
  помещать медиа-объекты, где угодно в заданной координатной системе;
  
• 
  применять преобразования для изменения геометрического или акустического вида медиа-объекта;
  
• 
  группировать примитивный медиа-объекты для того чтобы образовать составные медиа-объекты;
  
• 
  использовать потоки данных, чтобы видоизменять атрибуты медиа-объектов (например, звук, движущуюся текстуру, принадлежащую объекту; параметры анимации, управляющие синтетическим лицом);
  
• 
  изменять, интерактивно, точку присутствия пользователя на сцене (его точку наблюдения и прослушивания).
  

Описание и синхронизация потоков данных для медийных объектов

Медиа-объектам может быть нужен поток данных, который преобразуется в один или несколько элементарных потоков. Дескриптор объекта идентифицирует все потоки ассоциированные с медиа-объектом. Это позволяет иерархически обрабатывать кодированные данные, а также ассоциированную медиа-информацию о содержимом.

Каждый поток характеризуется набором дескрипторов для конфигурирования информации, например, чтобы определить необходимые ресурсы записывающего устройства и точность кодированной временной информации.

Синхронизация элементарных потоков осуществляется за счет временных меток блоков данных в пределах элементарных потоков. Уровень синхронизации управляет идентификацией таких блоков данных (модулей доступа) и работой с временными метками. Независимо от типа среды, этот слой позволяет идентифицировать тип модуля доступа (например, видео или аудио кадры, команды описания сцены) в элементарных потоках, восстанавливать временную базу медиа-объекта или описания сцены, и осуществлять их синхронизацию. Синтаксис этого слоя является конфигурируемым самыми разными способами, обеспечивая работу с широким спектром систем.

83. Доставка потоков данных. Взаимодействие с медийными объектами. Менеджмент и идентификация интеллектуальной собственности

Доставка потоков данных

Синхронизованная доставка потока данных отправителя получателю, которая использует различные QoS, доступные в сети, специфицирована в терминах слоя синхронизации и доставки, содержащих двухслойный мультиплексор (см. рис. 6.2).

Первый слой мультиплексирования управляется согласно спецификации DMIF (Delivery Multimedia Integration Framework). Это мультиплексирование может быть реализовано определенным в MPEG мультиплексором FlexMux, который позволяет группировать элементарные потоки ES (Elementary Streams) с низкой избыточностью. Мультиплексирование на этом уровне может использоваться, например, для группирования ES с подобными требованиями по QoS, чтобы уменьшить число сетевых соединений или значения задержек.



Рис. 6.2.Модель системного слоя MPEG-4

Слой TransMux (Transport Multiplexing) на рис. 6.2 моделирует уровень, который предлагает транспортные услуги, удовлетворяющие требованиям QoS. MPEG-4 специфицирует только интерфейс этого слоя, в то время как остальные требования к пакетам данных будут определяться транспортным протоколом. Любой существующий стек транспортных протоколов, например (RTP)/UDP/IP, (AAL5)/ATM или MPEG-2 Transport Stream, поверх подходящего канального уровня может стать частным случаем TransMux.

Использование мультиплексора FlexMux является опционным, и, как показано на рис. 6.2, этот слой может быть пустым, если нижележащий TransMux предоставляет все необходимые функции. Слой синхронизации, однако, присутствует всегда. С учетом этого возможно:

• 
  идентифицировать модули доступа, транспортные временные метки и эталонную временную информацию, а также регистрировать потерю данных;
  
• 
  опционно выкладывать данные от различных элементарных потоков в потоки FlexMux;
  
• 
  передавать управляющую информацию;
  
• 
  индицировать необходимый уровень QoS для каждого элементарного потока и потока FlexMux;
  
• 
  транслировать данные требования QoS в действительные сетевые ресурсы;
  
• 
  ассоциировать элементарные потоки с медиа-объектами;
  
• 
  передавать привязку элементарных потоков к FlexMux- и TransMux-каналам.
  

Взаимодействие с медийными объектами

Пользователь видит сцену, которая сформирована согласно дизайну разработчика. В зависимости от степени свободы, предоставленной разработчиком, пользователь имеет возможность взаимодействовать со сценой. Пользователю могут быть разрешены следующие операции:

• 
  изменить точку наблюдения/слушания на сцене;
  
• 
  перемещать объекты по сцене;
  
• 
  вызывать последовательность событий путем нажатия кнопки мыши на определенных объектах, например, запуская или останавливая поток данных;
  
• 
  выбирать предпочтительный язык, когда такой выбор возможен.
  

Менеджмент и идентификация интеллектуальной собственности

MPEG-4 включает в себя идентификацию интеллектуальной собственности путем запоминания уникальных идентификаторов, которые выданы международными системами. Эти числа могут использоваться для идентификации текущего владельца прав медиа-объекта. Так как не все содержимое идентифицируется этим числом, MPEG-4 версии 1 предлагает возможность идентификации интеллектуальной собственности с помощью пары ключевых значений. Кроме того, MPEG-4 предлагает стандартизованный интерфейс, который тесно интегрирован с системным слоем для людей, которые хотят использовать системы, контролирующие доступ к интеллектуальной собственности. С этим интерфейсом системы контроля прав собственности могут легко интегрироваться со стандартизованной частью декодера.