Формат AVI

Лекция №5. ВИДЕОСРЕДА МУЛЬТИМЕДИА

Структура лекции:

Анимация

Видео

 

Мультимедиа-информация содержит не только текст, графику, аудиоинформацию, но также видео и анимационные последовательности. Человек воспринимает 95 % поступающей к нему извне информации визуально в виде изображения. Такое представление информации по своей природе более наглядно и легче для восприятия. В настоящее время во многих областях науки и техники ощущается потребность в переработке видеоинформации. «Видеоинформация — это зафиксированное на каком- либо носителе изображение реального мира, полученное с помощью каких-либо датчиков таким, каким его видит глаз человека» [40]. Основными свойствами видеоинформации являются: наглядность, избыточность и компактность. Видеоинформация отражает реальные свойства двух- и трехмерных реальных изображений.

Использование видеоряда (от лат. video — смотрю + ряд) — последовательность изображений на экране, сопровождающая какой-либо текст, «картинка» [40]) в составе мультисреды предполагает решение значительно большего числа проблем, чем использование аудио. Одна из них — разрешающая способность экрана и количество цветов. При использовании реалистических изображений приходится экспериментировать, искать приемлемое решение выбора того или иного разрешение. Зачастую как альтернативное решение данной проблемы является использование механизма смены палитр, программно реализующей выбор тех 256 цветов, которые дают наиболее натуральное представление данного объекта.

Следующая проблема использования видеоряда — это очень большой объем информации. Такие значительные объемы сразу определяют высокие требования к носителю информации, видеопамяти и скорости передачи данных. Для преодоления данной проблемы чаще всего используется уменьшение размеров изображения, а также вывод на экран только отличий следующего кадра от предыдущего.

Выделяют два вида видеорядов:

статический - включает графику (рисунки, интерьеры, поверхности, символы в графическом режиме) и фото (фотографии и сканированные изображения);

динамический - представляет собой последовательность статических элементов (кадров). В динамическом видеоряде можно выделить три типовых группы:

• анимация — последовательность рисованных изображений;

• обычное видео (life video) — последовательность фотографий

(около 24 кадров в секунду);

• квазивидео — разреженная последовательность фотографий

(6—12 кадров в секунду);

 

5.1. Анимация

Отличием анимации от видео является технология получения, создания изображения. Живое действие использует камеры для захвата изображений, которые после этого воспроизводятся. Для анимации необходимо нарисовать каждое изображение и затем создать имитацию движения. Существует несколько определений понятия «анимация».

Анимация — это процесс создания множества изображений, демонстрации изменений объекта во времени и воспроизведение этих изображений с такой скоростью, что они сливаются в плавное движение [51].

Анимация (от фр. animation — оживление, одушевление) — вид киноискусства и его произведение, а также соответствующая технология.

Анимация — процесс придания способности двигаться и/или видимости жизни объектам и мертвым телам в выдуманных мирах художественных произведений и играх жанра фэнтези [28].

Основными технологиями создания анимации являются следующие.

Ротоскопирование — создание анимации путем последовательной обрисовки каждого кадра натурного фильма с реальными актерами и декорациями. Как разновидность данной технологии применяют анимацию, называемую «запись движения». Эта анимация записывается специальным оборудованием с реально двигающихся объектов и переносится на их имитацию в компьютере.

Пластилиновая анимация — покадровая съемка пластилиновых объектов, которые модифицируются в промежутках между снятыми кадрами.

Песочная анимация — создание изображения и имитация его движения происходят за счет перемешивания слоев легкого порошка, расположенного на стекле тонкими слоями, передающееся на экран с помощью диапроектора или световой доски.

«Мультипликация (от лат. multiplicatio — умножение, увеличение, возрастание, размножение) — технические приемы получения движущихся изображений, иллюзий движения и/или изменения формы (морфинг) разнообразных объектов живой и неживой природы [43], в частности, персонажей или сцен кино- или телефильмов. Благодаря технике мультипликации появилось мультипликационное анимационное искусство кинематографа и художественного телевидения» [Википедия].

Принцип мультипликации был найден задолго до изобретения братьями Люмьер кинематографа. Многие ученые и изобретатели использовали для воспроизведения на экране движущихся изображений вращающийся диск или ленту с рисунками, систему зеркал и источник света — фонарь. Днем рождения рисованной мультипликации считается 30 августа 1877 года, когда было запатентовано изобретение Эмиля Рено. Слова «мультипликация» и «анимация» можно считать синонимами, несмотря на различное происхождение этих слов и их значений, при условии, что термин «анимация» воспринимать только технически.

Компьютерная анимация — это:

• вид анимации, создаваемый при помощи компьютера, в котором все кадры синтезируются специальными компьютерными программами;

• последовательный показ заранее подготовленных графических файлов, а также компьютерная имитация движения с помощью изменения (и перерисовки) формы объектов или показа последовательных изображений с фазами движения [51].

Компьютерная анимация получила широкое применение в компьютерных играх, мультимедийных приложениях, для оформления web-страниц и рекламы, а также в производственной, научной и деловой сферах.

Аниме (от англ. animation — анимация) — японская анимация, предназначенная в основном для подростковой и взрослой аудитории. Аниме отличается характерной манерой отрисовки персонажей и фонов. [13]. Источниками для сюжета аниме-сериалов чаще всего являются: японские комиксы, лайт-новеллы или компьютерные игры, иногда используются произведения классической литературы.

Анимация использует те же способы создания изображений, что и компьютерная графика. Анимированное изображение, значит движущееся с течением времени, т. е. добавляется еще некая временная составляющая, в отличие от статической картинки. Самый известный способ формирования этой временной составляющей — это анимация путем смены отдельных картинок с некоторой частотой. Любой видеофильм можно представить, как последовательность отдельных кадров, которые очень быстро сменяют друг друга. Этот поток изображений выглядит как одна движущаяся картинка, поскольку физиологически человеческий глаз не улавливает смену кадров. Для достижения такого эффекта частота кадров должна быть достаточно велика. В зависимости от способа хранения и представления отдельных кадров фильма компьютерная анимация относится к одному из двух видов — покадровой или трансформационной анимации [65].

Покадровая анимация — это наиболее распространённый вид анимации, представляющий собой набор кадров, хранящихся как отдельные изображения и сменяющих друг друга с большой скоростью. Покадровая анимация незаменима при создании сложных фильмов с богатой графикой.

Трансформационная анимация сразу задает поведение того или иного примитива, для чего создаются два ключевых кадра (расстановку которых осуществляет аниматор), определяющие начальное и конечное состояние изображения. Остальные промежуточные кадры будут сформированы программой проигрывателем на основе заданных ключевых кадров.

Трансформационную анимацию чаще всего создают на основе векторной графики, поскольку для создания параметров примитивов всех промежуточных кадров достаточно взять параметры ключевых кадров. Несмотря на некоторое ограничение возможностей, трансформационная анимация получила довольно широкое распространения за счет таких своих преимуществ (по сравнению с покадровой технологией), как простота создания, компактность, легкость правки. Трансформационная анимация широко используется для разработки элементарных анимационных эффектов для веб-страниц, для создания простейших фильмов для рекламы, развлечения и обучения.

Технология открытых систем позволяет объединить достоинства и избавиться от недостатков этих двух видов анимации, поскольку дает возможность работать сразу с несколькими пакетами, а также расширить функции профессиональных пакетов за счет дополнительных приложений.

Компьютерные технологии открыли новые эффективные возможности создания анимации. Двухмерная (2D графика) анимация использует традиционный метод покадровой анимации. В некоторых случаях используется твининг (tweening) — автоматическое генерирование промежуточных кадров. Применяется также морфинг, деформирование изображений, разнообразные оптические эффекты и циклическое изменение света. Для реализации трехмерной (3D-графика) анимации необходимо создать сами объекты, объединить в единую сцену, установить освещение и камеру, а затем задать количество кадров и траекторию движение предметов [13]. Для создания реалистичных трехмерных изображений используются методы совмещения видеозаписи и анимационных эффектов.

Часто объекты создаются трехмерной графикой, а с помощью конвертирующих фильтров приобретают вид плоской анимации. Такая технология обеспечивает точность и скорость анимации, а также предсказуемость визуализации, что особенно важно при медленных движениях.

Зачастую выделяют еще процедурную и программируемую анимации, как отдельные техники создания движения изображения [34].

• Процедурная анимация — полностью или частично рассчитывается компьютером. Она включает в себя имитацию движения и взаимодействия твердых и мягких тел, частиц, жидкостей и газов, а также расчет движения системной структуры связей под каким-либо воздействием.

• Программируемая анимация — движения анимируемых объектов полностью программируются компьютером. Наиболее широкое применение получили такие языки, как Java-Script (браузерный язык) и Action-Script (язык работы с приложениями Flash). Преимущество программируемой анимации — в уменьшении размера исходного файла, недостаток — нагрузка на процессор клиента.

Для создания анимированных изображений существует множество программ: Adobe Photoshop, Gimp, Adobe Flash Professional и другие. Нередко для создания анимации используют цифровой фотоаппарат, управление которым, а также полученными изображениями осуществляется через компьютер со специальным программным обеспечением.

 

5.2. Видео

Один из наиболее важных компонентов персонального компьютера — это видеоподсистема, которая состоит из двух основных частей: монитора и видеоадаптера. Монитор является неотъемлемой частью любой системы, с помощью которого пользователь получает визуальную информацию. Созданием изображения на мониторе управляет обычно аналоговый видеосигнал, формируемый видеоадаптером (видеокартой, видеоплатой). Данное устройство интегрировано в системную плату или находится в качестве самостоятельного компонента (рис. 5.1).

Рисунок 5.1. Видеоплата

 

Главной функциональной задачей видеоадаптера является преобразование полученной от центрального процессора информации и команд в формат, который воспринимается электроникой монитора.

Видеокарта состоит из памяти, контроллера, цифро-аналогового преобразователя и постоянного запоминающего устройства (рис. 5.2).

Рисунок 5.2. Составляющие видеоадаптера

Видеопамять — предназначена для хранения изображения. От ее объема зависит максимально возможное полное разрешение видеокарты.

Видеоконтроллер — его функциональной задачей является вывод изображения из видеопамяти, регенерация ее содержимого, формирование сигналов развертки для монитора и обработку запросов центрального процессора. Многие видеоконтроллеры является потоковыми: их работа основана на создании и смешивании воедино нескольких потоков графической информации [3]. Видеоконтроллер с потоковой обработкой, а также с аппаратной поддержкой некоторых типовых функций называется акселератором, или ускорителем, и служит для разгрузки центрального процессора.

ЦАП (цифро-аналоговый преобразователь) или RAMDAC (Random Access Memory Digital-to-Analog Converter) предназначен для преобразования результирующего потока данных, формируемого видеоконтроллером, в уровни интенсивности цвета, подаваемые на монитор. Его параметрами определяется возможный диапазон цветности изображения (за исключением плоскопанельных мониторов).

Видео-ПЗУ (постоянное запоминающее устройство) — в него записаны видео-BIOS, экранные шрифты, служебные таблицы и т. п. Данное устройство необходимо только для первоначального запуска адаптера и работы в режиме MS DOS. В результате выполнения центральным процессором программ из ПЗУ, происходят обращения к видеоконтроллеру и видеопамяти.

Одним из самых важных моментов, влияющим на производительность видеоподсистемы, вне зависимости от специфических функций различных графических процессоров, является передача цифровых данных, обработанных графическим процессором, в видеопамять, а оттуда в RAMDAC. Практически на всем пути следования цифровых данных над ними производятся различные операции преобразования, сжатия и хранения [39].

Рассмотрим принцип работы видеокарты (рис. 5.3): двоичные цифровые данные обрабатываются центральным процессором, затем через шину данных (в цифровом виде) попадают в видеопроцессор, где начинается их обработка. После этого цифровые данные направляются в видеопамять, где создается образ изображения, которое должно быть выведено на дисплее. Затем, все еще в цифровом формате, данные, образующие образ, передаются в RAMDAC, где они конвертируются в аналоговый вид, после чего передаются в монитор, на котором выводится требуемое изображение.

 

Рисунок 5.3. Этапы следования данных от центрального процессора системы до монитора

 

Скорость обмена данными между центральным процессором и графическим процессором напрямую зависит от частоты, на которой работает шина, через которую передаются данные. Рабочая частота шины зависит от чипсета материнской платы. Таким образом, чем выше рабочая частота шины, тем быстрее данные от центрального процессора системы дойдут до графического процессора видеоадаптера. Для нормальной работы графической платы видеопамять должна быть постоянно доступна для графического процессора и RAMDAC, которые должны постоянно осуществлять чтение и запись. Увеличение производительности видеопамяти идет по пути совершенствования различных типов памяти, с улучшенными свойствами и возможностями, а также увеличение ширины шины данных, по которой графический процессор или RAMDAC обмениваются информацией с видеопамятью. Все это особенно актуально для профессиональной работы в области графики, анимации, САПР [25].

Существует два типа видео: аналоговое и цифровое. Аналоговый видеосигнал в телевидении содержит 625 строк в кадре при соотношении размера кадра 4 х 3, что соответствует телевизионному стандарту. Этот сигнал является композитным и получается сложением яркостного сигнала Y, сигнала цветности (два модулированных цветоразностных сигнала U и V) и синхроимпульсов. Высокое качество компонентного сигнала достигается, если все три составляющих (Y, U, V) передаются отдельно.

Цифровое видео первоначально представляло собой преобразованный в цифровой формат аналоговый сигнал [2]. Появления цифровых видеокамер позволило получать сигнал сразу в цифровой форме. Цифровое видео и обработка видеоизображений являются самым широким направлением использования ПК как среди специалистов, так и среди обыкновенных пользователей компьютерной техники.

Основными операциями, производимыми при вводе видеосигнала в компьютер, являются следующие.

• Захват кадра — заключается в разделении принимаемого аналогового видеосигнала на компоненты RGB или YUV с помощью цветового декодера [20].

Качество зафиксированного в компьютере изображения зависит от: глубины оцифровки, частоты дискретизации видеосигнала, степени сжатия видеопоследовательности. Совместное использование RGB-входа и оцифровки 8:8:8(отношение Y:U:V) обеспечивает наилучшее качество захвата изображения.

• Получение цифрового представления для отдельных кадров или видеоряда. Одной из важных характеристик устройств ввода видеосигнала является также емкость буферной памяти, которая устанавливается на самом устройстве. В зависимости от ее объема происходит полная (объем буферной памяти> 1.5 Мбайт) или неполная (емкость буферной памяти <768 Кбайт) оцифровка видеосигнала.

Большинство устройств ввода видеосигнала могут отображать видеофильм на мониторе [12]. Это обеспечивается за счет того, что видеоадаптеры имеют средства связи с источниками телевизионных сигналов и встроенные системы захвата кадра (компрессии/декомпрессии видеосигналов) в реальном масштабе времени, а также за счет быстрой видеопамяти видеоадаптеров и специальных графических ЭЭ-ускорителей процессора. Это позволяет обеспечивать вывод подвижных полноэкранных изображений.

• Запись последовательности кадров в память (или на какой-либо носитель) Сохранение оцифрованного изображения требует от компьютера больших объемов внешней памяти.

Видеоизображение состоит из тысяч элементов, формирующих отдельные кадры видеоряда. Последовательность данных кадров недостаточно только запомнить, ее надо вывести на экран в соответствующем темпе (около 30 Мбайт/с). Такой скоростью передачи информации не обладает ни одно из существующих внешних запоминающих устройств. Для того чтобы вывести на монитор компьютера оцифрованное видео, необходимо уменьшить объем передаваемых данных, что приводит к ухудшению качества изображения. Решение данной задачи происходит с помощью методов сжатия/развертки данных, которые позволяют сжимать информацию перед записью на внешнее устройство, а затем считывать и разворачивать в реальном режиме времени при выводе на экран [46].

Для уменьшения объема цифровых видеофайлов используют методы сжатия данных, которые базируются на математических алгоритмах устранения, группировки и усреднения схожих данных, присутствующих в видеосигнале [20, 22]. Все существующие алгоритмы сжатия (Compact Video, Motion-JPEG, MPEG, Intel Indeo, DivX, Cinepak, Sorenson Video и др.) могут быть разделены на следующие группы.

Сжатие в режиме реального времени — система оцифровки видеосигнала с одновременным сжатием [64]. Для качественного выполнения этих операций требуются высокопроизводительные специальные процессоры. При использовании данного алгоритма сжатия зачастую нарушается плавность изображения и его синхронизация со звуком, поскольку большинство плат ввода/вывода видео на PC пропускают кадры.

Симметричное сжатие — оцифровка и запись производится при параметрах последующего воспроизведения.

Асимметричное сжатие — обработка выполняется при существенных затратах времени (например, отношение асимметричности 100:1 указывает, что 1 минута сжатого видео соответствует затратам на сжатие в 100 минут реального времени).

Сжатие с потерей или без потери качества. Практически все методы сжатия приводят к некоторой потере качества.

Качество видео зависит от используемого алгоритма сжатия, параметров видеоплаты оцифровщика, конфигурации компьютера и даже от программного обеспечения.

 

Форматы видео

Формат QuickTime

Формат QuickTime — один из самых первых форматов видеофайлов, получивший широкое распространение. Разработан фирмой Apple в начале 80-х годов.

Позволяет хранить видео- и аудиоинформацию в одном файле с расширением .mov. Для сжатия данных используется одноименный алгоритм. Степень сжатия довольно велика. Широко применяется для распространения коротких музыкальных, рекламных и обзорных видеоклипов.

Формат AVI

Формат AVI (Audio-Visual Interleave) разработан компанией Microsoft в начале 90-х гг. для использования в пакете Microsoft Video for Windows — мультимедийном расширении операционной системы Windows. Файлы с расширением avi содержат одновременно несколько потоков данных. Данный формат широко применяется для самых разных фильмов, часто используется в вебдизайне. Для проигрывания AVI-файлов можно использовать специальную версию приложения Media Player, которая поставляется вместе с Video for Windows.

Компания Microsoft признала формат устаревшим в силу некоторых ограничений. На смену ему был подготовлен формат WMV.

Формат WMV

Формат WMV (Windows Media — Video) разработан компанией Microsof в конце 90-х гг.

Файлы WMV могут хранить видео- и аудиоинформацию и имеют расширения wmv и asf. Для сжатия информации использует собственный кодек. Имеет средства защиты от несанкционированного копирования. Существует особая разновидность формата, предназначенная для хранения звука. Файлы такого расширения имеют расширение wma (Windows Media — Audio).

 

Формат RealMedia

Формат RealMedia разработан компанией RealNetwork в середине 90-х гг. специально для распространения видео через Интернет. Позволяет хранить видео- и аудиоинформацию в одном файле с расширениями rm и smil. Для сжатия данных используется одноименный алгоритм, позволяющий получить высокую степень сжатия данных, а также хорошее качество видео. Данный формат не поддерживается Flash.

Формат MPEG

MPEG (Moving Picture Experts Group) — это экспертная группа, основной задачей которой является разработка единых норм кодирования аудио- и видеосигналов. Стандарты MPEG используются в технологиях CD- Video, являются частью стандарта DVD, активно применяются в цифровом радиовещании, в кабельном и спутниковом ТВ, мультимедийных компьютерных продуктах и многих других электронных информационных системах. На сегодняшний день известны следующие MPEG форматы.

• MPEG I — разработан в начале 90-х гг., обеспечивает среднюю степень сжатия и довольно высокое качество изображения, предназначен для записи синхронизированных видеоизображений.

• MPEG II — был разработан во второй половине 90-х гг. для записи дисков DVD-Video. Обеспечивает более высокое качество и степень сжатия изображения, чем MPEG I. Предназначен для обработки видеоизображения, соизмеримого по качеству с телевизионным, а также используется для архивации больших объемов видеоматериала.

• MPEG III — предназначался для использования в системах телевидения высокой четкости (HDTV), но отдельно теперь не упоминается, поскольку стал частью стандарта MPEG-II.

• MPEG IV — был разработан во второй половине 90-х гг. специально для распространения фильмов через Интернет. Данный формат задает принципы работы с цифровым представлением медиа-данных для трех областей: интерактивного мультимедиа, графических приложений и цифрового телевидения. Обеспечивает более высокую степень сжатия, чем MPEG II, а также поддерживает различные дополнительные возможности.

 

Формат анимированный GIF

Формат анимированный GIF используется для хранения анимации. Позволяет записывать в один файл несколько изображений. Основным недостатком данного формата является то, что созданный с его помощью фильм невозможно остановить. Используется в основном для создания рекламных и других элементы оформления web-страниц.

Для просмотра видео, размещенного на web-странице, необходимо использовать дополнительные программы, так как ни один видеоформат не поддерживается web-обозревателем напрямую (кроме анимированного GIF). Данные программы включены в состав всех современных web- обозревателей.