Методы и средства обработки видео

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

Видео технология была впервые разработана для электронно-лучевой трубки (ЭЛТ) телевизионных систем, но и ряд новых технологий для устройств отображения видео с тех пор были изобретены. Чарльз Гинзбург был главным команды Ampex в исследованиях по разработке первых практических видеомагнитофонов (VTR). В 1951 году первым видеомагнитофоном, осуществлен видеозахват прямых изображений с телекамеры, преобразовывая электрические импульсы камеры и сохранения информацию на магнитную ленту видео. В 1956 году продан видеомагнитофон за $ 50,000, и видеокассета - $ 300 за один час катушку. После изобретения в 1997 году DVD и Blu-ray в 2006 году, продажи видеокассет и лент упали. Позже в области компьютерных технологий позволил компьютерам обрабатывать, хранить, редактировать и передавать видео клипы.

Термин видео (что означает «я вижу», от латинского глагола "videre") обычно относится к передаче и  хранению форматов движущихся изображений. Хранение форматов включает цифровые видео форматы, включая Blu-ray Disc, DVD, QuickTime (QT) и MPEG-4, а также аналоговые видеокассеты, в том числе VHS и Betamax. Видео может быть записано и передано в различных физических носителях: в магнитной ленте при записи как PAL или NTSC электрических сигналов от видеокамер, или в формате MPEG-4 или DV цифровых медиа при записи на цифровые камеры. Качество видео существенно зависит от метода захвата и метода хранения. Цифровое телевидение (DTV) является относительно новым форматом с более высоким качеством, чем предыдущие форматы телевидения и стал стандартом для телевидения видео.

3D-видео, цифровое  видео в трех измерениях, премьера  которого в конце 20-го века. Шесть или восемь камер в  реальном времени измерения глубины,  как правило, используются для  захвата 3D-видео потоков. Формат 3D-видео зафиксировано в MPEG-4 Part 16 Animation Framework Extension (AFX).

1 ОСОБЕННОСТИ ВИДЕОИНФОРМАЦИИ

Видео (от лат. Video — смотрю, вижу) — множество технологий записи, обработки, передачи, хранения и воспроизведения визуального или аудиовизуального материала, а также распространённое название для собственно видеоматериала, телесигнала или кинофильма, в том числе записанного на физическом носителе (видеокассете, видеодиске и т. п.). Видео отличается от кинематографа только тем, что использует для записи и/или воспроизведения любой другой носитель, кроме киноплёнки; впрочем, всё большее распространение цифровых технологий при киносъёмке и цифровых кинопроекторов способствуют тому, что грань между кино и видео практически стирается, и классическое кино всё больше отходит на задний план.

1.1 Характеристики  видео

Частота кадров[1]

Количество (частота) кадров в секунду — это число неподвижных изображений, сменяющих друг друга при показе 1 секунды видеоматериала и создающих эффект движения объектов на экране. Чем больше частота кадров в секунду, тем более плавным и естественным будет казаться движение. Минимальный показатель, при котором движение будет восприниматься однородным — примерно 16 кадров в секунду (это значение индивидуально для каждого человека). В традиционном плёночном кинематографе используется частота 24 кадра в секунду. Системы телевидения PAL и SCAM используют 25 кадров в секунду (англ. 25 fps или 25 герц), а система NTSC использует 30 кадров в секунду (точнее 29,97 fps). Компьютерные оцифрованные видеоматериалы хорошего качества, как правило, используют частоту 30 кадров в секунду. Верхняя пороговая частота мелькания, воспринимаемая человеческим мозгом, в среднем составляет 39-42 герца и индивидуальна для каждого человека. Некоторые современные профессиональные камеры могут снимать с частотой до 120 кадров в секунду. А специальные камеры для сверхбыстрой съёмки снимают с частотой до 1000 кадров в секунду и выше, что необходимо, например, для детального изучения траектории полёта пули или структуры взрыва. Сверхскоростные киносъемочные аппараты могут снимать несколько миллионов кадров в секунду. В них киноплёнка неподвижна и закреплена на внутренней поверхности барабана, а изображение развёртывается вращающейся призмой. Существует и бес кадровое видео. Принцип работы заключается в следующем: светочувствительные сенсоры с большой частотой передают данные о своём состоянии, которые параллельно записываются на носитель. Никаких кадров при этом нет — только массивы информации с каждого из датчиков (пикселей) об их изменении во времени. При воспроизведении также нет кадров — на экране пиксели меняют свой цвет в соответствии с записанными массивами. Если пиксель не менял цвет, то он и не обновляется. Впрочем, для наилучшего просмотра такого видео требуется специальный монитор.

Стандарт разложения

Развёртка (разложение) видеосигнала может быть прогрессивной (построчной) или чересстрочной. При прогрессивной развёртке все горизонтальные линии (строки) изображения отображаются поочередно одна за другой. При чересстрочной развёртке показываются попеременно то все чётные, то все нечётные строки. Вместе они образуют поле кадра или полукадр. Чересстрочную развёртку часто называют на английский манер интерлейс (англ. interlace) или интерлейсинг. Чересстрочная развёртка была изобретена для показа изображения на кинескопах. Её цель — повысить частоту мельканий кинескопа (монитора) до уровня, незаметного человеческому глазу. Аналогично, в кинопроекторах использовался двухлопастный обтюратор, повышающий частоту мельканий на экране с 24 до 48 Гц. Чересстрочная развёртка используется до сегодняшнего дня в телевидении стандартной четкости вследствие повсеместного распространения телевизоров, поддерживающих только такие стандарты.

Новые цифровые стандарты телевидения, например, HDTV предусматривают прогрессивную развёртку. Новейшие технологии, позволяют имитировать прогрессивную развёртку при показе видео с чересстрочной. Последнюю обычно обозначают символом «i» после указания вертикального разрешения, например 720×576i×50. Прогрессивную развёртку обозначают символом «p», например 720p (означает видео с разрешением 1280×720 с прогрессивной разверткой). Также для отличия частоты кадров или полей может обозначатся такими же символами кадровая частота, например 24p, 50i, 50p.

Телевизоры  с кинескопом, оснащенные разверткой 100Гц мерцают с частотой, которая не воспринимается глазом. В таких приемниках изображение с чересстрочной разверткой отображается с удвоением кадров. Жидкокристаллические и LED мониторы (телевизоры) вообще избавлены от мерцания. В таких приборах можно говорить только о скорости обновления изображения, поэтому чересстрочная развертка в них является лишь мерой условности, не влияющей на отображение. Для подавления неприятных эффектов, возникающих при просмотре чересстрочного видео на экране с прогрессивной разверткой, применяются специальные математические методы, именуемые деинтерлейсингом. Такими эффектами являются, как правило, расщепление вертикальных границ горизонтально движущихся объектов (эффект «гребёнки» или «расчёски»).

• Телевидение пониженной четкости (LDTV):
• 240p (320×240 пикселей, прогрессивная развёртка)
• 288p (352×288 пикселей, прогрессивная развёртка)
• Телевидение стандартной четкости (SDTV):
• 480i (аналоговый стандарт NTSC имеет 486 строк с чересстрочной разверткой (2 поля по 243 строки))
• 576i (PAL, 720×576 пикселей, чересстрочная развёртка (2 поля по 288 строк))
• PALplus (1024х576 пикселей, чересстрочная или прогрессивная развертки)
• Телевидение повышенной чёткости (EDTV):
• 480p (720×480 пикселей, прогрессивная развёртка)
• 576p (720×576 пикселей, прогрессивная развёртка)
• Телевидение высокой чёткости (HDTV):
• 720p (1280×720 пикселей, прогрессивная развёртка)
• 1080i (1920×1080 пикселей, чересстрочная развёртка (2 поля по 540 строк))
• 1080p (1920×1080 пикселей, прогрессивная развёртка)
• Телевидение сверхвысокой чёткости (UHDTV)
• 4320p (7680×4320 пикселей, прогрессивная развёртка)

Таблица 1.1 - Стандарты разложения цифрового телевидения высокой чёткости в сравнении.

Рисунок 1.1 - Сравнительное разрешение кадра разных форматов.

Разрешение[1]

По аналогии с разрешением компьютерных мониторов, любой видеосигнал также имеет разрешение (англ. resolution), горизонтальное и вертикальное, измеряемое в пикселях. Обычное аналоговое телевизионное разрешение составляет 720×576 пикселей для стандартов PAL и SCAM, при частоте кадров 50 Герц (одно поле, 2×25); и 720×480 пикселей для NTSC, при частоте 60 Герц (одно поле, 2×29,97). В выражении 720*480 первым числом обозначается количество точек в горизонтальной линии (горизонтальное разрешение), а вторым числом количество самих линий (вертикальное разрешение). Новый стандарт цифрового телевидения HDTV высокого разрешения (англ. high-definition) предполагает разрешения до 1920×1080 при частоте обновления 60 Герц с прогрессивной развёрткой. То есть 1920 пикселей на линию, 1080 линий.

Разрешение  в случае трёхмерного видео измеряется в вокселях — элементах изображения, представляющих точки (кубики) в трёхмерном пространстве. Например, для простого трёхмерного видео сейчас используется в основном разрешение 512×512×512, демонстрационные примеры такого видео доступны сегодня даже на PDA.

Рисунок 1.2 - Сравнение стандартных разрешений видео

Соотношение сторон экрана

Соотношение ширины и высоты кадра (англ. aspect ratio) — важнейший  параметр в любом видеоматериале. Ещё с 1910 года кинофильмы имели соотношение  сторон экрана 4:3 (4 единицы в ширину к 3 единицам в высоту; иногда ещё  записывается как 1,33:1 или просто 1,33). Считалось что, с учетом наличия у человека двух глаз, зрителю удобнее смотреть фильм на экране такой формы. Когда появилось телевидение, то оно переняло это соотношение и почти все аналоговые телесистемы (и, следовательно, телевизоры) имели соотношение сторон экрана 4:3. Компьютерные мониторы также унаследовали телевизионный стандарт сторон. Хотя ещё в 1950-х годах это представление о 4:3 в корне изменилось. Дело в том, что поле зрения человека имеет соотношение отнюдь не 4:3. Ведь у человека 2 глаза, расположенных на одной горизонтальной линии — следовательно, поле зрения человека приближается к соотношению 2:1. Чтобы приблизить форму кадра к естественному полю зрения человека (и, следовательно, усилить восприятие фильма), был введён стандарт 16:9 (1,78). Цифровое телевидение в основном тоже ориентируется на соотношение 16:9. К концу XX века, после ряда дополнительных исследований в этой области, стали появляться даже и более радикальные соотношения сторон кадра: 1,85, 2,20 и вплоть до 2,35 (почти 21:9). Всё это, по словам создателей, призвано глубже погрузить зрителя в атмосферу просматриваемого видеоматериала. Есть и альтернативные объяснения переходу на широкий формат: возможность проката в залах, изначально не приспособленных для кино, стремление к ухудшению качества пиратских видеокопий и телевизионных копий.

Рисунок 1.3 - Соотношение сторон кадра

Количество  цветов и цветовое разрешение

Количество  цветов и цветовое разрешение видеосигнала описывается цветовыми моделями. Для стандарта PAL применяется цветовая модель YUV, для SECAM модель YDbDr, для NTSC модель YIQ, в компьютерной технике применяется в основном RGB (и αRGB), реже HSV, а в печатной технике CMYK. Количество цветов, которое может отобразить монитор или проектор зависит от качества монитора или проектора. Человеческий глаз может воспринять, по разным подсчётам, от 5 до 10 миллионов оттенков цветов. Количество цветов в видеоматериале определяется числом бит, отведённым для кодирования цвета каждого пикселя (англ. bits per pixel, bpp). 1 бит позволяет закодировать 2 цвета (обычно чёрный и белый), 2 бита — 4 цвета, 3 бита — 8 цветов, …, 8 бит — 256 цветов (2⁸ = 256), 16 бит — 65 536 цветов (2¹⁶), 24 бита — 16 777 216 цветов (2²⁴). В компьютерной технике имеется стандарт и 32 бита на пиксель (αRGB), но этот дополнительный α-байт (8 бит) используется для кодирования коэффициента прозрачности пикселя (α), а не для передачи цвета (RGB). При обработке пикселя видеоадаптером, RGB-значение будет изменено в зависимости от значения α-байта и цвета подлежащего пикселя (который станет «виден» через «прозрачный» пиксель), а затем α-байт будет отброшен, и на монитор пойдёт только цветовой сигнал RGB.