Компрессия данных h 264 аудиоданных. Профили кодека H.264. Один из источников проблем воспроизведения видео. Долгосрочный контроль битрейта

Тип компрессии Н.264, больше известный под названием MPEG-4 Part 10 Advanced Video Codec, достаточно быстро стал превалирующим стандартом видеокомпрессии для телевизионной индустрии.

Четвертое поколение кодеков, H.264 становится популярным даже среди контента для ведущих мобильных устройств. Производители устанавливают поддержку кодека практически во все устройства. Такая универсальность предполагает использование кодека повсеместно. Но это же качество делает кодек гораздо сложнее в настройках для оптимального использования, чем его предшественники. Он требует более высоких технологических мощностей для кодирования и декодирования процессов, что ограничивает его использование в устройствах низшей ценовой категории.

Это одна из тем, по которой ведутся многочисленные дискуссии о введении H.264 во все фазы телевизионного производства и о том, как быстро нужно адаптировать потоковую медиаиндустрию что бы полностью изменить ее цифровую сущность.

Что такое H.264?

H.264/MPEG-4 part10 AVC – передовая, на сегодняшний день, технология компрессии –результат коллективной работы команды известной как Joint Video Team (JVT). Группа была основана членами ITU (International Telecommunication Union) и (MPEG) Motion Picture Expert Group и опубликовала свой первый технический документ – спецификацию ITU-T H.264 и ISO/IES MPEG-4 Part 10 в 2003 году. Тогда же команда специалистов заверила, что кодек будет адоптирован и принят в производство телекоммуникационной и телевизионной индустрией уже вскоре.

Спецификация MPEG-4 определяет 27 отдельных и часто совместимых стандартов, названных Частями (Part), которые могут применяться в телевидении. Но некоторые из них не совместимы и не имеют никакого отношения к стандарту Part 10. Только Н.264 эквивалентен спецификации MPEG4 Part10. Что бы избежать конфузов следует придерживаться только этих понятий в подборе оборудования для производства.

H.264, в свою очередь, имеет также много подразделов, именуемых профилями, каждый из которых имеет свои специфические качества и пределы применений. Некоторые из них вытесняются более современными профилями. Спецификации меняются так часто, как происходит замена профилей.

Вещателям наиболее интересен Constrained Baseline Profile, который используется для интернет вещания и вещания для мобильных устройств с 2009 года. Для телевизионного наземного вещания используется Main Profile. Scalable High и Scalable High-Intra профиль, который был выделен из профиля High в 2007 году используется в видео продакшен и в некоторых широкополосных сетях. Также H.264 был стандартизирован для 3D видео начиная с 11-ой версии, учитывая возможное его применение в будущем в 3D телевидении.

H.264 унаследовал от своих предыдущих трех поколений кодеков основные направления в методиках кодирования, но с более развитым математическим аппаратом и с соответственными преимуществами.

— Кадры цифрового видео анализируются, сравниваются с предыдущими и последующими кадрами, детектируются тождественности и отличия. Как результат прогнозируется изображение воспроизводимого кадра и в последнем этапе, если данные теряются, то они восстанавливаются из предыдущих данных.

— Выбор различных алгоритмов кодирования для оптимального просчета процессов и контроль над их многообразием – особенность кодека. Это важно в оптимизации кодирования для узких полос пропускания и устройств с ограниченным разрешением.

Преимущества H.264

Кодек имеет несколько преимуществ, а именно:

— Низкий bit rate при высоком уровне качества. Это особенно важно для кабельных, спутниковых, а в Украине особенно важно для эфирных, операторов. Вместо одного канала с кодированием MPEG2, можно вместить два — с кодированием H.264. Это существенно удешевляет вещание и дает возможность вещать в приемлемом качестве там, где технологии передачи данных ограничены в полосе пропускания.

— Приемлемое качество изображение при низком bit rate. Это качество можно использовать в ограниченных полосах пропускания, например для мобильных устройств. Во многих случаях MPEG-4 является единственным возможным стандартом вещания при низком bit rate.

— Меньше технологий на рынке — больше аудитория. Если вы хотели бы добавить новую форму вещания, то шансы есть только у технологий кодирования базирующихся на H.264. Решения с использованием головных станций и инфраструктуры, поддерживающих MPEG-4, будет значительно дешевле, чем использование каких-то необычных устройств.

-Лучшая совместимость на долгое время. Выбор устройств поддерживающих H.264 постоянно расширяется, а в скором будущем каждое медиаустройство будет иметь встроенный кодек H.264. и так будет продолжаться до тех пор, пока это метод компрессии не сменит другой. Но он должен быть настолько революционным, что на его создание уйдут многие годы.

— Низкая стоимость внедрения. Невысокая конкуренция со стороны остальных стандартов приведет к быстрому росту рынка и понижению цены на продукты, также мы сможем наблюдать постепенное снижение спроса на дорогие мультистандартные устройства. Производство устройств совмещающих в себе кодер и плеер будет расти.

Оптимизация H.264 для телевидения

С гибкостью приходят и сложности. И H.264 не исключение. Установки кодера H.264 для вашего решения могут быть простыми, если выбрать их нажатием одной кнопки «по умолчанию». На самом деле оптимальная настройка кодера очень сложна. Только одна популярная библиотека настроек кодека H.264 имеет более 200 конфигураций.

К счастью наиболее распространенные set’ы имеются в шаблонах, тем не менее, лучшие возможности проигрывания видео могут быть выбраны только путем тщательной индивидуальной настройки в пользовательском интерфейсе.

Есть несколько критичных пунктов, которые особенно важны для H.264.

— Постоянный (CBR) и переменный (VBR) bit rate. При постоянном bit rate, а приблизительно половина трафика имеет CBR, нет никаких вопросов относительно сложности или других факторов, которые бы расширяли полосу пропускания. Это очень хорошее качество для потоков для мобильных устройств, потому что они имеют узкую полосу пропускания и не очень мощный процессор, которому легче обрабатывать постоянный поток данных без пиковых нагрузок. CBR также удобно использовать в интернет вещании, используя адаптивный стриминг. Потому что плеер автоматически переключается вперед и назад между различными потоками. А CBR помогает плееру синхронизироваться и воспроизводить видео бесшовно и стабильно.

Но CBR не оптимален со стороны качества, потому что поток не изменяется в зависимости от динамики и сложности видео. В то время как специфика VBR позволяет в необходимых сложных местах повышать bit rate и снижать степень сжатия для получения более качественного изображения. Это необходимо в сценах с быстрым движением мелких предметов. С другой стороны, больше битов — шире полоса пропускания. Это может создать большие проблемы. Поэтому если вы нуждаетесь в качественном H.264, скачайте фильм заранее.

— Размеры макроблока . Подобно другим кодекам H.264 создает в захваченном кадре индивидуальные распределения, называемые макроблоками. Компрессия видео и компенсационная технология, которая создает магическое сжатие каждого макроблока, в конечном счете, прогнозирует кадр, рассчитываемый из разницы между конечным и начальным макроблоками. Старые кодеки имели фиксированную величину макроблока 16х16 пикселей, но H.264 позволяет выбирать изменять этот размер. Несмотря на то, что минимальный размер блока составляет 4х4 пикселя, в особых случаях блоки могут уменьшаться до 1 пикселя, то есть не компрессироваться.

Малые, средние и большие блоки, чередуясь в кадрах, адаптивно регулируют процесс кодирования, способствуя получению оптимального изображения и в значительной мере определяя нагрузку процессора во время real-time кодирования. Для кодирования в вещательных решениях предпочтительно использовать минимальные макроблоки, но настолько что бы не вызвать пропуска кадров или других задержек связанных с отставанием компрессора. Увеличение размера макроблоков можно добиться, при необходимости, путем предварительной фильтрации изображения (например, блюринг). Главное определиться с компромиссом этих параметров.

Большинство профессиональных кодеров имеет возможность автоматически изменять размер макроблока при смене размера выходного кадра.

-GOP структура. Group of Picture (GOP) обычно изменяется так часто, как требуется вставить полный кадр, для воспроизведения прогнозируемых кадров без существенных потерь. Ваш выбор настроек может существенно повлиять на процесс кодирования. Большинство кодеров имеют автоматическую возможность вовремя вставлять в сцену полный кадр. Однако некоторый контент, например, как новости, имеет частые смены сцен, и частая автоматическая вставка полных кадров может привести к большим задержкам. Я помню одно такое устройство, которое не стартовало, если в новом футаже не было первого полного кадра. Ну, это из ряда вон, но увеличение структуры GOP за счет полных кадров может создать дополнительную задержку потока на 1-2 секунды. Если кэш устройства переполнится, то зрителей начнут раздражать стоп-кадры и рассыпание видео.

Таким образом, используя некоторые настройки кодека можно адаптировать изображение для конкретных задач.

P.S. Я бы не стал питать больших иллюзий по поводу качества вещания DVB-T2 в Украине. Используемый профиль с 8-битным преобразованием не позволит, даже при самых оптимальных решениях, поднять четкость ТВЛ выше 400. То есть четкость останется на том же уровне, что и сейчас. А размеры экранов в домохозяйствах за последние годы выросли в два раза. Да, конечно, уйдут эфирные помехи и шумы в зонах слабого и неуверенного приема. Но добавятся природные искажения, вносимые кодированием со скоростью потока всего лишь 2,5 мБс. Выход один – очень нежно фильтровать высокие частоты, увеличивая размер макроблоков, но без фанатизма. Как это сделать в отдельно взятой телекомпании с, как правило, непредсказуемым контентом – отдельная головная боль главных инженеров.

Сегодня у телекомпаний есть свобода выбора в вопросах касательно сжатия телесигнала. Форматы MPEG‑2, H.264 и JPEG 2000 являются наиболее конкурентными вариантами для выполнения сжатия видеопотока на профессиональном уровне. В конечном итоге, инфраструктура сети, полоса пропускания и бюджет являются решающими факторами для телекомпании, которые помогают определиться с «правильным» выбором. Форматы MPEG‑2 и H.264 являются эффективными решениями сжатия мультимедийных приложений с целью их последующего воспроизведения.

Веские аргументы можно привести в пользу формата JPEG 2000, который основан на передовых внутрикадровых методах кодирования и обеспечивает высокую степень гибкости и управляемости, не сравнимую с гибкостью и управляемостью других форматов сжатия. Более того, факт появления все больших и больших разновидностей передаваемых видеоприложений, которые требуют более низкого времени задержки и более высокого качества изображения, делает формат JPEG 2000 оптимальным решением в удовлетворении требований передачи видео в HD-качестве.
Главной задачей всех телекомпаний - независимо от инфраструктуры сети, выбранного метода сжатия и особенностей транслируемых приложений - является передача сигнала максимального качества при заданной полосе пропускания, ограничив при этом расходы с целью получения максимальной прибыли. Имейте в виду, что передача видеопотока представляет собой комплексную цепь процессов. Какой-либо процесс, происходящий внутри цепи, влияет на процесс передачи видео в целом, в результате серьезная недоработка внутри цепи затрагивает все последующие звенья и приводит к ухудшению качества передачи видео в целом. Конечно, то, как выбранный формат сжатия реализовывается, и как осуществляется управление им, также играет крайне важную роль в достижении наилучшей производительности независимо от выбранной схемы сжатия.

MPEG‑2: «устаревший» кодек

Алгоритмы сжатия видео, такие как MPEG‑2 и H.264 являются кодеками, которые основаны на дискретном косинусном преобразовании (ДКП). С целью сокращения объема данных видеосигнала между сериями кадров эти кодеки используют алгоритм межкадрового предсказания. Суть данного алгоритма заключается в методе дифференцированного кодирования, когда последующий кадр сравнивается с исходным, после чего выполняется кодирование только тех пикселей, которые изменились.
В результате количество пикселей, которые необходимо кодировать и передавать, уменьшается. Когда такая кодированная последовательность передается на экран ТВ, полученное видео ничем не отличается от исходной последовательности кадров.
Появление MPEG‑2 было обусловлено необходимостью трансляции сигналов с более высокой скоростью передачи данных - сигналов SD-формата (величина битрейта от 3 Мб/с до 15 Мб/с) и HD-формата (величина битрейта от 15 Мб/с до 30 Мб/с). При передаче видеоизображения с использованием метода предикативного сжатия MPEG‑2 каждый закодированный кадр в последовательности изображений может передаваться как независимо сжатый кадр («I-кадр»), сжатый кадр с использованием предсказания движения в одном направлении («P-кадр») и сжатый кадр с использованием предсказания движения в двух направлениях («B-кадр»). Благодаря сокращению пространственной и временной избыточности MPEG‑2 обеспечивает повышенное сжатие. Тем не менее использование «B-кадров» приводит к появлению задержки предупорядочивания, которая зависит от количества передаваемых «B-кадров». При большом количестве передаваемых «B-кадров» эта задержка может быть очень значительной.
MPEG‑2 до сих пор является широко распространенным кодеком и рассматривается как конкурентоспособный выбор благодаря его низкой стоимости внедрения и поддержке широкого диапазона цветопередачи – 4:2:2. Тем не менее существует ряд ограничений, которые обусловлены как самим кодеком, так и стандартами, которые регулируют его реализацию.
Например, MPEG‑2 по сравнению с конкурирующими кодеками требует, как правило, более высокой пропускной способности для обеспечения достаточно высокого качества видео. Вследствие потоковой битовой структуры сигнала и его формы передачи в виде отдельных пакетов закодированный сигнал в MPEG‑2 крайне чувствителен к ошибкам и любым потерям информации. Потеря или повреждение одного из пакетов оказывает существенное влияние на процесс декодирования, что приводит к «битым» кадрам или выраженным искажениям изображения, а это в конечном итоге приведет к прекращению использования MPEG‑2 в среде профессионального телевещания.

H.264: кодек следующего поколения

H.264 или MPEG-4 Part 10 (Advanced Video Coding) кодек был разработан в качестве альтернативы кодеку MPEG‑2 и характеризуется повышенной производительностью и более широким набором инструментов, что обеспечивает высокую гибкость в отношении передачи информации. В результате H.264, по сравнению с MPEG‑2, обеспечивает эквивалентное качество видео при более низкой скорости передачи данных. При переходе на кодирование H.264, по сравнению с MPEG‑2, пропускная способность, достаточная для передачи изображения аналогичного качества, может быть снижена на величину до 50 процентов. В этом кодеке используется ассиметричная архитектура. Сложность вычислений в нем минимизирована, что обуславливает его высокую гибкость, достаточную для применения этого кодека для широкого спектра приложений, включая трансляцию, хранение и передачу данных по беспроводной мультимедийной связи.
Алгоритм сжатия H.264 схож с алгоритмом MPEG‑2 и основан на тех же основных принципах, включая компенсацию движения с переменным размером блоков и дискретное косинусное преобразование. Более того, H.264 характеризуется высокой производительностью и надежностью. Он выполняет как пространственное предсказание при внутрикадровом кодировании, так и оценку движения при межкадровом кодировании, что улучшает эффективность сжатия. При внутрикадровом кодировании каждый кадр кодируется сам по себе, без использования информации соседних кадров. Кроме того, H.264 использует предварительную обработку этапов, используя для этого соседние пиксели из ранее закодированных блоков, что является преимуществом по сравнению с внутрикадровой пространственной корреляцией.
Ключевые особенности данного стандарта – это эффективность сжатия и передачи данных, а также направленность на сжатие видео широкого спектра приложений. Благодаря тому, что на сегодняшний день кодек поддерживает 17 профилей и 16 уровней, каждый из которых нацелен на конкретный класс популярных передаваемых видеоприложений, достигается высокий уровень гибкости и масштабируемости.
Формату H.264 свойственны такие же ограничения, как и для формата MPEG‑2. В конечном итоге, эти ограничения связаны с возможностью существующей технологии, что препятствует применению формата H.264 в профессиональной среде вещания. На сегодняшний день наиболее технологически продвинутым кодеком, совместимым со стандартами вещания, является H.264, выполняющий сжатие видео со скоростью 80 Мб/с, ограниченный разрешением в 8 бит. Реализация сети на основе H.264 может быть дорогостоящей. Стоимость по сравнению с конкурирующими стандартами может быть в четыре раза выше за счет себестоимости и потребления мощности. Благодаря архитектурной асимметрии кодеков может сложиться впечатление, что высококачественные декодеры обладают низкой стоимостью, в результате чего пользователи очень часто удивляются высокой цене на профессиональные видеодекодеры.

JPEG 2000: выбор прогрессивного метода сжатия

Метод JPEG 2000, предлагаемый современным рынком, является его ключевым достоинством. Стандарт и система кодирования JPEG 2000 основаны на «вейвлет-технологии» сжатия изображения. Изначально он был задуман не как кодек для сжатия видео, а как кодек сжатия графических изображений. Примененная в нем внутрикадровая схема кодирования имеет ряд преимуществ, характерных для всего цикла вещания - доставка, формирование, а также первичное и вторичное распределение.
JPEG 2000, по сравнению с форматами H.264 и MPEG‑2, хорошо известен своим отличным визуальным качеством (см. рисунок 1). JPEG 2000 выполняет кодирование в пределах полного кадра, в то время как другие схемы сжатия требуют, чтобы изображение было разбито на более мелкие блоки, в результате чего ухудшение качества происходит неравномерно и может различаться в пределах кадра. Это приводит к появлению визуально раздражающего искажения, известного как «блокинг-эффект». В случае с JPEG 2000 потеря качества происходит равномерно по всей области кадра и зрительно воспринимается как сглаживание краев, иначе говоря, происходит размытость. Такое искажение визуально является менее раздражающим, чем «блокинг-эффект», так как размытость в большей степени соответствует естественному восприятию человеческого глаза. JPEG 2000 обладает уникальной возможностью доставки информации в первоначальном виде для последующей обработки. За счет обеспечения высокого качества на более низком уровне возможна передача высокого качества на более высокий уровень. Видео JPEG 2000 остается практически нетронутым при осуществлении многократных циклов кодирования/декодирования. Это позволяет сохранить высокое качество видео, передав его по этой цепочке.

JPEG 2000 характеризуется низким временем задержки - порядка 1.5 кадра или меньше на весь цикл кодирования-декодирования. Этот параметр является критичным для интерактивных приложений и может привести к отсутствию связи при переходе от одного кадра к следующему кадру. Низкое время задержки порядка 45 мс при сжатии HD-потока является преимуществом по сравнению с форматами H.264 и MPEG‑2, время задержки в которых достигает от одной до двух секунд.
Высокая скорость передачи, которая достигается за счет сжатия JPEG 2000, также критически важна. При сравнении реализованных проектов замечено, что, как правило, JPEG 2000 может работать при очень высоких скоростях - намного более высоких, чем H.264. Для передачи изображения высокого качества это является ключевым моментом, так как пропускная способность может быть ограничена конкретным типом инфраструктуры, однако ширина полосы пропускания не обязательно является критической. Например, HD-видео при 1.5 Гб/с невозможно передать по сети Ethernet в 1 Гбит, но для этой цели может быть выделен весь канал. Следовательно, передача HD-видео может быть осуществлена, если задействовать всю ширину полосы пропускания и применить «легкое» JPEG 2000 сжатие для достижения как наивысшего качества, так и вписывания в ширину канала или, когда уместно, закодировать с использованием математического сжатия без потерь с целью исключения потерь видеоинформации.
Одним из наиболее значительных преимуществ формата JPEG 2000 является его гибкость. Возможна передача данных по множеству типов сетевых инфраструктур - Ethernet/IP, SONET/SDH/PDH и по оптоволокну. Когда данные упакованы с помощью JPEG 2000 в ASI-поток, то видео может передаваться везде, в любое время и на любое расстояние. JPEG 2000 выполняет независимое кодирование каждого поля и каждого кадра, яркости и цветности компонента. Качество, которое достигается за счет математического сжатия без потерь, сравнимо с качеством математического сжатия с потерями. Видео может быть закодировано путем математического сжатия без потерь, но по причине недостаточной пропускной способности канала может обрезаться и преобразовываться в сжатие с потерями.
Конструктивно для JPEG 2000 характерным является одинаковый уровень сложности как для процесса кодирования, так и для процесса декодирования. Так как JPEG 2000 является симметричным кодеком, одно и то же аппаратное средство может быть предоставлено как в качестве кодера, так и в качестве декодера, в то время как асимметричные кодеки требуют совершенно разных аппаратных средств, особенно при высокой скорости передачи данных. Относительно низкая сложность JPEG 2000 имеет преимущества в стоимости, капитальных и эксплуатационных затратах, а также снижает расходы на электропитание сети.

Подводим итоги

Каждый из рассмотренных в статье кодеков играет свою индивидуальную роль в сфере качественной передачи данных. Кодеки H.264/MPEG-4 и MPEG‑2 по-прежнему актуальны в сфере профессионального телевещания. Они обеспечивают высокое качество в сетях с ограниченной пропускной способностью, но они не обязательно являются единственно правильным выбором во всех возможных сферах применения.
Формат JPEG 2000 обеспечивает высокое качество изображения и низкое время задержки при кодировании в несколько циклов. На сегодняшний день он подтвердил свою значимость во всех сферах видеотехнологий, в сфере передачи данных по IP- и 3G-сетям, а также в HD- и 3D-технологиях.
Помимо качества и инфраструктуры сети, в процессе сравнения и выбора метода сжатия необходимо учитывать степень затрат ресурсов и его стоимость. В целом, методы сжатия MPEG‑2 и H.264 являются дорогостоящими, энергозатратными и требуют применения сложных технологий.
Так как кодек JPEG 2000 по сравнению с другими требует меньше энергозатрат и в целом обеспечивает большую масштабируемость, гибкость и качество изображения, то перед ним открывается блестящее будущее. Все большее число ведущих мировых поставщиков услуг телевещания, а также телекомпаний используют JPEG 2000 для трансляции крупных, глобально значимых событий – особенно с использованием мощностей IP-сетей. Однако существующая ситуация постоянно изменяется, и, возможно, завтра перед нами предстанет новый, более «навороченный» метод сжатия.

Технология сжатия видео была камнем преткновения в проектировании систем видеонаблюдения со времён появления интернет-протокола (IP) в 1990-е годы. С тех пор стандарты для кодирования видео прошли много этапов исследований. Сегодня внимание отрасли привлёк к себе стандарт сжатия H.265 или HEVC (High Efficiency Video Coding - высокоэффективное кодирование видеоизображений). Это следующая версия после H.264, которая в настоящее время является доминирующей технологией кодирования IP-видео. Мы попытаемся разобраться каковы её перспективы на сегодняшний день и в будущем.

Интеграция технологии H.265 может быть затруднена доступностью оптимизированного H.264, лучшего кодирования для систем видеонаблюдения

H.265: разбираемся что и зачем

Стандарт H.265 стал значительным шагом вперед в области кодирования видео. Одно из его преимуществ в том, что он удваивает эффективность сжатия H.264. Так что при передаче изображений аналогичного качества H.265 использует только половину битрейта предыдущего кодека. Благодаря этому требования к пропускной способности и хранению резко сокращаются, что позволяет более выгодно использовать и аппаратные, и программные средства. Пользователи, по сути, получают больше возможностей с меньшими затратами. Из-за этого большинство производителей аппаратного обеспечения поддерживают внедрение стандарта сжатия H.265 для видеонаблюдения. Так что скоро мы сможем увидеть H.265 в роли следующего стандарта.

Но несмотря на все плюсы, H.265 всё ещё далёк от массового внедрения. Возникает вопрос: могут ли пользователи каким-то образом оптимизировать передачу изображения, прежде чем в сфере видеонаблюдения произойдёт переворот? Ведь популярность видео с большим разрешением растёт, а спрос рождает предложение.

Последние достижения для текущего кодека H.264 оптимизируют битрейт тремя способами: предиктивным кодированием, подавлением шума, и "долгосрочным" управлением битрейтом (predictive encoding, noise suppression, and “long-term” bitrate control). Результатом этого стало сокращение требуемого объёма памяти до 75% для H.264. Из-за этих инноваций и некоторых других факторов высока вероятность того, что в ближайшие 5-10 лет оба стандарта будут мирно сосуществовать на рынке.

Препятствия для принятия H.265

Интеграция технологии H.265, скорее всего, будет тормозиться наличием оптимизированного кодирования H.264, а ещё стоимостью модернизации существующих систем под H.265. Дополнительные сложности возникнут также с изменением производственных процессов для выпуска оборудования, поддерживающего H.265 и с патентами, о которых мы поговорим позже. В принципе, H.264 остается жизнеспособным и работоспособным стандартом для подавляющего большинства систем видеонаблюдения. На сегодняшний день он полностью выполняет свои функции - и, нужно признать, довольно хорошо.

При более высокой стоимости, пользователи должны быть уверены, что обновление до H.265 действительно стоит того

Ограничения лабораторных испытаний

По результатам испытаний проведенных Объединенной командой по видеокодированию Joint Collaborative Team on Video Coding (JCT-VC), коэффициент сжатия H.265 удвоился по сравнению с предыдущим H.264. Но, как и следовало ожидать, эти тесты были проведены в лабораторных условиях и далеки от многих сложностей, возникающих в процессе фактического использования стандарта.

Кодирование в реальном времени с соблюдением баланса между сложностью алгоритма и возможностью сжатия - вот то, что хочется видеть в развитии H.265. На практике возможность сжатия кодека H.265 может не дать 100% улучшения в сравнении с H.264, несмотря на то, что это было заявлено.

Стандарт H.264 более 10 лет внедряли в отрасль, в которой происходило его развитие, при поддержке со стороны всех производителей чипсетов, и с доступом к самым разным кодерам и декодерам. Это проверено и доказано на практике. В этом смысле технологии H.265 придётся многое наверстать.

Цена патента

Ещё одной проблемой, которая может помешать массовому распространению стандарта H.265 - необходимость покупки патента. У многих владельцев предприятий уже есть патент на H.264, в то время как H.265 на ранней стадии своего существования не особо распространён в отрасли, а предприятия, которые владеют им, не связаны между собой. Результатом низкого спроса на новый стандарт становится гораздо более высокая стоимость патента - основной вопрос, который предприятия из отрасли безопасности должны серьезно рассмотреть - как это повлияет на производство и, как следствие, на ценник для конечного потребителя. При введении нового стандарта цена действительно имеет решающее значение, особенно если пользователи должны заменить и внешнюю, и внутреннюю части (фронтенд и бекенд) системы, чтобы пользоваться улучшенной видеокомпрессией. Платя в несколько раз больше, потребитель должен быть уверен в том, что обновление на самом деле стоит того.

Оптимизированные технологии кодирования H.264

Несмотря на приведённые выше аргументы, основной причиной, по которой мы считаем, что H.265 не станет доминирующим решением кодирования в ближайшее время, является простое отсутствие спроса - ряд инновационных производителей внедрил оптимизированные технологии кодирования H.264, а необходимости в Н.265 пока попросту нет. Этот факт можно назвать "решением ещё не возникшей проблемы".

Оптимизированные технологии H.264 используют прогнозирующее кодирование, чтобы уменьшить битрейт, затраченный на неизменное фоновое изображение

С момента запуска технологии H.264 в 2003 году, индустрия безопасности разрабатывает высокопроизводительные видеокодеры, стремясь улучшать качество картинки для систем видеонаблюдения. Добавьте к этому повышающуюся популярность видео высокого качества, растущие требования к битрейту и разрешению, и становится очевидным, что стоимость компонентов системы в целом возросла. Огромное количество видеоданных, получаемых с камер видеонаблюдения, означает, что пользователи должны вкладывать средства в постоянно растущие требования для хранения данных.

Предиктивное кодирование

Как происходит усовершенствование кодека H.264? Во-первых, базовые исследования сжатия видео ведутся в различных отраслях промышленности. Например, в любом видео с камер пользователи сначала обращают внимание на подвижные объекты, а после на статичную часть картинки. Если фон не меняется, он может быть закодирован в качестве опорного кадра. Оптимизированные технологии H.264 используют прогнозирующее кодирование, чтобы уменьшить битрейт потраченный на статичное фоновое изображение. Применяя это прогнозирующее кодирование по всей системе, пользователи значительно экономят на пропускной способности и хранении.

Подавление шума

Ещё одним важным элементом оптимизации H.264 является подавление шума.

Шум или нежелательный электрический сигнал, отображающийся в видеопотоке, является серьёзной помехой цифрового видеосигнала. Это приводит к тому, что на фоне изображения появляется множество посторонних пикселей, вызванных колебаниями света, температуры, или другими сигналами в воздухе. Но оптимизированные технологии H.264 с использованием алгоритмов интеллектуального анализа подавляют большую часть шума путём кодирования объекта переднего плана изображения с более высокой скоростью передачи данных относительно фонового изображения. Результат: чёткие изображения с точной цветопередачей.

Долгосрочный контроль битрейта

И, наконец, требования к битрейту по каждой конкретной сцене могут колебаться в течение дня. Например, в типичной уличной сцене в ночное время есть небольшое движение на первом плане, так что требования к битрейту невысокие. Днём требования значительно повышаются из-за транспортных средств и пешеходов, движущихся на переднем и заднем планах. Современные технологии кодирования H.264 управляют этим распределением по времени путём вычисления общего среднего битрейта, а затем автоматически выделяют необходимый битрейт в то время суток, когда это требуется. Это происходит на уровне заданных значений декодера. Здесь основным преимуществом долгосрочного контроля битрейта является то, что у пользователей есть возможность точно прогнозировать свои требования к системе хранения видео, благодаря чему можно измерять необходимый размер хранилища.

***

На сегодняшний день эти плюсы Н.264 превышают то, что предлагает стандарт Н.265. Помимо прочего, Н.264 имеет ряд других преимуществ: совместимость с существующими системами, меньшую стоимость продукции, более широкий спектр продуктов, на которых кодек может применяться, и меньший патентный риск.

Разработки видеосжатия, как правило, имеют тенденцию придерживаться примерно 10-летнего цикла. В 1994 году был введен формат MPEG2. H.264 запущен в 2003 году, а H.265 - в 2013. В данном случае исторический контекст имеет важное значение, потому что стандарты кодирования видео реагируют не только на технологические изменения, но и на тенденции в рамках всей видео-индустрии. Когда стандартом был формат MPEG2, промышленность была сосредоточена главным образом на DVD-плеерах и телевизионном разрешении, где использовался этот формат. Появление H.264 совпало с введением технологии HD, передовыми IT-технологиями и мобильным интернетом.

Использование H.264 включало HD-цифровое телевидение, интернет-видео, мобильное видео, видеонаблюдение, Blu-Ray и др. Так как H.265 только выходит на сцену, мы считаем, что он будет наиболее широко использоваться в разработке ультра-HD технологий и приложений облачных систем хранения данных.

Перспективы развития технологий сжатия видео

После запуска H.265, члены Объединенной совместной группы по видеокодированию (JCT-VC) начали составлять прогнозы на будущее для данного сегмента. В 2015 году они создали группу совместного исследования видео (Joint Video Exploring Team - JVET), сосредоточив внимание на дальнейшем улучшении возможностей сжатия. Их последние данные тестирования показывают, что улучшения по производительности сжатия H.265 достигнуты на 20%. В то же время, другая организация - AOM (Alliance for Open Media) - объединила целый ряд интернет-ориентированных компаний, в том числе Microsoft, Google, Intel, и Amazon, стремясь прийти к свободному стандарту для интернет-видео. План состоит в том, что этот (свободный) стандарт ускорит обновление технологий в онлайн-мире с сумасшедшей скоростью.

Конкурс на разработку этих стандартов, вероятно, будет жестким - и это также может означать, что 10-летний цикл сжатия канет в Лету, а новые стандарты появятся в гораздо более короткие сроки.

H.264, MPEG-4 Part 10 или AVC (Advanced Video Coding) - лицензируемый стандарт сжатия видео, предназначенный для достижения высокой степени сжатия видеопотока при сохранении высокого качества. Применяется для более рационального использования устройств хранения и передачи данных. Кодер H.264 без ущерба для качества изображения может снижать размер файла цифрового видео более чем на 80% по сравнению с форматом Motion JPEG и на 50% - по сравнению со стандартом MPEG-4 Part 2. Что означает гораздо меньшие требования к полосе пропускания для передачи и объему памяти для хранения видеофайла. Или же, с другой стороны, возможность получения гораздо лучшего качества видеоизображения при той же скорости передачи данных. На сегодняшний день формат H.264 является одним из самых прогрессивных и отвечающих современным требованиям алгоритмов компрессии.

Стандарт H.264 предназначен для технических решений в следующих областях:

• Трансляции по сети, через спутник, через DSL соединения и т.д.
• Интерактивный или постоянные хранения данных на оптических и магнитных носителях (DVD, HDD)
• Потоковое мультимедиа по сети и т.д.

Благодаря своим преимуществам перед MPEG-4 и M-JPEG, H.264 может стать форматом номер один в системах видеонаблюдения. Сжатие видеоизображения заключается в удалении избыточных видеоданных или сокращении их объема, благодаря чему файлы с оцифрованным видео удается эффективно передавать по сети и хранить. При сжатии к исходному видеоизображению применяется определенный алгоритм. Применение обратного алгоритма позволяет практически без потерь восстановить оригинальное видеоизображение. В стандарте H.264 технология сжатия видеоизображения вышла на новый уровень: появилась более совершенная схема внутреннего предсказания, используемая для кодирования I-кадров. Благодаря этой схеме количество битов, необходимых для хранения I-кадра, значительно снижается, а качество изображения остается неизменным. Получить такой результат удается за счет использования моноблоков меньшего размера. Поиск совпадающих пикселов теперь осуществляется среди ранее закодированных пикселов, расположенных по краям нового макроблока. Значения этих пикселов используются повторно. В результате объем, который занимает изображение, значительно уменьшается.

В H.264, кроме того, усовершенствован механизм поблочной компенсации движения, который используется для кодирования P- и B-кадров. Кодировщик H.264 может по своему выбору осуществлять поиск совпадающих блоков (с точностью до субпиксела) в произвольном количестве областей одного или нескольких опорных кадров. Размер и форма блока также могут меняться, если при этом совпадение получается более точным. Для построения областей кадра, в которых нет совпадающих блоков, используются моноблоки с внутренним кодированием. Столь гибкий подход к компенсации движения оправдывает себя, например, при наблюдении за людными местами, когда требуется обеспечить также и качество изображения. Для компенсации движения выделяется большая часть ресурсов, отведенных видеокодеру. Поэтому от того, каким образом и насколько полно реализован этот алгоритм, зависит эффективность сжатия видеоизображения кодировщиком H.264.

При использовании H.264 удается также уменьшить количество артефактов блочности, характерных для Motion JPEG и других стандартов MPEG. Для этой цели в цикле кодирования используется внутренний фильтр деблокинга. В результате применения адаптивных алгоритмов удается сгладить края блоков и получить на выходе видеоизображение почти идеального качества.

В системах видеонаблюдения H.264, скорее всего, будет использоваться, в первую очередь, для решения задач, требующих больших скоростей передачи данных и высокого разрешения, например, в системах наблюдения за автомагистралями, в аэропортах и казино, где 30 к/с является нормой. В таких системах применение новой технологии позволит снизить требования к ширине каналов и объемам дискового пространства и приведет к значительной экономии.

Алгоритм сжатия H.264+ – инновационная разработка компании Hikvision. По своей сути H.264+ представляет собой кодек H.264/AVC, модифицированный под задачи видеонаблюдения и с учетом его специфики, чтобы повысить степень сжатия без ущерба для качества видео.

Специфика видеонаблюдения заключается в следующем:

фон стабилен и практически не изменяется;

движущиеся объекты появляются редко и могут отсутствовать в течение продолжительного времени;

интерес представляют только движущиеся объекты;

наблюдение ведется круглосуточно, а шумы заметно влияют на качество изображения.

H.264+ повышает степень сжатия за счет 3 ключевых факторов:

кодирование с предсказанием на основе модели фона,

фоновое шумоподавление,

долгосрочное управление видеопотоком.

Кодирование с предсказанием

Все современные алгоритмы сжатия, такие как MPEG2, MPEG4, H.264/AVC и самый современный алгоритм HEVC, сочетают внутрикадровое и межкадровое сжатие. I-кадры (опорные кадры) кодируются независимо от других кадров, то есть используется внутрикадровое сжатие, тогда как для кодирования P-кадров (предсказанные кадры) используются I-кадры и другие P-кадры (межкадровое сжатие). В случае межкадрового сжатия эффективность будет сильно зависеть от выбора опорного кадра.

В области видеонаблюдения фон, как правило, стабилен. Его можно извлечь и использовать в качестве опорного кадра.

Рис. 1. Модель фона

На Рис. 1 показана последовательность из 3 кадров, где кадры T0 и T1 уже подверглись обработке кодеком. Здесь можно взять фон в качестве опорного кадра и сжать кадр T2 на основе с учетом сходства и разницы между кадром T1 и фоном. Кадр T0 будет хорошим выбором в качестве фонового изображения.

Для примера возьмем Рис. 2, на котором автомобиль перемещается из области B в A (из кадра T1 в кадр T2). При кодировании кадра T2 область B становится вновь открывшимся участком.

Рис. 2. Объект перемещается из B в A

Если в качестве опорного кадра выбран T1, то никакой оптимизации не получится для области B и информацию о ней придется передавать заново. Поскольку кодируется именно разница между новым и опорным кадром.

Рис.3. Традиционная схема кодирования с опорным кадром

Но если мы возьмем в качестве опорного кадра T0, в большинстве случаев мы получим оптимизированный блок для области B. Тем не менее, если мы сохраним информацию о фоне и возьмем в качестве опорного кадра T1, мы найдем идеальные блоки для кодирования кадра T2, что гарантирует высокое качество изображения и уменьшенный размер видеопотока.

Рис. 4. Схема кодирования с фоном в качестве опорного кадра

Если брать фон в качестве опорного кадра, то можно не только повысить эффективность сжатия неподвижных объектов, но и уменьшить поток данных, который приходится на опорные кадры.

Опорные кадры обновляются каждые несколько секунд при кодировании видеопотока для задач видеонаблюдения. В результате на опорные кадры приходится значительная часть данных в видеопотоке, что особенно заметно в тех случаях, когда в кадре много мелких деталей и мало движения. Иногда на опорные кадры приходится до 50% данных видеопотока. Более того, при стабильном фоне эти данные носят повторяющийся характер.

Для того чтобы уменьшить удельный вес этих повторов в видеопотоке, в кодеке H.264+ используется метод работы с опорными кадрами на основе модели фона, показанный на Рис. 5.

Рис. 5. Работа с опорными кадрами на основе модели фона в H.264+

На Рис. 5. красным цветом показаны опорные кадры фона, в которых используется внутрикадровое сжатие. Синим цветом здесь отмечены кадры обновления, в которых применяется внутрикадровое сжатие для участков с движущимися объектами, обведенными красной рамкой на Рис. 6., и межкадровое сжатие – для неподвижных объектов. Белым цветом показаны обычные кадры с межкадровым сжатием.

Интеллектуальный алгоритм выбирает опорный кадр среди тех кадров, где меньше всего движущихся объектов. Опорные кадры, которые используют модель фона, содержат примерно такой же объем данных, что и обычные опорные кадры в традиционной схеме кодирования, но интервал между ними заметно больше. Кроме того, объем данных, который содержится в кадрах обновления, значительно меньше, чем в опорных кадрах при традиционной схеме кодирования, а интервал между кадрами обновления такой же, то есть фактически кадры обновления заменяют собой опорные.

Рис. 6. Кодирование кадров обновления в H.264+

Шумоподавление

Принимая во внимание тот факт, что фон в видеонаблюдении достаточно стабилен, с помощью интеллектуальных алгоритмов можно отделить его от движущихся объектов. Обычно для сохранения качества движущиеся объекты кодируются вместе с фоновым шумом. Тем не менее, интеллектуальные алгоритмы позволяют применить различные стратегии кодирования для фона и для движущихся объектов.

Участки фона кодируются с более высокой степень сжатия, чтобы уменьшить размер видеопотока, а это также частично подавляет шум. В то же время движущиеся объекты кодируются с меньшей степенью сжатия.

Рис.7. Шумоподавление в H.264+

Долгосрочное управление видеопотоком

При эффективном подавлении шума на фоне размер видеопотока зависит от ого, какая часть изображения приходится на этот фон. Например, для уличного наблюдения на фон придется довольно малая часть изображения, так как в дневное время одновременно движется большое количество пешеходов и машин. В этом случае размер видеопотока заметно возрастает. И наоборот, в ночное время, когда мало машин и пешеходов, площадь фона на изображении возрастает, а размер видеопотока, соответственно, уменьшается.

Рис. 8. Колебания видеопотока в зависимости от времени суток

Управление размером видеопотока для перераспределения его в зависимости от времени суток не только сохраняет высокое качество изображения движущихся объектов, но также позволяет уменьшить размер видеоархива.

Для более полной реализации такой экономии Hikvision предлагает новую концепцию управления видеопотоком, которая подразумевает долгосрочное отслеживание его флуктаций, как правило в течение 24 часов. В дальнейшем H.264+ автоматически подстраивает размер видеопотока в зависимости от времени суток, изменяя степень сжатия, но среднесуточный размер видеопотока остается неизменным в пределах выбранного значения.

Рис. 9. Долгосрочное управление видеопотоком с его перераспределением

На Рис. 9 видно, что в период времени C (активность возрастает и требуется больший размер видеопотока для получения качественного изображения) выделяется дополнительная квота за счет периодов времени A и B (активность низка и размер видеопотока снижается).

Уменьшение размера видеопотока

Для включения сжатия H.264+, необходимо чтобы размер видеопотока был переменным, при этом включается долгосрочное управление видеопотоком. Средний размер видеопотока вычисляется автоматически на основе пиковых значений. В большинстве случаев автоматически определенное значение среднего размера видеопотока не требует дополнительной подстройки. Тем не менее, иногда это может потребоваться, например, если в кадре слишком много или слишком мало движения. На Рис. 10 приведены примеры ситуаций, когда кодек Hikvision H.264+ может существенно уменьшить размер видеопотока. Эта экономия будет зависеть от размера фона и количества движения в кадре.

Рис. 10. Экономия видеопотока в зависимости от наблюдаемой сцены

Применение

Кодек H.264+ применяется в IP-видеокамерах высокого разрешения. При сохранении качества, сопоставимого с кодеком H.264/AVC, размер видеопотока у H.264+ уменьшается. Например, при малой активности в кадре такая экономия может достигать 75%, а при наличии большого количества движущихся объектов экономия составит 50%. Впрочем, если в кадре присутствует постоянное движение, размер видеопотока у H.264+ и H.264/AVC будет сопоставимым.

Более того, пиковые значения размера видеопотока у H.264+ будут превышать среднее выбранное значение, чтобы сохранить высокое качество изображения у движущихся объектов. Чем больше таких объектов, тем больше размер видеопотока H.264+, но он никогда не превысит аналогичного значения у H.264/AVC.

Кодек H.264+ соответствует стандарту H.264/AVC и совместим практически со всем программным и аппаратным обеспечением, которое поддерживает этот стандарт. В некоторых случаях может потребоваться лишь незначительная подстройка, чтобы улучшить воспроизведение.

Оценить возможности кодека H.264+ в сравнении с H.264/AVC и его эффективность в различных условиях вы можете, посмотрев следующий видеоролик, который подготовила для вас компания Hikvision.