“好的编解码IP一定是不断打磨出来的”—— 对话北格逻辑研发总监周毅华

编者按：在音视频编解码领域，以H.264/H.265为代表的深压缩编解码算法一直占据着行业的主流。随着视频编解码的需求增多，浅压缩算法逐渐得到了重视。JPEG 2000曾获认为是未来取代JPEG的下一代图像压缩标准相较于主流的潜压缩JPEG来说，JPEG 2000压缩比更高，体积更小，并能同时支持有损/无损两种压缩方式。

北格逻辑是专注于FPGA的音视频解决方案提供商，其提供的JPEG2000编解码算法能够在25倍压缩下实现视觉无损，延迟小于8.5ms，是在标准算法的基础上，针对视频浅压缩应用做了深入优化，充分体现了浅压缩模式下的低延迟和高画质。

那么，目前JPEG 2000的应用场景如何了？在FPGA的帮助下，浅压缩算法是否会往主流压缩算法更进一步呢？以下，是LiveVideoStack与北格逻辑的对话。

LiveVideoStack：周毅华老师您好，可以跟我们简单介绍下JPEG 2000的主要应用场景吗？以及它是如何与其他视频处理模块相结合的呢？

周毅华 ：目前，JPEG2000的主要应用场景包括：数字电影的发行放映、分布式视频的浅压缩应用、医疗设备的图像存储、雷达等专业图像存储等。JPEG2000的优势在于画质好，在这些要求画面清晰度高的场景下，能够得到广泛的应用。而在视频分布式以及KVM应用中，JPEG2000低延迟的特性也是非常重要的，可以解决H.264等深压缩算法鼠键操作延迟大的痛点。

目前的话，北格逻辑的JPEG2000 IP主要应用于AV over IP应用场景，包括视频分布式以及无线图传等。视频从编码器的HDMI/LVDS等视频接口输入后，直接送入JPEG2000 编码IP进行处理，编码后的数据流经过网络（有线或无线、单播或组播）传递到解码器，然后送入JPEG2000解码IP，还原成视频流，再经过VPSS模块进行裁剪、缩放、开窗、图层管理等处理后，从HDMI/LVDS等视频输出接口输出，在显示器上显示。

LiveVideoStack：在开发JPEG2000的过程中，您有哪些心得体会？FPGA为实现部署带来了怎样的帮助？

周毅华： JPEG2000标准的码率控制算法是一个开放性的规范，只给出了推荐方案。规范推荐的码率控制方案计算量非常大，延迟也超过一帧，无法充分体现浅压缩方案的低延迟特性。所以这方面我们花费了大量的心血，在最大程度保障画质的前提下，将延迟控制在了半帧以内，将方案改造成非常适合视频分布式应用场景。整个过程是一个不断迭代、时间跨度长、画质不断优化的过程。

我们最大的心得体会就是：一个好的编解码IP，一定是不断打磨出来的，不是一蹴而就的。因为FPGA的可编程特性，我们可以不断的、快速的更新我们的版本，让客户能够使用到最新最好的编解码IP；同时我们可以提供不同处理性能的版本给客户，有直接处理8k的，也有720P的，只要选合适容量的FPGA即可。这些都是ASIC方案不具备的。

LiveVideoStack：如何将不同解码器（例如JPEG2000和H.264）解码出的图像混合在同一个大屏上显示？这个过程中有哪些技术难点，最终呈现效果又是如何呢？

周毅华 ：我们有一个强大的VPSS模块，是为了视频分布式应用场景而专门打造的，可以支持最多16路视频输入，这些视频可以是JPEG2000解码出来的，也可以是H.264解码出来的，它们分别进行裁剪、缩放后在大屏上开窗显示，可以任意指定视频的位置和图层。

对我们来说，最大的技术难点是多路视频开窗显示需要先把视频存入到内存（DDR3/DDR4）的，怎么样提高内存带宽利用率，怎么样让各个内存读写接口都能分配到合理的带宽，保证视频能够流畅的播放。我们花费大量的时间，去优化内存的读写效率、多接口读写调度和带宽分配、内部buff的深度，最终达到的效果在有限的内存带宽下，多路视频同时开窗时都能够流畅的播放。

LiveVideoStack：您认为未来（五年内）视频编解码技术会达到怎样的进步？

周毅华 ：深压缩和浅压缩代表着编解码算法的两种发展方向。以H.264/H.265为代表的深压缩算法，在画质不降低的情况下，追求更高的压缩倍数，新一代深压缩算法H.266有可能在5年内实现商用。而随着4K/8K分辨率的普及，以及用户对高清画质和超低延迟的需求，广电领域对夹层编码的需求，也会让以JPEG XS和JPEG2000为代表浅压缩算法得到广泛的应用；同时，针对不同的应用场景，也会有新的、更好的浅压缩编解码算法出现，已有的浅压缩算法也会不断迭代，以满足应用需求。

LiveVideoStack：可否透露一下贵司对FPGA及相关技术的未来展望以及后续对FPGA技术的应用呢？

周毅华 ：北格逻辑未来会持续在音视频领域深入耕耘，打造全系列的基于FPGA的浅压缩编解码算法，包括JPEG2000、JPEG XS、DSC和Huffman-diff等等，压缩倍数从2-3倍、6-10倍、15-25倍全覆盖，追求更高的画质和更低的延迟。同时围绕着这些编解码IP，北格逻辑会完善包括视频输入输出接口、VPSS、视频网络传输协议等在内的视频类IP，客户可以使用我们的IP快速搭建出自己的视频处理系统。

LiveVideoStack：在10月19日AMD的技术与方案专题研讨会上，您会带来哪些分享，可否跟我们的读者剧透一下呢？

周毅华 ：10月19日的专题研讨会，我首先会介绍一下北格这边已有的一些音视频类IP（包括ISP、编解码、VPSS、3D LUT等），然后重点讲一讲北格逻辑JPEG2000的特点，以及与H.264/JPEG XS的对比；最后结合视频分布式/KVM的应用场景，介绍如何在FPGA内用这些IP打造一个高性能、高画质、低延迟的视频传输系统。

10月19日下午14:00 – 16:30，AMD特邀各生态合作伙伴的音视频技术专家，共同举行专业音视频技术与方案的在线专场研讨会，为广大从事专业音视频以及相关行业应用的从业人员带来一场技术与方案的技术盛宴，共同探讨音视频技术的应用方向，展望新兴音视频技术所带来的全新视听享受。

10月19日 14:00 – 16:30

AMD ProAV技术与方案分享专题研讨会