【实习】基于多模态大模型的视频分析/理解/画质评估及增强与视频智能编码/表达-音视频技术（上海）

视频与边缘部门承载了字节跳动的媒体内容分发基建及技术中台，支持了字节跳动全系产品，如抖音、今日头条、番茄小说、西瓜视频等APP的点播、直播、实时通信、图片等多媒体业务发展，同时将业务发展过程中沉淀下来的技术能力和工具，通过火山引擎对外输出，面向各行各业用户提供视频云产品和服务，愿景是为内外部业务伙伴提供最低成本、最优画质、最低延时、最安全可靠的富媒体内容分发解决方案，助力业务伙伴降本提效实现持续增长。 课题介绍： 随着4K、HDR等技术成为主流标准，消费者对视频画质的要求日益提升。然而，视频在拍摄、传输和压缩过程中，画质往往受损，影响观看体验。多模态大模型的出现为视频分析、理解、画质评估、及画质增强提供了新的可能性，因此希望能够探索多模态大模型在多媒体场景的应用可行性，发掘基座大模型在大规模业务视频内容应用的潜力，建立业内领先的多媒体场景的多模态大模型解决方案。

1. 画质分析以及人眼感知：利用多模态大模型，深入分析视频内容及画质退化问题，研究人眼对色彩、帧率、清晰度等画质维度的感知能力，从而使得画质评估更为准确，画质增强对退化的处理更为智能，增强的结果更符合人眼主观；
2. 生成式画质增强：利用生成式大模型的先验信息，大幅提升画质增强的效果天花板，并且解决生成伪像、生成保真度、生成稳定性等当前生成式算法存在的问题；
3. 视频时域任务：研究画质理解和增强在视频上的拓展，包括时域信息表征建模，时域退化理解，时域画质增强连续性，时域推理加速等；
4. 用户视角的验证：在大规模用户环境中，从用户的实际观看体验出发，验证画质增强算法的有效性和用户满意度；
5. 视频智能编码及表达：近年来，深度学习在视频及图像压缩领域逐渐成为研究热点。随着传统编码标准逐渐逼近性能瓶颈，深度学习方法受到了业界的高度重视，发展极为迅速。目前在部分场景下深度学习方法已经可以接近甚至超过H.266/VVC的压缩效率。然后相对传统编码，深度学习方法也面临着诸多挑战，例如在很多应用场景下的压缩效率依然落后于传统编码技术，运算复杂度高，跨平台编解码缺乏兼容性，难以标准化等等。此外，如何将传统编码算法和深度学习算法在统一的硬件架构下实现，并达到极致的算力利用效率，涉及到算法和硬件架构创新，是研究的难点。 课题挑战： 基于多模态大模型的分析/理解/画质评估和增强面临如下挑战：
6. 多模态长视频复杂时序关系建模；
7. 少样本grounding-based理解画质评估模型；
8. 可交互/用户偏好对齐的视频处理/增强模型。 视频智能编码及表达面临如下挑战：
9. 如何实现压缩效率显著超越传统编码器；
10. 如何满足可接受的复杂度及功耗要求；
11. 如何保证跨平台编解码一致性；
12. 如何高效压缩token等新兴智能信息；
13. 如何有效表达语义信息。 课题价值： 基于多模态大模型的分析/理解/画质评估和增强的研究价值：
14. 提升中长视频语义理解与事件定位能力及处理效率，支撑广告推荐、内容理解、视频价值评估和转码增强等核心业务；
15. 降低画质标注成本，实现局部退化可解释评估，提升跨内容泛化能力，支持像素级画质质检与优化。 视频智能编码及表达的研究价值：
16. 传统视频编码技术逐渐接近其能力极限，视频的智能编码技术有希望突破该极限，实现前所未有的视频压缩效率；
17. 在新的应用场景中，Token等新兴智能信息将占据显著带宽。对新兴智能信息的压缩将显著提高传输与存储效率；
18. 高效视频智能编码及表达一旦实现标准化，将在市场中占据有利位置，有巨大潜在专利价值；
19. 高效视频智能编码及表达有可能明显节省带宽及存储，直接创造经济收益。