全链路革新：火山引擎视频云引领AI新视界

作者 | 雷雨亭

视频，作为人们日常内容消费的主要形式之一，在过去几十年来经历了翻天覆地的变化。

从早期低分辨率、有限色彩的视觉表现，到如今不仅在画质上实现飞跃，而是提供全方位、更真实、流畅的视觉感受。这一切的背后，离不开视频云技术的强大支撑。如今，其应用范围已经超越了传统的娱乐领域，远程协作、在线教育、电商带货等极大地提升了日常生活的便捷性；而 AR/VR 等新兴技术的兴起，则提供了更加身临其境的体验。视频云技术正在重塑我们与数字世界的连接方式。

随着 AI 时代的来临，视频云也迎来了新机遇。2024 年，被誉为 AI 应用落地的元年，大模型正以前所未有的速度走入千行百业，重塑人们的日常生活。IDC 观察到“大模型”、“生成式人工智能”与视频云产品融合实现了超预期进展，这一趋势预示着视频云的全面升级正当时。视频云通过引入 AI 技术，其应用范围是否会进一步扩大？如何为用户带来更加丰富多元的多媒体体验？这些问题背后，蕴含着无限的可能性和广阔的前景。

作为这场技术革命的见证者和推动者，火山引擎视频云联合英特尔中国共同推出《云上新视界》第二季，以 “未来视界 尽在掌握” 为主题推出三期节目，内容涵盖电商大促、VR 文旅、赛事直播等前沿话题，深入探讨了 AI 时代下视频云技术的革新与应用，展现了火山引擎视频云在音视频全链路中的创新实践，以及 AIGC 技术如何赋能音视频领域的新发展。

从 2024 年 6 月 27 日正式上线到现在，在火山引擎开发者社区、字节跳动技术团队公众号、字节跳动视频云技术团队公众号、InfoQ 等内容平台收获无数好评。在本文中，将为您重点介绍三个应用场景，一起来了解最前沿的视频云技术如何重塑用户体验吧！

1 全链路赋能，AIGC 重塑抖音电商大促季

电商作为人们日常消费的一环，含有大量内容素材，从文字描述、产品图像到展示视频，及信息流广告等等，无一不考验商家对内容素材的生产能力。特别是在大促期间，内容需求会急剧增加。

AIGC 技术能显著增强电商场景，包括自动生成文案、图片和音视频素材，优化商品描述和推荐搜索机制，提供虚拟购物体验，以及提升用户交互体验。这些应用能覆盖电商内容生产的多个环节，从商品展示到营销素材，再到用户交互和虚拟体验，几乎满足电商场景下素材生成的全部需求。

但针对内容生成的多样性需求，如根据不同商品特性（如服装、电子产品）提供多样化视觉效果，要求模型能够针对具体应用场景进行微调或训练。同时，为满足用户对快速响应的需求，需在成本、效率和质量之间寻找平衡点，可能通过选用高性能硬件或优化软件部署来实现。此外，硬件选择也是一个关键点，需根据业务场景和成本效益选择合适的 CPU、GPU 或 AI 加速器方案。

为了解决这些需求难点，火山引擎视频云在多方面进行了技术突破。 例如优化生成素材质量，研发先进模型以提升内容多样性和创造性，确保多媒体内容高分辨率和真实感；根据商品和场景产出个性化内容，避免同质化；使用多样化数据训练模型，增强多模态生成能力和交互性；优化算力使用和算法效率，降低成本；实施数据加密、脱敏、访问控制等措施保护隐私。

英特尔的底层技术方案则在提供硬件资源的前提下，通过软硬件的优化方案来加速模型的训练和推理，为 AIGC 解决方案提供了可行性。首先，为确保为云上用户 AIGC 方案的易用性，应满足性能要求的同时最小化成本，并通过一键式部署简化使用体验。此外，AIGC 方案强调可扩展性和动态扩缩容能力，以适应流量变化，保证服务质量的同时避免资源浪费，尤其是在选择计算资源时，CPU 在计算粒度、内存和弹性方面表现出优势，有助于优化成本。

这些技术的已经为抖音电商大促场景带来了多重增益。首先，商家可以快速生成海量创意内容，满足高频营销需求；其次，AIGC 增强了商品的视觉吸引力，例如抖音超市自营商品氛围图已实现 100% 托管，整体点击率提升了超过 3 个百分点；此外，AIGC 通过提取核心卖点和提供精准的个性化推荐，有效提升了转化率和销售额；在大促期间，AIGC 驱动的智能客服能够 7x24 小时不间断地提供咨询和反馈服务，提高了服务效率。

可以看出，从商品描述、到商品图片、视频、3D 展示到提取广告素材，AIGC 技术持续贴合更多使用场景的服务。在未来，电商的内容生产会趋向链路化、全自动化，并且能在短时间内生成海量的高质量内容。或许只需要一个指令，它就能全自动进行内容生产。

2 超大空间、多人并发，揭秘云 VR 大空间技术

不仅是线上电商，视频云技术也正在为线下场景带来新契机，其中云 VR 大空间已成为文旅行业炙手可热的新概念。

相较于传统的 VR 文旅，云 VR 大空间通过提供高度沉浸感和真实感的空间，让用户可以在虚拟环境中自由漫步并实现一些交互，尤其当这种技术与传统文化相结合时，使得整个场景具有 3A 级或电影级别的冲击力。

在技术上，云 VR 大空间解放了场景开发的算力限制；整个迭代更新过程也实现了加速，开发周期从原本的一年半缩短至 3 到 6 个月；还极大地减少运维的复杂度，使得行业参与者能够更加快速的投产。

但目前来看，云 VR 大空间依旧面临不少技术挑战，包括高质量内容的缺乏、高成本、场地要求高且规模不足、技术门槛高等问题。同时，云 VR 的渲染模型和资源瓶颈也是需要解决的问题。

火山引擎的“1+3+1”综合解决方案框架便是整合内容开发、端网云及运营平台，为 VR 内容提供全面技术支持。“1”涵盖 VR 内容开发，如动作捕捉、大空间定位与三维重建；“3”涉及 VR 设备端（音视频解码、手势识别等）、网络传输（稳定低延时、高码率）和云端技术（虚拟化、串流、渲染编解码）；最后一个“1”指运营平台，支持业务运营、多人互动等功能。

在底层技术上，英特尔锐炫? A770 显卡通过创新实践支持云 VR 大空间应用。其亮点包括对 DXR Ultimate 游戏和 GAR 超采样技术的支持，以及 200 TOPS 的 AI 加速。在《何以华夏》项目中，英特尔锐炫? A770 显卡提供了 560GB/s 高带宽内存，并通过多卡方案降低了运营成本。不断优化的驱动程序解决了兼容性和性能问题，已有 100 多个游戏支持 XES。此外，弹性编码方案降低了编码和网络延迟，提升了用户体验。未来，单卡多实例 SRV、边缘渲染、AIGC 和大语言模型问答将成为云 VR 发展的关键方向。

在对于云 VR 大空间的尝试中，火山引擎与英特尔走在前列。 在 2023 年，字节跳动旗下 XR 品牌 PICO 与全球英特尔达成正式对外发布双方共创文化 IP「何以华夏」，其中火山引擎提供技术支持，通过先进的 VR 技术方案，让整个行业看到了 VR 与文化 IP 深度结合的可能性。2024 年春节期间，全球首例云 VR 大空间应用——龙游神州，在地坛庙会正式上线。这个云 VR 大空间项目实现了 150 平米峰值并发突破 21 路，并且实现了高帧率、低延迟、高清码率的整体目标，获得了用户和各方的广泛认可。目前在北京、上海、成都等城市，火山引擎所参与的《重返三星堆》《贞观之歌》等项目正在陆续上线中。

云 VR 大空间所带来的想象力是巨大的，未来有望进一步拓展到教育、医疗、娱乐、企业培训等多个行业。特别是在文娱领域，KTV 和电影院等公共场所可能会成为重要的应用场景。云 VR 进入家庭，也可以让用户在家也能享受到丰富多彩的 VR 体验。

3 高画质、低延迟、超稳定，视频云如何应对赛事爆发年

在国际上，场景进化同样也对视频云技术提出了更高要求。2024 年全球赛事的爆发，欧洲杯、美洲杯、巴黎奥运会等赛事引发观赛热潮，在赛事直播领域，裸眼 3D、VR 互动、AI 互动等新玩法将观赛体验再度升级，这也为赛事直播带来了新的技术挑战。

第一，面对庞大的观众群体和高流量，确保服务的稳定与可靠是首要任务。第二，要做到直播的实时和流畅，低延迟性是实顶级的观看体验的核心。第三是高性能，只有尽可能发挥硬件的性能，才能够在控制成本的同时，提供超高清且沉浸式的用户体验。

火山引擎的 RTM 超低延时直播技术解决方案，通过 UDP 协议优化方案解决 TCP 协议自身的局限性；在体验优化方面，节点优选、用户网络分级等方面完成一百多项升级，实现直播端到端的延迟能够小于一秒；在直播卡顿、秒开成功率等关键指标上超越传统直播。针对高并发场景，兼容了对树状和网状动态组网的分发架构，能够更高效的处理复杂的容量及线路问题。该技术已在卡塔尔世界杯、杭州亚运会以及巴黎奥运会等多场全球赛事中得到应用，证明了其在提供低延迟、高画质和流畅观播体验方面的能力。

在保证低延时及强传输之外，观众对观看效果的追求也越来越高，VR 观赛成为提升观众观看体验的新趋势。以 2024 年巴黎奥运会为例，抖音通过火山引擎提供全程直播，引入个性化形象选择和空间音频效果，实现沉浸式观赛体验。这也带来了更高的技术挑战，沉浸式观赛需要每秒需要传输大量帧数，对传输层构成了巨大压力，容易因网络拥塞导致卡顿、延迟甚至无法播放的问题。英特尔所提供的 OVC 360 度视频库、SVT 可扩展视频库以及 Open WebRTC Toolkit 等工具，可以帮助用户快速高效的开发应用。

在平台直播效果之外，视频和 AI 的结合也越来越紧密；以及在直播编码器 BVC、智能广告等智能化传播场景也有新突破。在未来，直播技术将在交互性、沉浸式体验和智能化三个方向上进一步创新，包括更低延迟的直播、自由视角视频技术和基于 AI 的直播内容生成与推荐。火山引擎联手英特尔将会根据市场需求和技术趋势持续推出新功能和服务，以提升直播效果和用户体验。

跟随《云上新视界》第二季的深入探讨，可以看出视频云技术在电商大促、云 VR 大空间以及全球赛事直播等多个领域的创新应用，也看到了视频云所带来的无限可能。从 AIGC 赋能抖音电商大促季的内容生成革命，到云 VR 大空间为文旅行业带来的沉浸式体验升级，再到 RTM 超低延时直播技术保障全球赛事的流畅观看，每一项进展都是对视频云行业的巨大飞跃。