启用AI数智人主持对话 广电媒体加快“文化+科技”融合

工人日报—中工网记者 杨召奎

为加快AIGC核心技术研究和创新应用开发，第一财经频道携手华院计算技术（上海）有限公司2024甫一开年即开先河，创新地在节目中完全启用AI数智人主持对话，打造首个全数智人主持播报的“直播”类财经节目。并在之后的2024年第一财经拥抱龙年的春节系列节目中，第一财经频道与华院计算携手打造的AI数智人多次登上电视屏幕，为广大观众贡献了多个精彩纷呈的财经播报节目。据了解，第一财经频道此次采用的数智人主播，根据栏目场景需求做到了更加精细化的定制，华院计算基于自研的大规模多模态预训练技术及少样本可控生成技术，仅需采集主持人数分钟自由讲话视频，便创建出了生动的数智人形象，拥有如同真人主播的情感表情、形象气质、语音语调、口唇表情、肢体动作。

利用这一少样本可控生成技术，节目组在后续使用中无需真人出镜，解决拍摄、视频制作周期漫长等一系列问题，可以实现在短时间内即生成一期节目。在这个过程中，用户仅需输入文本，即可实现同音色语音合成、口型同步生成、躯体动作自适应匹配等多位一体的形象生成，输出信息包括声音、姿态、表情、动作等，与输入文本自然匹配。华院计算为频道提供了端云协同2D真人数智人驱动技术，其中云端算法主要负责声音合成、姿态和表情等内容生成相关任务，而端侧负责将这些内容数智人视频，并保证音频与视频的同步。从而通过超写实数智人进行播报，并结合视频内容理解分析技术实现媒体资源管理，利用多维度标签文本-视觉的语义对齐，以1:1时间实现一键视频生成。在第一财经新近发布的《秒懂金融》栏目中，除了丰富的股市点评和分析内容外，节目的一大亮点就是除了连线嘉宾为真人外，节目画面中的演播室场景、主持人李婷、现场嘉宾应有为均通过华院计算数智人技术合成，通过文字和语音驱动形成两个数智人对话的神奇画面。