相芯虚拟主播“预见未来”，跨界主持RTE2020硬核技术论坛

10月22日,由声网Agora主办的“RTE2020实时互联网大会”开幕。本届大会以“预见”为主题,为期四天,囊括了高峰论坛、技术与行业分享、创业挑战赛等多个环节。作为全球最大的实时互联网行业会议,也是最大的RTE技术盛会,RTE聚集了世界顶级技术专家和开发者分享最前沿技术和实践,迄今已吸引了数万名开发者和从业者前来交流学习。

与往年不同,RTE2020因为受疫情影响,将部分活动改为在线直播的形式进行。虚拟主播小玉作为特邀主持人,主持了AI技术、大前端、实时传输与架构三场技术论坛,以其可爱外形与灵动表现收获了大量开发者的关注。小玉源自相芯科技的虚拟主播解决方案,此前曾主持多场电商和活动直播。

硬核论坛受关注,虚拟主播添活力

RTE2020大会的前身是RTC大会。所谓RTC(Real-time Communications),即实时音视频技术。在此次全球爆发的新冠疫情中,RTC作为视频会议、视频通话、远程办公、远程医疗和互动直播等应用的底层技术,为全社会运转提供了巨大支持。由于智能技术发展和实时互动场景化需求的爆发式增长,“RTC大会”也就此升级为“RTE(Real-Time Engagement)大会”。

RTE2020主要聚焦于四个领域,技术专家分享对AI、5G 、VR、360°全景直播、Flutter框架等前沿技术的探索;关注实时互联网应用场景的投资人、创业者、产品负责人分享对在线教育、社交泛娱乐到IoT的思考;为工程师和开发者提供的实践分享与职业发展规划;为开发者和创业者提供的创新创业挑战赛,发掘更多基于实时互联网技术的优质创新应用及场景。

由于RTE2020是“开发者第一”的技术盛会,活动翌日的AI、大前端、实时传输与架构技术分享三场直播受到了格外热烈的关注。

AI 被广泛应用于各个RTC 技术环节中,如视频预处理、音频降噪、实时传输、美颜、图像分割等;大前端技术是另一项以惊人速度发展的前沿技术,新的跨平台框架、新的语言特性,甚至是应用架构的演进和AI的落地,都在影响着实时互动场景的实现。实时传输的可靠性、传输质量、可扩展性,则直接影响了实时互动体验的性能指标。

围绕这三大技术主题,Hulu首席研究主管谢晓辉、声网Agora资深视频算法负责人戴伟、Visionular Inc联合创始人兼首席科学家Zoe Liu、PayPal资深软件工程师于航和北京大学计算机研究所所长王选等十多位技术专家,围绕视频解码器算法优化、前端RTC应用实践、流媒体传输架构等技术展开了全面分享。

虚拟主播小玉则凭借娇俏可爱的外形、落落大方的姿态,为原本充斥硬核技术气质的直播间增添了不少活泼色彩:她一方面以主持人的身份串起来整场技术分享,另一方面也作为AI+CG的技术成果的代表,为观众带来了生动实例。

虚拟主播应用广泛,相芯打造一站式解决方案

如果有观众同时打开了多个直播间,会发现三场技术论坛的主持人都是虚拟主播小玉。她之所以能同时出现在多个直播间里,源于相芯科技的虚拟主播解决方案。该方案结合了3D建模、实时动作捕捉,该技术能将真人扮演者的表情和全身肢体动作实时同步到虚拟主播的形象上来,虚拟主播也就不再受限于传统的动画技术,可以随时进入直播间,和观众们愉快互动。

值得一提的是,相芯科技的动作捕捉方案,让扮演者无需佩戴头盔,通过普通的摄像头就可以实现面部捕捉。这极大提高了扮演者直播过程中的舒适程度,可以更加轻松地应对长时间的网络直播。

RTC 技术是直播、游戏、社交等行业互动场景的重要支撑技术,在这些场景中,虚拟主播正在越发收到年轻人的喜爱。去年以来,各大媒体都推出了自己的AI虚拟主播,通过XR图像合成技术和语音合成技术,实现了播报视频的标准化自动生产。今年年初的新冠疫情以来,许多品牌和MCN纷纷试水直播带货,在这一波带货大潮中,虚拟形象直播成为了一股清流。在今年5月的一场二次元知名IP洛天依的直播带货中,观看人数一度达到近300w,其中近200w人进行了打赏互动。不止带货,虚拟形象直播也成为了各大直播平台纷纷布局的领域,B站上排名前5的虚拟主播关注量高达800多w。

虚拟主播的应用范围愈发广泛,在电商带货、娱乐直播、新闻播报、形象代言、IP打造等领域都大有用武之地。相芯科技的虚拟主播解决方案也凭借技术稳定、部署灵活的特点,在行业内收获了大批拥趸。

如今,越来越多像相芯科技这样成熟全面的第三方技术提供商出现,正让前沿技术的应用门槛快速降低。相芯科技致力于让AI和Cloud与传统CG技术融合创新,打造XR内容生产的基础设施,赋能多用户群体,覆盖全场景3D内容,满足高效内容制作、虚拟IP打造、虚拟智能服务等多样化需求,为影视游戏、社交娱乐、商务营销、日常生活、智慧城市等场景提供一站式解决方案。