英伟达流媒体AR服务SDK开发公测,微美全息AR+AI引入实时直播
NVIDIA AR SDK为直播、视频会议和游戏开辟了创造性的新选择。这个SDK允许开发者使用标准的网络摄像头对人脸进行实时3D追踪,并创建各种有趣的的增强现实效果,如为人脸叠加3D数字内容或为背景添加沉浸式效果。
NVIDIA AR SDK正以公测版本向社区开放,并支持多项用例:
追踪摄像头视图的人脸,并识别图像中的一个或多个主体。
将数字asset叠加于个人,如服饰和效果。
通过脸部和头部运动控制动画角色或游戏角色。
NVIDIA AR SDK利用了NVIDIA RTX显卡的Tensor内核,可通过AI网络实现快速和高质量的追踪性能。所述网络可以提供精确的人脸追踪;人脸形状、嘴唇、眼睛、眉毛和鼻子的三自由度五官追踪;以及六自由度的先进人脸网格(人脸和头部姿态的3D重建)。
例如,用于OBS直播软件的热门插件StreamFX发布了一个全新的版本,其利用NVIDIA AR SDK创建了一个可以自动裁剪和放大用户、并且在用户移动时保持帧居中的智能camera。
StreamFX的开发者Michael Fabian 'Xaymar' Dirks表示:“StreamFX中的全新Face Tracking滤镜需要复杂的数学和机器学习,而这原本需要以一系列的机器运行和花费数个月,甚至几年的时间。但利用NVIDIA的AR SDK,现在可以在短时间内完成操作,并且可以支持因NVENC H.264编码器而日渐流行的所有NVIDIA RTX硬件。这大大缩短了必要的开发时间,从原本数年的时间缩短到仅需两周,而且没有额外的成本。”
NVIDIA发布的NVIDIA CloudXR 1.0软件开发套件将通过5G、Wi-Fi和其他高性能网络,为增强现实、混合现实和虚拟现实内容(统称扩展现实XR)带来重大提升。
随着5G网络在全球的推广,NVIDIA CloudXR正在为包括建筑和零售等许多行业带来创新。通过从GPU驱动的边缘服务器传输XR体验,公司能够将图形密集型应用程序和内容的访问扩展到移动端,让远程用户也能享受沉浸式、响应式扩展现实体验。
据艾媒咨询统计,在疫情爆发前的2016至2019年,我国在线直播用户规模就已呈现连年上升趋势,2020年我国在线直播用户规模预测将达到5.24亿人。起于秀场、游戏的直播形式,如今已成为商家营销的重要方式之一。各行各业都在闻风而动:化妆品、服装、生活用品、零食…………
信息化互联网时代,行业市场发生了巨大的变革,产品由传统制造演变为智能化、互联化、共享化、个性化,体验化的趋势。伴随淘宝、抖音、快手等视频直播电商平台日渐成熟,实时互动、真实感强、互动率高的直播带货场景正赢得越来越多消费者的青睐,“万物皆可播”正在变为现实,这将极大程度改变很多行业的传统营销模式。
随着5G全息通讯网络带宽条件变化,5G全息应用市场将迎来爆发,全息互动娱乐、全息会议、全息发布会等高端应用逐步向全息社交、全息通讯、全息导航、全息家庭应用等方向普及。微美全息(WIMI.US)计划基于全息AI人脸识别技术和全息AI人脸换脸技术为核心技术,用多个技术创新的系统支持全息云平台服务和5G通讯全息应用。
随着5G商用时代的即将来到,令游戏以及直播行业有了新的机遇。5G带来的底层变化更加喜人,比提升码率和画质更令人感到兴奋。如果在直播中使用了超低时延,将会提升直播的互动过程,令直播内容更有价值。
当下,移动互联网正以前所未有的态势改变着我们的娱乐方式,而此次微美全息(WIMI.US)的AR+直播系统,通过在直播中加入AR技术作为新的交互介质,很好的解决了场景化、互动化的问题。
立体展示、全息成像等酷炫技术越来越受到行业的青睐,传统的展示手法已给观众造成了麻痹的审美疲劳,更多企业希望通过更加先进的高科技手段展示自己的产品,引起客户的注意,提升自身市场占有率。
微美全息(WIMI.US)的AR+直播直播优势很显而易见,可真实模拟任意场景,体现产品在不同真实环境中的使用请况;可以展现更为复杂的产品,让受众更为直观了解产品的内部结构和产品细节;突破人员限制,同时又可以锁定人群进行直播精准投放,宣传力度效应更广;线上互动性更强,嘉宾与粉丝可在直播期间进行互动,并对他们的问题进行实时筛选作答;进行实时效果合成,直播结束即可获得整套完成视频,无需再进行后期剪辑,第一时间用于宣发。
微美全息(WIMI.US)依托自我成熟的视觉设计团队基础,深度开挖AR直播技术,正式上线AR直播业务,丰富自我的业务结构,为客户提供更多服务,解决客户问题,涵盖多行业多领域。
微美全息(WIMI.US)AR+直播系统,简单来说就是通过AR全息科技,让观众可裸眼观看全息人物或场景在现实中的真实还原,身临其境,用户体验可以用叹为观止来形容微美全息将全息技术与娱乐模式相结合,观影者能够成为电影/舞台中的角色,介入影片/舞台事先设置的环境与剧情,让观影者身临其境般感受到自己就是电影/舞台里的一份子,观影者就是影片里的主角或是其中一员,并持续与影片/舞台内容产生交互作用。
全息直播是展示的一个新的方式和发展方向,通过全息投影技术,参观者不仅能看到清晰的图像,而且是全方位、多角度的看到立体、逼真的图像,结合原有的展示方式,充分的呈现了直播的内涵、细节,更加激发了大众接受新事物的积极性。
微美全息(WIMI.US)通过构建多角度拍摄实时建模系统:对采集对象进行全维度的影像扫描,实时合成为立体模型。六度矩阵式光场系统:多光源综合运用,构建全息虚拟影像的成像场。双眼视差智能增强系统:采集过程中动态跟踪对象轨迹并调整光线,保持双眼差的均衡值。多图像动态融合系统:狭窄空间中的多维图像广角采集技术,应用于云视小型化全息栈仓。全息图像高速处理算法:对图像信息进行极速处理,并保证渲染效果,处理速率达10GB/秒。隐身聚酯光学显像膜:全息成像关键构件,让全息影像完美成像显示。全息虚拟人物画音重建技术:运用人骨骼动态捕捉,图像实时渲染,语音识别技术,声音模拟技术呈现虚拟人。全息云平台:覆盖全国的影像采集和还原,具有数据存储、影像还原、全息社交属性的交互平台。微美通过以上系统组合构建起完整的5G全息通讯应用平台,以支持各种线上终端和个人设备应用,同时拓展全息社交通讯、全息家庭互动、全息明星互动、全息在线教育、全息在线会议等各种主流5G全息应用。
VR/AR是新一代信息技术相互融合的产物,过去的VR/AR产品因为带宽和延时的因素可以导致渲染能力不足、互动体验不强和终端移动性差等痛点问题,一直是遏制行业发展的最大的一块短板。高质量VR/AR业务对带宽、时延要求非常高,例如对于VR来说,要达到非常好的用户体验,需要的带宽要达到1000Mbps以上,延时要达到小于2ms的级别,而对于AR来说要达到不错的用户体验也需要200Mbps带宽以上和5ms以下的延时,这在4G时代是没有办法实现的,唯有5G能满足这样的高速传输能力。
5G时代,视频流量将呈指数级增长,视频化表达已是大势所趋。但当前,我国媒体转型与发展正面临着发展瓶颈,主要表现在:低效率的视频生产方式制约了传统媒体向融媒体、智媒体转型;海量化的视频生产规模使内容审核更加复杂困难。
未来,AI和5G将作为一种底层能力,融入各行各业,AI+5G的最终价值在于行业应用。当前,5G技术在主要垂直行业的全球市场潜在价值预计可达4.3万亿美元。那么,如何撬动4.3万亿美元的行业应用,AI或许才是幕后关键的推手。
