请选择 进入手机版 | 继续访问电脑版
 找回密码
 立即注册
搜索

聊聊:斯坦福大学提出采用RGBD摄像头的高帧率,低延迟AR头显系统2022/9/16 14:07:32


日前,斯坦福大学的HJ和JNB等人发布了为《AE--PRGBDCARH》的论文,并介绍了他们利用单个RGBD摄像头来支持AR头显的验。ar开发的最新消息可以到我们平台网站了解一下,也可以咨询客服人员进行详细的解答!http://www.2d3d5d.net/




团队表示,这一研究的贡献在于为采用现成硬件的工作系统提供可用代码,而非为计算机视觉或图形学提供先进的理论。当前的研究用一个搭载RGBD摄像头(微软K2)的系统来捕获人物,并通过AR头显(微软HL)来显示场景。尽管保真度低于选择多摄像头的其他系统,但所述系统的帧率高,延迟低,且可移动,因为它不需要一台渲染计算机。


图片:系统压缩和解压缩概述。压缩阶段适用于连接到K2的笔记本电脑。压缩之后,VP8帧和RVL帧将传输到HL。解压缩阶段用于接收帧的HL。



系统的硬件端由两方面组成:配备K2的笔记本电脑和HL。软件端同时包括两个方面:将像素从K2发送到HL;以及由HL渲染像素。所述过程面临个挑战,而这个挑战来自于设备的个特征:




K2产生大量数据。




HL需要线传输。




HL具有较低的计算能力。



面临的挑战是:
由于(1)和(2),需要压缩。
由于()和(3),需要计算有效的解压缩。
由于(3),需要一种有效的渲染技术。



1压缩与解压缩



K2具有彩色像素和深度像素。对于彩色像素,团队采用VP8编解码器,并通过和FF进行编码和解码。尽管H264至少表现出相同的性能,但团队选择VP8的原因是基于修订的BSD许可,而这与团队提供系统源代码的目标一致。对于深度像素,由于需要避免有损压缩的不确定性,所以团队选择RVL(W,2022)进行压缩,因为它的计算成本低且损。图1概述了团队系统的压缩和解压缩过程。



2压缩阶段



利用接到K2的笔记本,将彩色像素编码为VP8帧,并将深度像素RVL压缩为RVL帧。执行这一功能时,由于彩色像素的分辨率(1920×1080)较于深度像素(512×424)过大,所以彩色像素的分辨率在宽度和高度减少一半,特别是对于团队的可视化技术而言(其将每个深度像素与颜色值配对)。两种像素都通过线络发送到HL。



3解压缩阶段



团队的系统使用FF解码编码后的彩色像素,并将解码后的像素转换为个8位单通道D3D纹理,其中每个纹理都属于YUV的颜色通道。为了避免从YUV420(一种视频流式传输的主要颜色空间,因为它允许在U通道和V通道进行4倍压缩)转换到高计算量的RGB,团队选择在YUV颜色空间中创建纹理。另外,为避免将解码后的像素重新排列为单个纹理,团队使用了个纹理而非一个。接下来,用RVL压缩的像素将解压缩为16位单通道D3D纹理。



4渲染阶段



借助YUV纹理和深度纹理,HL可以将深度纹理的每个像素渲染为漂浮在空间上的四边形,并使用YUV纹理中的颜色值对四边形进行着色。团队的渲染技术需要使用由K2的预先计算的格。在具有深度纹理的高点着色器中,预先计算的格变成反映深度纹理深度值的一组点。在几何着色器中,所述点变为四边形。四边形的大小选择为不影响相邻四边形的比较大大小。比较后,在片段着色器中,根据YUV纹理对四边形进行着色。图2是团队的渲染技术示例。



团队发布系统代码的目的是,支持大家将其用作AR头显应用程序开发的基础,尤其是远程呈现系统。尽管渲染质量远非完美,但团队希望这个系统能够提供一种便携的,支持现成硬件的经验证方法(需机器进行渲染),从而为开发者,研究人员和消费者带来帮助。




相关论文:



AE--PRGBDCARH



202210--




?



(文章转载自映维,原文链接:67247)
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册