• 周六. 6月 15th, 2024

元宇宙-XR

admin

11月 9, 2023 #混合现实XR

《三体》的作者刘慈欣说:人类的面前有两条路:一条向外,通往星辰大海;一条对内,通往虚拟现实。“元宇宙”就是对内的那条路。

随着5G、大数据、AI等技术的发展,虚拟与现实结合似乎成为一种势不可挡的趋势,而被认为是下一代互联网的新形态元宇宙也被推倒了风口上。准确地说,元宇宙不是一个新的概念,它更像是一个经典概念的重生,是在扩展现实(XR)、区块链、云计算、数字孪生等新技术下的概念具化。

2021年的1至9月,虚拟现实产业累计投融资金额已超过200亿元,投融资事件数量和融资金额,均已超过以往历年全年的总额。

全球VR 头显市场将保持强劲增长,根据IDC 预测,2021年全年 VR头显出货量将同比增长28.9%,2025年VR头显出货量将达到2860万台,五年复合增长率为41.4%。

1979年,MUDs(多路分米波系统)推出全球首个文字交互式的开放世界,奠定了多用户线上实时社交的基础平台。

1981年,美国数学家和计算机专家弗诺·文奇教授在其出版的小说《真名实姓》中,创造性地构思了一个通过脑机接口进入并获得感官体验的虚拟世界。

1986年,全球第一个2D图形界面的多人游戏Habitat问世,使人类首次实现使用化身(Avatar)进入虚拟世界。

1992年,美国科幻小说家尼奥·斯蒂文森在《雪崩》中提出“元宇宙”的概念,书中设定现实世界中的人在网络世界中都有一个分身,这个由分身组成的世界就是“元宇宙”。

小说在技术设定方面很炫。主要是两大设定,“超元域”塞博空间和人脑语言结构。“超元域”塞博空间,是塞博朋克小说的经典设定。《雪崩》在电脑与互联网方面的设定,在现实中有些对应。比如对应“超元域”,现在有“第二人生”(据说就是受本书的启发);对应中情公司的“地球”,现在有google earth,等等。小说更为重要的技术设定是人脑语言结构。其实“超元域”塞博空间的设定,只是环境设定,是故事得以发生的环境。人脑语言结构则是故事驱动设定,是故事主要情节最终发生的原因。看得出斯蒂芬森是把人脑与电脑进行比拟,把人的语言与电脑语言相比拟。参照电脑的机器语言与高级语言之分,搞出了人脑共通的的深层结构和以其为基础的语言以及语言病毒——这一大套设定。故事就围绕着野心家大亨企图借助语言病毒控制全人类的阴谋展开。

2003年,美国Linden实验室开发设计了现象级的虚拟世界网络游戏“第二人生”(SecondLife,测试),其强大的世界编辑功能与发达的虚拟经济系统向虚拟世界与现实世界的边界发起挑战。

永续性-“元宇宙”是由无数个虚拟世界组成的不断碰撞且膨胀的数字宇宙,其所对应的虚拟世界一旦开局便会永久存续,且不受任何单一个体控制。

实时性-“元宇宙”打通了与现实世界的信息交互渠道,在思想、意识、言论、精神等多方面保持同频共振,近乎拥有现实世界保有的一切形态。

兼容性-“元宇宙”可容纳任何规模的群体和事物,且不设置准入限制,允许任何用户进入“元宇宙”组织开展个人数字创造,并承载其数字成果。

经济属性-“元宇宙”是一种前所未有的大规模参与式媒介,具备与现实世界类似的可完整运行的经济系统,用户可通过劳动创造虚拟收入,依托平台实现交易流通。

可接入性-“元宇宙”中所创建的数字内容、数字资产、社会关系可在任一虚拟世界接入并实现同步,通过数字市场、数字货币等媒介实现在虚拟世界与现实世界之间的转换。

可创造性-“元宇宙”是集体的、互动的开放式空间,任意用户和群体均可在进入“元宇宙”后根据自身的思维构想开展数字创造,并不断丰富现存宇宙的价值内涵。

“元宇宙”的发展为AI(人工智能)、XR(扩展现实,即VR、AR、MR(混合现实)的合称)、数字孪生、大数据、云计算、区块链等高新技术提供了更为集成的应用场景和开阔的实验空间,加快催生出一系列新技术、新业态、新模式,进一步提高社会生产效率,促进传统产业迭代升级。

XR是Extended Reality的缩写,即扩展现实。XR是AR/VR/MR等各种形式的虚拟现实技术的总称。它分为多个层次,包括从通过有限传感器输入的虚拟世界到完全沉浸式的虚拟世界。

AR是Augmented Reality的缩写,通常被称为增强现实。AR的定义很广泛,技术种类众多。目前主流的AR是指通过设备识别和判断(二维、三维、GPS、体感、面部等识别物)将虚拟信息叠加在以识别物为基准的某个位置,并显示在设备屏幕上,从而实时交互虚拟信息。

VR是Virtual Reality的缩写,通常被称为沉浸式虚拟现实。VR为用户提供了完全沉浸式的体验,使用户有一种置身于真实世界的感觉,是一种高级的、理想化的虚拟现实系统。

MR是Mixed Reality的缩写,即混合现实,指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里,物理和数字对象共存,并实时互动。

2015年,微软发布第一代HoloLens全息眼镜,在单一机身中融合了CPU、GPU和全息处理器,并在2019年推出更为强大的HoloLens 2。

在2017年的WWDC上,苹果推出了专门为打造增强现实体验而开发的框架ARKit,以及面向AI的CoreML。同年,Google推出了和苹果ARKit功能相似的ARCore。

2019年9月,华为在旗舰手机Mate 30 Pro的发布会上重磅推出了自家的VR眼镜产品,为业界所看好。

2019年,Facebook推出的Oculus Quest让无数人眼前一亮,可谓“当前VR一体机产品中的翘楚”。

2021年3月,沉浸式体验游戏商Roblox上市并发布招股书,深层次阐述了其对“元宇宙”的理解和未来发展布局。

10月,Facebook在其年会上宣布将企业名称更改为Meta,正式开启从社交媒体平台向“元宇宙”生态的全面转型。

11月,微软在Ignite大会上宣布正式入局“元宇宙”领域,并发布“元宇宙”办公场景解决方案《Meshfor Team》,“元宇宙”发展进入爆发期。

虚拟现实是一种综合性技术,由三大类技术组成,分别是立体显示技术、3D建模技术和自然交互技术,如图1-1所示。

立体显示技术以人眼的立体视觉原理为依据。因此,研究人眼的立体视觉机制、掌握立体视觉的规律,对设计立体显示系统是十分必要的。如果想在虚拟世界看到立体的效果,就需要知道人眼立体视觉产生的原理,然后再用一定的技术通过显示设备还原立体效果。

HMD(头戴显示)技术的基本原理是让影像透过棱镜反射之后,进入人的双眼在视网膜上成像,营造出在超短距离内看超大屏幕的效果,而且具备足够高的解析度。

头戴显示器通常拥有两个显示器,而两个显示器由计算机分别驱动向两只眼睛提供不同的图像,再通过人的大脑将两个图像融合以获得深度感知,从而产生立体的图像。主流的沉浸式虚拟现实头戴设备,包括Oculus Rift、Oculus Quest、HTC Vive、Sony Playstation VR、3Glasses、Pico VR等,大多基于双显示屏技术。

HoloLens,它相当于Google Glass的升级版,可以看作是Google Glass和Kinect的合体产品。它内置了独立的计算单元,通过处理从摄像头所捕捉的各种信息,借助自创的HPU(全息处理芯片),透过层叠的彩色镜片创建虚拟物体影像,再借助类似Kinect的体感技术,让用户从一定角度和虚拟物体进行交互。依靠HPU和层叠的彩色镜片,HoloLens可以让用户感觉到这些全息图像直接投射到了现实场景中的物体上。当用户移动时,HoloLens借助广泛应用于机器人和无人驾驶汽车领域的SLAM(同步定位与建图)技术来获取环境信息,并计算出玩家的位置,保证虚拟画面的稳定。

全息投影技术可以分为投射全息投影和反射全息投影两种,是全息摄影技术的逆向展示。和传统立体显示技术利用双眼视差的原理不同,全息投影技术可以通过将光线投射在空气或者特殊的介质(如玻璃、全息膜)上呈现3D影像。人们可以从任何角度观看影像,得到与现实世界中完全相同的视觉效果。

目前,我们看到的各类表演中所使用的全息投影技术都需要用到全息膜或玻璃等特殊的介质,需要提前在舞台上做各种精密的光学布置。这类表演的效果绚丽无比,但成本高昂、操作复杂,需要操作人员进行专业训练。

神秘的Magic Leap采用了所谓的“光场成像”技术。从某种意义上来说,该技术可以算作“准全息投影”技术。其原理是用螺旋状振动的光纤形成图像,并直接让光线从光纤弹射到人的视网膜上。

简单来说,就是用光纤向视网膜直接投射整个数字光场(Digital Lightfield),产生所谓的“电影级现实”(Cinematic Reality)。

为了打造完美的虚拟现实体验,我们需要从零开始构建虚拟世界,或将现实生活中的场景转化成虚拟世界的一部分。那么,这种虚拟世界如何构建呢?

简单来说,3D软件建模就是通过各种三维设计软件在虚拟的三维空间构建出具有三维数据的模型。这个模型又被称作3D模型,可以通过3D渲染技术以二维的平面图像呈现出来,或是通过计算机模拟,或是通过3D打印设备构建。

除了游戏之外,3D软件建模还广泛应用在影视、动画、建筑和工业产品的设计中。目前在游戏、影视和动画领域,最常用的3D设计软件包括3Ds Max、Maya、zBrush、Cinema4D、Blender、Softimage等,而在建筑和工业产品设计中,最常用的是AutoCAD、Rhino等。

单纯使用3D软件建模的问题在于,一方面高度依赖建模师个人的技能熟练度,另一方面对于现实世界的很多场景、物体和人物无法做到精准还原,很容易进入“恐怖谷”的瓶颈之中。

在构建虚拟现实世界时,除了使用常规的3D建模技术和实景拍摄技术之外,我们还可以使用3D扫描技术将真实环境、人物和物体进行快速建模,将实物的立体信息转化成计算机可以直接处理的数字模型。

3D扫描仪是利用3D扫描技术将真实世界的物体或环境快速建立数字模型的工具。3D扫描仪有多种类型,通常可以分为两大类:接触式3D扫描仪和非接触式3D扫描仪。

光场捕捉建模技术最早应用于Ren Ng创办的Lytro,它通过在单个传感器前放置微透镜阵列实现多个视角下画面的采集,但这种方案会导致分辨率大大降低。

近几年,还有一种方案被Facebook Reality Labs、微软MR工作室、上海叠境、深圳普罗米修斯和微美全息等公司采用,即使用上百个相机的多相机阵列和深度相机组成内环抓拍系统,并对对象进行全方位拍摄,通过高速处理的AI算法和动态融合的系统实时合成对象的立体模型。

需要注意的是,使用3D扫描和光场捕捉建模技术所获取的3D模型与动作动画仍然需要使用主流的3D设计软件进行后期处理。使用3D扫描或光场捕捉技术可以大大提高3D建模效率,减少前期工作量,并实现更为线. 自然交互技术

随着VR/AR时代的来临,传统的交互方式已经远远不能满足人们的需求。因此,模仿人类本能的自然交互技术成为虚拟现实技术的重要基础。虚拟现实要实现完美的沉浸感,需要用到哪些自然交互技术呢?

为了实现和虚拟现实世界中场景和人物的自然交互,我们需要捕捉的基本动作,包括手势、表情和身体运动等。

实现手势识别、表情、动捕的主流技术分为两大类,一类是光学动捕,一类是非光学动捕。光学动捕技术包括主动光学动捕和被动光学动捕,而非光学动捕技术包括惯性动捕、机械动捕、电磁动捕和动捕。

眼动追踪的原理其实很简单,就是使用摄像头捕捉人眼或脸部的图像,然后用算法实现人脸和人眼的检测、定位与跟踪,从而估算用户的视线变化。目前,我们主要使用光谱成像和红外光谱成像两种图像处理方法,前一种需要捕捉虹膜和巩膜之间的轮廓,后一种则需要跟踪瞳孔的轮廓。

在和现实世界交互的时候,除了眼神、表情和动作交互外,还有语音交互。一个完整的语音交互系统包括对语音的识别和对语义的理解两大部分,不过人们通常用“语音识别”一词来概括。语音识别包含了特征提取、模式匹配和模型训练三方面的技术,涉及的领域包括信号处理、模式识别、声学、听觉心理学、人工智能等。

,在游戏行业和虚拟训练中一直有相关的应用。具体来说,它会通过向用户施加某种力、震动等,让用户产生更加真实的沉浸感。触觉交互技术可实现在虚拟世界中创造和控制虚拟的物体,比如远程操控机械或机器人,甚至模拟训练外科实习生进行手术。韩国研制出的由硅树脂制成的精细轻便的手套通过虚拟现实技术能让玩家“感觉”到物体。

在虚拟现实的研究中,对视觉和听觉交互的研究一直占据主流地位,对其他感觉交互技术的研究则相对被忽视。目前,已经有一些研究机构和创业团队在着手解决这些问题。

脑机接口(Brain Computer Interface,BCI)就是大脑和计算机直接进行交互,有时候又被称为意识–机器交互、神经直连。脑机接口是人或者动物的大脑和外部设备建立直接连接的通道,分为单向脑机接口与双向脑机接口。

单向脑机接口只允许单向的信息通信,比如只允许计算机接收大脑传来的命令,或者只允许计算机向大脑发送信号(比如重建影像)。

双向脑机接口则允许大脑和外部计算机设备实现双向的信息交换,比如Neurosky(神念科技)的Brainlink。它可以采集大脑产生的生物电信号,并通过esense算法获取使用者的精神状态参数(专注度、放松度)等,实现基于脑电波的人机交互,或是俗称的“意念控制”。

公司属于侵入式技术的代表,其产品通过在大脑中植入微型电极和芯片,收集人脑1500个点产生的神经元信号。使用了一种被称为“神经织网”的技术,该技术通过一种特制的“缝纫机”将只有头发丝1/10粗细的线植入大脑,这种线可以像人的神经一样高速传输各种数据。虽然植入式技术的难度更大,但在信息的捕捉和传递方面更加精准、可靠,发展空间不可限量。按照马斯克的想法,脑机接口设备的

需要借助人工智能技术,特别是计算机视觉和深度学习的帮助。从目前来看,融合了5G/AI等技术的AR/VR设备有望取代智能手机的计算模块。

工业场景:工业设计行业可依托虚拟现实立体成像技术迎来新一轮市场规模增长,2021年中国工业设计行业市场规模预计超过2300亿元,若以5%的AR/VR渗透率衡量,其对应市场空间也将超过百亿元。

社交场景:社交是目前“元宇宙”应用中除游戏之外的另一核心场景。用户以虚拟身份化身开展社交,平台通过AI算法基于用户社交画像和兴趣图谱推荐社交对象信息,达成即时高效的互动,推动建立高质量社交关系。

娱乐场景:依托数字虚拟人、数字孪生、扩展现实等技术打造“元宇宙”虚拟偶像、虚拟场景,构建线上虚拟娱乐世界,打通世界娱乐市场,拓展娱乐项目受众范围。

游戏场景:游戏是目前“元宇宙”发展应用最为成熟的场景。以“社交+游戏”的融合路径,设计研发3A(高成本、高体量、高质量)开放世界大作,成为游戏厂商布局“元宇宙”产业的主要方向。

办公场景:通过打造虚拟现实工作空间,实现各地用户远程协作开展内容生产。用户可通过VR等体感穿戴设备访问虚拟办公室,并在虚拟办公空间中开展会议讨论、内容分享等现实工作活动。

教育场景:“元宇宙”化的教育方案正在逐步落地,通过创建“元宇宙”虚拟互动教室,主控端可通过自由切换授课场景为学生带来身临其境的学习体验,并通过三维互动开展各类课堂实验,极大促进教育公平。

医疗场景:主要涉及理论教学、临床技术培训、手术前演练、远程会诊、远程手术、虚拟内容理疗等细分领域,2021年全球市场容量预计可达到29亿美元,并将持续扩容。

同时,“元宇宙”内的经济风险与社会变革也可能延伸传导至现实世界,有效权衡和把握“元宇宙”生态的开放尺度对现实世界的监管主体提出新考题。

建设3D数字信息公告服务平台,推进终端、云平台、应用之间的互联互通,构建中国虚拟数字人建模标准等。在文化与意识形态领域,建立中国传统文化(包括非物质文化,如建筑、雕塑、风俗领域)3D数字资产库、成立虚拟数字化关键技术与应用认证和测试平台、建立国家主导的数字资产溯源和确权系统。

在国产3D虚拟化建模制作工具等关键技术上,加强内容生产和新型运营,引导相关企业努力实现从跟跑到领跑的跨越,避免被“卡脖子”。

对元宇宙带来的虚拟世界资产拥有权等通用性问题提前进行专项研究。加强3D内容审核监管,对现有的版号制度如何适应不断演进的元宇宙业务需求进行持续研究。元宇宙产业中凸显的数字人未来可能衍生为独立产业,未来用户在线娱乐与劳动边界的模糊也对资本/平台的剥削有隐蔽作用,元宇宙的生产力和生产关系需要有专项的监管政策。对元宇宙发展中大型数字平台公司的市场垄断等问题,应重视和提前进行法规建设。

笔者认为,吸收区块链的技术特性,适应国内的实际情况,是中国区块链发展的特色与方向。在我国未来的元宇宙发展中,至少需要从以下几方面考量。

第一,应当发展支持方便跨链流转的区块链底层技术;第二,应当大力发展可视化元宇宙基础设施行业。

第一,度地实现元宇宙权益价值,充分挖掘权益的落地场景;第二,发展元宇宙虚拟场景;第三,与现有电影、游戏、艺术、电商等行业充分结合;第四,充分调动国有资产参与的积极性。

第一,为开发元宇宙的中小企业提供发展空间;第二,设立投资者门槛机制,保持金融稳定性;第三,完善数字要素的知识产权保护。

行业快讯 计算机视觉、人工智能和增强现实一起助您融合物理和数字世界_进行 (sohu.com