AR介绍以及技术原理

开通VIP,畅享免费电子书等14项超值服

首页

好书

留言交流

下载APP

联系客服

2019.05.04

现实增强技术(AugmentedReality),也就是我们常说的AR,是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。换句话来说,现实世界通过影像呈现在屏幕中的时候,AR技术在现实世界和用户之间加入了一个可控制的编程层,从而增加出了一个全新的体验维度。通过AR应用,用户可以同现实世界进行更多、更深入的交互,能够实时地执行操作,获取反馈,而不仅仅是查看信息。

PokemonGo:玩家通过在现实世界中走动以抓取虚拟宠物角色

SnapChatLenses:基于SnapChat的面部识别应用,用户能够同计算生成的元素进行互动。

Google翻译的APP,通过内置的相机获取图像,替换文本,帮助用户更加直观地获取到路牌上的信息,这也非常完美地呈现了AR技术的真实价值。

IKEAPlace:

StackAR:StackAR是一款增强现实版的层层叠积木砖块游戏,可以让你用虚拟的积木砖块来盖楼,简单但是有趣!

AR从其技术手段和表现形式上,可以明确分为大约两类:一是VisionbasedAR,即基于计算机视觉的AR,二是LBSbasedAR,即基于地理位置信息的AR,我们分门别类对其进行概念讲解和原理解析。

基于计算机视觉的AR是利用计算机视觉方法建立现实世界与屏幕之间的映射关系,使我们想要绘制的图形或是3D模型可以如同依附在现实物体上一般展现在屏幕上,如何做到这一点呢?本质上来讲就是要找到现实场景中的一个依附平面,然后再将这个3维场景下的平面映射到我们2维屏幕上,然后再在这个平面上绘制你想要展现的图形,从技术实现手段上可以分为2类:

这种实现方法需要一个事先制作好的Marker(例如:绘制着一定规格形状的模板卡片或者二维码),然后把Marker放到现实中的一个位置上,相当于确定了一个现实场景中的平面,然后通过摄像头对Marker进行识别和姿态评估(PoseEstimation),并确定其位置,然后将该Marker中心为原点的坐标系称为MarkerCoordinates即模板坐标系,我们要做的事情实际上是要得到一个变换从而使模板坐标系和屏幕坐标系建立映射关系,这样我们根据这个变换在屏幕上画出的图形就可以达到该图形依附在Marker上的效果,理解其原理需要一点3D射影几何的知识,从模板坐标系变换到真实的屏幕坐标系需要先旋转平移到摄像机坐标系(CameraCoordinates)然后再从摄像机坐标系映射到屏幕坐标系(其实由于硬件误差这中间还需要理想屏幕坐标系到实际屏幕坐标系的转换,这里不深究),见下图。

基本原理与MarkerbasedAR相同,不过它可以用任何具有足够特征点的物体(例如:书的封面)作为平面基准,而不需要事先制作特殊的模板,摆脱了模板对AR应用的束缚。它的原理是通过一系列算法(如:SURF,ORB,FERN等)对模板物体提取特征点,并记录或者学习这些特征点。当摄像头扫描周围场景,会提取周围场景的特征点并与记录的模板物体的特征点进行比对,如果扫描到的特征点和模板特征点匹配数量超过阈值,则认为扫描到该模板,然后根据对应的特征点坐标估计Tm矩阵,之后再根据Tm进行图形绘制(方法与Marker-BasedAR类似)。

LBSAR就是融合了基于地理位置和增强现实,此前其应用主要都在各类游戏之中,其中例如去年火遍全球的《PokemonGo》,正是这一应用的最佳代表。游戏在定位玩家的地理位置后,系统设定分布在该地域的妖怪品种以及出现几率,玩家跟着导航就能找到各种口袋妖怪,并且游戏中还运用AR技术,让玩家捕获妖怪的扔球动作原汁原味再现于现实。

交互技术手势操控:微软HoloLens是利用手势进行交互的、最有特点的AR硬件。戴上HoloLens眼镜后,可通过手指在空中点选、拖动、拉伸来控制虚拟物体、功能菜单界面。比如利用Airtap手势打开全息图,利用Bloom手势打开开始菜单。

语音操控:手势操控固然解放了双手,但是它有着致命的缺陷,那就是频繁的抬手会造成手臂酸软。而语音操控便是更好的人机交互方案。现在微软Cortana、GoogleNow、苹果Siri、亚马逊Echo都是优秀的语音识别助手,但是他们的识别率还是不高,只能作为辅助操作工具,智能程度也远远达不到AR交互需求。

体感操控:假设有一天全息通话成为了现实,那么除了语音、视觉交流之外,你是否可以和远程的朋友进行体感交流(比如握手)想要获得更加完美的增强现实体验,体感外设显然是非常重要的一环。现在,已经有不少厂商推出了体感手套、体感枪等外设。只是这些设备功能还很单薄,还有着极大的改进空间。

无论是增强现实还是虚拟现实,FOV都是影响使用体验的最重要因素之一。现在的AR眼镜的可视广角普遍不高,HoloLens有30°,MetaOne只有23°,而公众最为熟悉的GoogleGlass视角仅有12°。这是由于镜片成像技术和光学模组不成熟造成的,现在还没有太好的解决方案,但太窄的视角显然让增强现实效果大打折扣。

SLAM即指同步定位与建图技术。有人说,两年前,扫地机是就是它的代言人。确实,能够扫描室内布局结构,并构建、规划扫地路线的扫地机器人是SLAM技术最好代表了。其实,这项技术也可以被运用在AR领域,现阶段基于SLAM技术开发的代表性产品有微软Hololens,谷歌ProjectTango以及MagicLeap。举个例子,我们知道AR可以用来观看视频,但是如果我想把画面准确的投射到墙上或者壁橱上呢这就需要SLAM技术。以HoloLens为例,它在启动的时候,会对用户所处空间进行扫描,从而建立房间内物体摆设的立体模型。

微软MR头显HoloLens外观:

ARKitARKit是苹果在2017年WWDC推出的AR开发平台。开发人员可以使用这套工具iPhone和iPad创建增强现实应用程序。2018年6月5日,苹果全球开发者大会WWDC2018在加州圣何塞召开,会上,苹果宣布推出旗下AR工具的新版本:ARkit2.0。

下面再给大家简单的区分一些简单名词概念,VR、AR、MR与全息投影、裸眼3D。

VR又叫虚拟现实(VirtualReality,简称VR)。其最大的特点是利用电脑模拟产生一个三维空间的虚拟世界,提供使用者关于视觉、听觉、触觉等感官的模拟,让使用者如同身临其境一般,可以及时、没有限制地观察三度空间内的事物,在这个虚拟空间内,使用者形成交互的是虚拟世界的东西。比如贝壳看房:

MR又叫混合现实(Mixreality,简称MR),既包括增强现实和增强虚拟,指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存,并实时互动。混合现实(MR)的实现需要在一个能与现实世界各事物相互交互的环境中。如果一切事物都是虚拟的那就是VR的领域了。如果展现出来的虚拟信息只能简单叠加在现实事物上,那就是AR。MR的关键点就是与现实世界进行交互和信息的及时获取。MR中比较有名的有MagicLeap。从2014年起,MagicLeap就放出了不少展示其AR效果的视频,有在体育馆中溅起水花的大鲨鱼、有手心里的大象、有躲在办公室桌子腿后面的机器人。这些早期的视频给人的印象是MagicLeap的AR效果简直棒呆了,显示效果十分逼真,还能够被真实物体遮挡,完全与真实世界相融合。

VR是AR的子集,AR是MR的子集。

VR设备:由于VR是纯虚拟场景,所以VR设备更多的是用于用户与虚拟场景的互动交互,更多的使用是:位置跟踪器、头部追踪、动作追踪、眼部追踪、数据手套、数据头盔等等。比如Oculus的Rift、HTC的Vive、三星的GearVR、暴风影音的暴风魔镜等,当然,还有一些VR视频直播设备,如NextVR的红龙摄像机系统、Jaunt家的JauntONE。AR设备:由于AR是现实场景和虚拟场景的结合,所以基本都需要摄像头,在摄像头拍摄的画面基础上,结合虚拟画面进行展示和互动。比如Google的GoogleGlass、微软的Hololens等。

正如上述交互区别所讲,VR设备(普通用户消费级设备)注重沉浸感,因此VR设备都具有封闭性,这是为了防止用户被现实环境影响而降低对虚拟系统的沉浸体验,所以VR设备通常设计成封闭的头戴式形式,与脸部接触部分均有橡胶或海绵,为了增强舒适感的同时也是为了防止漏光从而形成封闭空间。同时,根据现阶段的3D呈像原理VR设备通常都是凸透镜。这些综合在一起导致VR设备看起来比较笨重。因此,现阶段的消费级VR设备普遍具有封闭性、凸透镜、笨重的标识。

相比,AR设备从外形上就要轻便的多,且通常以眼镜的形式呈现(如GoogleGlass),并配有摄像头来捕捉现实场景。AR设备的镜片通常是透明棱镜,图像就通过镜框中的微型投影仪投射在棱镜上,再通过棱镜反射近人眼,人眼透过棱镜,就观看到了叠加在现实场景之上的显示内容。因此,现阶段的消费级AR设备通常具有的轻便、透明棱镜、摄像头的标识。

全息投影技术也称虚拟成像技术,是利用干涉和衍射原理记录并再现物体真实的三维图像的技术,不仅可以产生立体的空中幻像,还可以使幻像与表演者产生互动,一起完成表演,产生令人震撼的演出效果。全息立体投影设备不是利用数码技术实现的,而是投影设备将不同角度影像投影至一种国外进口的全息膜上,让你看不到不属于你自身角度的其他图像,因而实现了真正的全息立体影像。关于全息投影最形象的理解就是《钢铁侠》中的“贾维斯”。利用全息投影我们可以实现不用戴眼镜或头盔就能看到真实的三维物体和空间,全息的本意是在真实世界中呈现一个3D虚拟空间。

裸眼3D最简单的理解就是裸眼看3D电影达到的效果,就如同我们现在使用3D眼镜看3D电影产生的效果。裸眼3d和全息投影最大的区别是成像原理不同,因此展示出的效果也不同。裸眼3D是利用光栅原理进行投影成像的,而全息投影是利用干涉和衍射原理。裸眼3D在如今的技术条件下对观看角度和距离都有一定的要求,而全息投影却没有这方面的限制。

裸眼3D、全息投影与VR、AR、MR三者的区别主要体现在观看方式上,前两者不需要借助辅助设备就能直接观看,而VR、AR、MR所展示出的效果则需要借助辅助设备才能实现顺利观看。

医疗领域:

VR/AR技术在医疗上的有几个运用案例:(1)作为工具在诊疗过程和日常工作上帮助医生解决问题,如利用VR/AR技术轻易地进行手术部位的精确定位;(2)用于物理治疗及恐惧症的治疗(如恐高症等);(3)通过虚拟网络使患者更易就诊。根据高盛AR/VR报告预测,VR/AR直播领域2020年年销售额为12亿美元,2025年达到51亿美元。

教育领域:

VR/AR技术有潜力成为教育领域的标准工具,能够变革学生在基础教育和高等教育(大学及以上)阶段的受教方式。教师可以利用虚拟现实或增强现实技术让学生们在3D环境中与物体进行互动。例如:学生可以通过与虚拟世界的互动,了解太阳系、历史事件以及人体内部构造等。Google为学校免费提供Cardboard来推进这一市场。目前,其已开展了逾百次“模拟实地考察”。根据高盛AR/VR报告预测,VR/AR直播领域2020年年销售额为3亿美元,2025年达到7亿美元。

军事领域:

部队可以利用增强现实技术,进行方位的识别,获得实时所在地点的地理数据等重要军事数据。

古迹复原和数字化文化遗产保护:

文化古迹的信息以增强现实的方式提供给参观者,用户不仅可以通过HMD看到古迹的文字解说,还能看到遗址上残缺部分的虚拟重构。

工业维修领域:

通过头盔式显示器将多种辅助信息显示给用户,包括虚拟仪表的面板、被维修设备的内部结构、被维修设备零件图等。

网络视频通讯领域:

该系统使用增强现实和人脸跟踪技术,在通话的同时在通话者的面部实时叠加一些如帽子、眼镜等虚拟物体,在很大程度上提高了视频对话的趣味性。

直播领域:

AR:通过增强现实技术可以在转播体育比赛的时候实时的将辅助信息叠加到画面中,使得观众可以得到更多的信息。VR:在直播领域主要是VR技术的应用,在体育直播、音乐节直播、世界性会议直播等方面都有涉及。2015年,NextVR直播了NBA新赛季揭幕战和美国民主党总统竞选辩论大赛。国内方面,2016年4月30日至5月2日强氧科技将采用VR直播的方式直播草莓音乐节。不过现阶段,VR直播设备的高昂成本将是进入这个领域的壁垒。根据高盛AR/VR报告预测,VR/AR直播领域2020年年销售额为7.5亿美元,2025年达到41亿美元。

娱乐、游戏领域:

增强现实游戏可以让位于全球不同地点的玩家,共同进入一个真实的自然场景,以虚拟替身的形式,进行网络对战。

旅游、展览领域:

市政建设规划:

采用增强现实技术将规划效果叠加真实场景中以直接获得规划的效果。

THE END
1.《Visio绘制流程》课件.pptVisio绘制流程Visio是一个强大的流程图绘制工具,它可以帮助您快速高效地创建各种图表,例如流程图、网络图、组织结构图等。Visio简介Visio是微软公司开发的一款图表和绘图软件,它可以帮助用户创建专业级别的流程图、组织结构图、网络图、平面图和其他图表。Visio具有简单易用的界面,丰富的形状库,以及强大的绘图功能,可以...https://www.renrendoc.com/paper/363972073.html
2.图像知识whtonline4.综述 转换文件(Metafile)是一种图形描述语言,在Metafile中,一个数据记录所在的位置没有什么关系,当要处理图形时,还要利用编译程序将Metafile转换成可见的图形, Windows的Wetafile储存Microsoft Windows图形功能呼叫的一个显示表(Display Lisi),在Metafile中允许包含Windows功能的一个子集合,这个子集合是包含大多数绘图...http://blog.chinaunix.net/uid-9563036-id-352360.html
3.欧姆龙低压电器欧姆龙FH系列图像处理系统产品样本.pdfMicrosoft ?Visual Studio ?2008 Professional或 Microsoft ?Visual Studio ?2010 Professional或 Microsoft ?Visual Studio ?2012 Professional 400-820-4535 33 FH系列 外围设备 外观 详情 型号 液晶监视器 8.4英寸 FZ-M08 液晶监视器电缆 2m FZ-VM 2M 在FH传感器控制器上连接液晶监视器(FZ-M08)时...https://max.book118.com/html/2021/1114/7034030136004042.shtm
4.VisionOn一款集流程图思维导图白板于一体的轻量级在线制图...目前,思维导图软件已经有 Xmind、Mindnode、 MindMeister 、亿图图示、 Gitmind,流程图软件包括 Microsoft Visio、 Draw.io、ProcessOn,白板软件包括 Miro、 无边记、 BoardMix 博思白板、Excalidraw. 今天推荐一款简单、好用、强大、高颜值、性价比高的制图工具 —— VisionOn. ...https://developer.aliyun.com/article/1292271
5.visio下载visio合集下载Microsoft Visio 2010免费版中文更新时间:2022-04-18MicrosoftVisio2010免费版是一款由专业的办公流程图绘制软件,也是可以直观查看的图表制作软件,强大的绘制功能可以画出任意的流程图表,是办公的必备实用软件,欢迎需要的朋友可以来下载试用使用。visio2010安装包介绍:visio2010简体中文版是微软公司办公程序中的 ...http://www.downyi.com/p/h1_K21869_P2.html
1.Visio教程:如何绘制专业图纸(visio怎么把图纸画)Microsoft Visio是一款专业的绘图工具,广泛用于制作流程图、组织结构图、网络图等。下面将为您详细介绍如何在Visio中绘制图纸。 1. 打开Visio并选择模板 启动Visio后,您会看到多种模板可供选择。这些模板包含了适合特定类型图表的形状和样式。根据您的需求选择一个模板,例如“基本流程图”。 http://visio.zaixianjisuan.com/jiqiao/visiojiao-cheng-ru-he-hui-zhi-zhuan-ye-tu-zhi.html
2.Visio中C4模型图形状工具该项目是一个开源的 Visio 形状工具,旨在帮助用户创建 C4(Context, Container, Component, and Class)模型图。C4 模型图是用于软件架构设计的图表,通过这些图表,开发者和架构师可以清晰地描述软件系统的结构。本项目使用 PowerShell 编程语言开发,旨在提供方便用户在 Visio 中绘制 C4 模型图的形状。 https://blog.csdn.net/gitblog_00594/article/details/144090702
3.visio流程图由于您提供的信息有限,我无法直接针对一个具体的Visio流程图生成文章。但我可以提供一个示例,假设您想要一篇文章来介绍如何使用Visio制作流程图,以下是可能的和正文 随着信息化时代的来临,图形化表达已经成为工作和沟通的重要方式。MicrosoftVisio作为一款专业的绘图工具,以其强大的功能和直观的操作界面,在流程图制作方面尤...https://www.yimaowenku.com/9005.html
4.小编分享visio2013绘制流程图的操作教程方法。在平时办公中一些新手用户还不知道visio2013怎样进行绘制流程图?下面归来教程小编就给大家分享visio2013绘制流程图的操作方法,一起来看看吧。 visio2013绘制流程图的操作教程 1.打开microsoft office visio2013,在软件模板里可以找到基本流程图模板,如下图所示。 https://www.guiqulai.com/134035.html
5.流程图制作工具和绘图软件MicrosoftVisio哪些Microsoft 365 商业计划包含 Visio Web 应用? 我在尝试安装 32 位版本的 Visio,但我运行的是 64 位版本的 Office。我应该如何解决这个问题? 我有一个最新版本的 Office,但想保留我的旧版 Visio。我该怎么办? 如何将现有 Visio 副本转移到新计算机上? https://www.microsoft.com/zh-cn/microsoft-365/visio/flowchart-software
6.图像和雪碧—pygletv2.0.16如果需要绘制多个精灵,请使用Batch强烈建议一下子把它们都画出来。这比调用draw()在循环中的每一个上: batch=pyglet.graphics.Batch()sprites=[pyglet.sprite.Sprite(image,batch=batch),pyglet.sprite.Sprite(image,batch=batch),# ... ]@window.eventdefon_draw():window.clear()batch.draw() ...https://www.osgeo.cn/pyglet/programming_guide/image.html
7.推荐这几个流程图设计器web开发方案阅读清单?目前有很多现成的流程图设计器,适合普遍的应用场景 ? processon[3] 推荐 亿图[4] Microsoft Visio ?但是市场现成的流程图设计器只支持普遍的应用场景,如何基于我们本身的业务产品线拓展就成为一种问题? ? 举个例子:前段时间涉及开发一款数据集成服务web应用,涉及到面板编排的模块,需要配置数据转换 adapter...https://cloud.tencent.com/developer/inventory/25042/article/1832290
8.矢量图*.tga是True Vision公司为其显示卡开发的一种图像文件格式,创建时间较早,最高色彩数可达32位,其中包括8位Alpha通道用于显示实况电视。该格式已经被广泛应用于P C机的各个领域,而且该格式文件使得Windows与3DS相互交换图像文件成为可能。你可以先在3DS中生成色彩丰富的*.tga文件,然后在Win dows中利用PhotoShop、Freehe...http://www.360doc.com/content/16/0312/11/977769_541539204.shtml
9.专业图形显卡Quadro600geforce 3d vision 支持的特性: 着色器模型5.0 opengl4.1 microsoft directx11 c语言编程环境 nview显示器管理软件 全屏抗锯齿(Zui高)64x 散热以及电源技术规格: 符合能源之星标准yes 显卡Zui大功率(瓦)40 w 相对性能分数15.4 gpu技术规格: ?(英伟达?)quadro gpu(图形处理器)quadro 600 ...https://product.11467.com/info/2644715.htm
10.融合手部骨架灰度图的深度神经网络静态手势识别?Microsoft Kinect & Leap Motion 数据集上相比其他方法?本文方法的平均准确率达到最高?为 99.68%?在 Creative Senz3D 数据 集上相比其他方法?本文方法平均准确率达到最高?为 99.8%? 关键词:深度学习?手势识别?手部骨架灰度图?无约束环境 中图分类号:TP391.4 文献标识码:A 文章编号:1004...http://chinatransducers.seu.edu.cn/ch/reader/create_pdf.aspx?file_no=cg200241&year_id=2023&quarter_id=4&falg=1
11.麦视M1报价参数图片论坛Apple Vision Pro S 256GB¥34999 Microsoft HoloLens¥29999 华为VR Glass¥2799 三星Gear VR 5代¥1299 Oculus quest2 (128G)¥2798 配置参数 详细参数 产品类型:VR一体机 显示屏:IPS硬屏 视场角:96度 调节功能:0-600°近视调节 传感器:距离传感,温度传感,陀螺仪,加速度...>> 无线...https://detail.zol.com.cn/Smart_glasses/index1156691.shtml
12.[2402.10210]SelfPlayFine我们在迭代 1 到 3 时提示 SD-1.5、SFT、Diffusion-DPO(我们的)和 SPIN-Diffusion,并在图 5 中显示生成的图像。 与基线方法相比,SPIN-Diffusion 表现出图像质量的显着改善,甚至比分数的改善更明显。 这在对齐、阴影、视觉吸引力以及每幅图像中细节的复杂性等方面尤其明显。 这一定性评估强调了 SPIN-Diffusion ...https://www.yiyibooks.cn/__trs__/arxiv/2402.10210v1/index.html
13.一周Martech新闻:谷歌推迟发布OpenAI竞品微软李彦宏人工智能互...为了遵守欧洲经济区的数字市场法,微软将允许欧洲部分国家的用户卸载 Edge 浏览器、从 Windows Search 中移除必应、在 Widgets Board 中关闭 Microsoft News 和广告。英国、美国以及其它国家不太可能推行相同政策。这不是微软第一次「特别对待」欧洲经济区的 Windows 11 用户,此前它为了遵守数字市场法而改变了捆绑 Team...https://www.163.com/dy/article/IKG192KN05310573.html
14.微软开源Sketch2Code,设计草图秒变代码优设网Azure Website:用户界面前端,用户可以在这里上传设计图,并查看生成的 HTML。 以上组件通过如下架构组合在一起: 是不是感觉跃跃欲试? 你可以在这里找到 Sketch2Code 的开源代码:https://github.com/Microsoft/ailab/tree/master/Sketch2Code 也可以在这里对 Sketch2Code 的实际效果进行验证:https://sketch2code....https://www.uisdc.com/sketch2code-design-sketches-become-the-code/
15.2024AI绘画软件下载,新晋神器推荐!生成逼真图像:利用其Realistic Vision v2.0模型,能创建出近乎真实照片的图像。 创造不同艺术风格:"Stable Diffusionv1.5"作为官方基础模型,在渲染各种艺术风格方面表现卓越,能满足不同艺术需求。 制作动漫风格艺术:如果你喜欢动漫风格的艺术,可以利用其Anything v5.0模型来实现。 https://pixso.cn/designskills/2024-ai-painting-software-download/