VR技术及其应用

作者简介

内容简介

第1章 概述
　　1.1 增强现实技术
　　增强现实（augmentedreality，AR）技术是一种实时地计算摄影机影像的位置及角度，并加上相应图像的技术，这种技术的目标是在屏幕上将虚拟世界套在现实世界并进行互动。随着随身电子产品运算能力的提升，预期AR技术的用途将会越来越广泛。AR技术在工业上主要用于大型机械的维修和制造。另外，AR技术在教育、医疗、企业培训、零售购物等多个领域的应用也很多。
　　1）教育
　　AR应用程序正在以互动性的方式改变教学方式。例如，JigSpace是一款基于苹果ARKit工具开发的学习工具，学生可以利用移动设备在桌子上探索物体的虚拟3D模型，了解各种物体的内部构造，通过将交互式3D模型投射在AR中，可以将抽象的概念和物体一步步拆分，让学生有最直观的感受；FigmentAR是ViroMedia公司推出的傻瓜式VR内容开发平台，即使不熟悉VR创作的人也可以通过简单的操作来制作自己的内容，教师也可以建立一个360°图形的虚拟空间，让学生进入该空间浏览。
　　2）医疗
　　医疗也是AR应用的主要领域之一，而且AR技术在医学上的应用案例越来越多，在医疗教育培训、病患分析、手术治疗等方面都有成功的应用。早在2015年，华沙心脏病研究所的外科医生就利用GoogleGlass辅助手术治疗，实时了解患者冠状动脉堵塞情况；凯斯西储大学医学院的学生则使用HoloLens在数字尸体上解剖虚拟人体组织。
　　3）企业培训
　　AR在企业培训领域的应用已经引起了众多企业的关注。例如，霍尼韦尔国际公司已经推出混合现实工具用于员工培训，公司称，“许多关于千禧一代的研究表明，他们正在寻求更多的体验式学习”。公司正在引导员工通过HoloLens眼镜进行培训，并测试真实工厂环境中的操作能力。
　　4）零售购物
　　头戴设备的种种缺陷，意味着在未来几年内，智能手机将是AR技术的首选载体。AR技术开发公司DentReality开发的APP可以让消费者实时查看有关零售店内产品的信息，并使用计算机视觉技术和店内跟踪来帮助顾客找到需要的商品。对各种商品的生产商而言，实体店零售商的货架将成为AR促销的新战场。
　　5）虚拟试衣间
　　在商场购买服装时，试衣是一个烦琐的过程。目前，越来越多的商店采用AR技术实现试衣体验。美国AR技术开发商Bevond开发的虚拟试衣间可以使购物者无须换装即可体验到服装试穿效果。
　　6）基于地理位置的广告营销
　　基于地理位置的广告营销早已不是新鲜事，但结合AR技术的地理位置广告营销还是一件新事物。Facebook推出了可以让开发人员构建包含地理位置触发元素的AR应用程序。可以预见，现实世界中的AR用户营销即将到来。
　　7）室内设计
　　室内设计是项非常复杂的工作，需要考虑空间及各种家具的尺寸、材质、颜色、搭配等因素。AR技术让普通人也可以轻松地设计室内装潢与家居布置。宜家基于AppleARKit开发了AR应用IKEAPlace，消费者可以通过移动设备查看宜家产品放置在家中的效果，以做出更满意的选择，并具有保存或将其添加到购物车的功能。同宜家类似，苏富比国际地产也推出了Curate应用程序，让准买家可以将其选择的家具以虚拟的方式摆放在希望购买或租赁的商业空间或住宅中，以查看最佳效果。
　　8）抬头显示器
　　抬头显示（headupdisplay，HUD）是AR技术在汽车市场上的突破性应用，可以将汽车行驶信息和交通信息投射在挡风玻璃上，在行驶过程中，驾驶员不需要转移视线。宝马、沃尔沃、雪佛兰、雷克萨斯等众多车型都采用了HUD技术。美国NUVIZ公司已经推出HUD头盔设备，摩托车驾驶员也可以实时了解行驶信息。
　　9）博物馆
　　传统的博物馆也正在使用最新的AR技术来吸引游客，通过历史与科技的结合，打造不一样的参观体验。新加坡国家博物馆已经推出名为“森林的故事”的互动展览，通过一条170m的动态全景图像通道，展示新加坡原生的各种雨林动物和植物。观众可以通过智能手机的AR应用，观察各种动植物图鉴及详情。
　　1.2 虚拟现实技术
　　虚拟现实（virtualreality，VR）技术是利用电脑模拟产生一个三维空间的虚拟世界，给用户提供关于视觉等感官的模拟，让用户仿佛身临其境，可以及时、无限制地观察三维空间内的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精确的三维世界视频传回产生临场感。该技术集成了计算机图形、计算机仿真、人工智能、感应、显示和网络并行处理等技术的最新发展成果，是一个由计算机技术辅助生成的高技术模拟系统。VR不但能给用户带来视觉上的冲击，还能给用户带来触觉、嗅觉等其他感官的全新体验。从目前VR设备的发展来看，只是解决了其中很小的一部分问题，未来还具有很大的发展空间。
　　VR具有三个基本特性：沉浸性（immersion）、交互性（interactivity）和想象力（imagination），简称“3I特性”。其中，沉浸性是VR系统最重要的特性。沉浸性又称临场感，指用户感到作为主角存在于模拟环境中的真实程度。交互性指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度（包括实时性）。想象力又称构想性，强调VR技术应具有广阔的可想象空间，可拓宽人类认知范围，不仅可再现真实存在的环境，也可以随意构想客观不存在的甚至是不可能发生的环境。
　　VR技术可分为桌面式、分布式、沉浸式和增强式四种，如表1.1所示。
　　表1.1 VR技术分类
　　1.2.1 虚拟现实技术的发展
　　VR技术经历了四个阶段的发展，逐渐趋于成熟。
　　1．萌芽阶段
　　1957年，Morton发明了一部名为“Sensorama”的机器，通过3D图像、气味、声音、座位的震动和气流来模拟电影场景的现实感受。1965年，计算机图形学之父、虚拟现实之父、著名计算机科学家Ivan提出感觉真实、交互真实的人机协作新理论。1968年，Ivan在哈佛大学组织开发了第一个计算机图形驱动的头戴式显示器Sutherland及头部位置跟踪系统。
　　虽然是头戴式显示器，但由于当时硬件技术的限制，Sutherland非常沉重，根本无法独立穿戴，必须在天花板上搭建支撑杆，否则无法正常使用。这种独特造型与《汉书》中记载的孙敬头悬梁读书的姿势类似，被用户们戏称为悬在头上的“达摩克利斯之剑”。此阶段的虚拟现实技术没有形成完整的概念，处于萌芽和探索阶段，基本没有商业化应用。
　　2．初步尝试阶段
　　1973年，Myron提出“人工现实”概念，这是早期出现的VR的名词。20世纪80年代初，美国国防部研发出虚拟战场系统SIMNET，宇航局开发出用于火星探测的虚拟环境视觉显示器。1986年，“虚拟工作台”的概念被提出，裸视3D立体显示器被研发。1988年，著名计算机科学家Jaron创立的VPL公司研制出第一款民用虚拟现实产品EyePhone。
　　1989年，Jaron正式提出了“虚拟现实”概念，并被认可和使用。1991年出现了一款名为“Virtuality1000CS”的VR设备，支持游戏DactylNightmare。这款产品当时在英国引起了轰动，但这款设备比EyePhone外形还要笨重，设备总质量在120kg左右，两块并排放置在玩家眼前的液晶显示器非常大。Virtuality1000CS功能单一、价格昂贵，但却吸引了很多人开始关注VR技术的应用潜力，尤其是在重视“真实体验感、沉浸感”的游戏行业。
　　此阶段，虚拟现实技术的概念逐渐形成和完善，出现了一些比较典型的虚拟现实应用系统。
　　3．应用探索阶段
　　1992年，Sense8公司开发了“WTK”软件开发包，极大地缩短了虚拟现实系统的开发周期。1993年，波音公司使用虚拟现实技术设计出波音777飞机。1994年，虚拟现实建模语言（virtualrealitymodelinglanguage，VRML）的出现，为图形数据的网络传输和交互奠定基础。1994年和1995年，日本的世嘉公司和任天堂公司分别针对游戏产业而推出SegaVR-1和VirtualBoy，做出了VR商业化的有益尝试，在业内引起了不小轰动，但没有充分走向民用市场。VirtualBoy是游戏产业第一次对VR技术的应用。2008年，Sensics公司推出高分辨率、宽视野的显示设备piSight，可提供150°的广角图像。2011年，索尼推出头戴3D个人影院产品HMZ-T1，可看作是VR的过渡产品。
　　随着时间的推移，越来越多的输入输出设备进入市场，人机交互系统设计不断创新，推动了虚拟现实技术在行业领域中的应用。
　　4．技术突破与蓬勃应用阶段
　　2012年，谷歌推出了穿戴智能产品GoogleGlass。2013年，OculusRift推出了专为电子游戏设计的开发者版本的头戴式显示器。该显示器使用陀螺仪、加速计等惯性传感器控制视角，可以实时地感知使用者头部的位置，并对应调整显示画面的视角，用户几乎感受不到屏幕的限制，能够完全融入虚拟世界中。
　　2014年，Facebook投下20亿美金收购OculusRift，成为VR产业迎来爆发前的一声春雷。2015年微软推出AR产品HoloLens。至2016年，各公司纷纷推出自己的消费级VR产品，强烈刺激了资本市场。不仅有谷歌的Cardboard，还有三星GearVR、HTCVIVE、OculusRift和索尼PSVR等。
　　此阶段与VR技术密切相关的计算机软件、硬件系统迅速发展，从而推动了VR技术在各行业领域的广泛应用。VR以沉浸式传感器为特征，有望成为下一代计算平台。
　　1.2.2 虚拟现实技术的原理
　　信息输入、信息处理和信息输出是VR工作机制的三个主要环节，VR工作机制原理图如图1.1所示。信息输入主要是通过感官输入和交互输入技术实现。VR系统通过动作采集装置及时地将用户的眼、头、手等动作信息进行采集，同时，通过按键控制、操纵手柄等交互输入设备获取用户的交互输入信息。信息处理是VR实现效果的关键技术，主要是通过图形处理器（graphicprocessingunit，GPU）强大的图形数据计算能力，将环境建模的虚拟世界分解成用户可感知的视觉、听觉、触觉和嗅觉信息。信息输出部分则是通过视觉、听觉、触觉和嗅觉等表现技术来实现。虚拟现实系统借助VR头盔、3D耳机/扬声器、触觉手套、VR气体装置等信息输出设备，将虚拟环境的视觉、听觉、触觉和嗅觉等信息分别输出给用户，让用户获得“身临其境”的感受。
　　图1.1 VR工作机制原理图
　　1．信息输出——视觉表现技术
　　在VR领域，信息输出技术环节最重要的就是视觉表现技术，该技术是目前VR各项技术中最成熟的一项。视觉表现技术的主要路径包括平面显示技术和视网膜投影技术两种。视觉是人感知世界最重要的来源，70%以上的外界信息是经视觉获得的。视觉系统是形成人的沉浸感的最重要因素，也是VR中人与机器界面传播交流产生沉浸性的重要系统。
　　2．信息输出——听觉表现技术
　　3D音效是虚拟现实听觉表现的核心技术之一。人体的解剖结构决定了人们如何理解听到的声音：两只耳朵被头盖骨和大脑隔开，因此左耳和右耳听到声音的时间不同。除此之外，声波和听者的物理构造——外耳、头部、躯干，以及周围的空间发生互动，由此制造出听者特有的效果。设备模仿大脑的运行，仔细探测极小的时间和强度差异，从而将声音准确定位。
　　3．信息输入——感官及交互式输入技术
　　对于虚拟现实的交互，信息输入是最重要的环节之一。传感器是虚拟现实输入设备的核心，是一种监测装置，能够实现对信息的接收、转化和输出。与人类感官类似，光敏传感器、声敏传感器、气敏传感器、化学传感器、压敏传感器分别对应于