离线在线在场–腾讯研究院

刚才大家看到的不是电影,也不是预先制作的CG,而是我们投资的EpicGames于12月下旬发布的《黑客帝国:觉醒》的实际体验。这是一个基于虚幻5游戏引擎开发的可交互体验程序,得益于最新的虚拟几何体及动态全局光照技术,用户可以在这个十六平方公里、融合了许多美国大都市标志性建筑的虚拟城市中,感受电影《黑客帝国》世界观下的每一个细节,可谓纤毫必现。

我们自研的游戏引擎QuickSilver,也能以全局光照、超写实渲染的方式将大家瞬间带入到小说《天涯明月刀》所描绘的古风武侠世界。

可以说,最新的游戏科技驱动的仿真技术,已经让我们越来越难以区分虚拟与现实。

不知道大家有没有注意到,除了电影级的超写实能力,这段演示中的城市已尽可能在逻辑上模拟了现实,是一个鲜活的、有生命力的环境。无论我们是否在看着它们,由AI驱动的逼真角色和车辆红绿灯交通系统都在自然、有序地不停运转。

今天想要聊的话题,可能会有些抽象,所以我想先从一个和刚刚这段视频相似的内部故事说起。

有些朋友可能已经听说了,腾讯计划在深圳大铲湾的一个半岛上,建立一个全新的未来总部。新总部的名字还没有最终定下来,但我们内部的昵称是“企鹅岛”。

现实中的企鹅岛,预计几年后才能完成首批交付启用。作为一家科技公司,过去我们在智慧城市、游戏方面有许多积累,所以自然会想到要做一些“有意思的事情”。

由于我们希望模拟出真实智慧城市的交通控制系统,让游戏中的公交和现实中的一样:等红灯,自动避让,等人上下车,还要有一些比如满载时候的甩站等操作。因此,一般游戏中常见的那种固定轨迹的、绕着圈走的公交逻辑就不太可行了。

因此,团队在其中引入了真实的自动驾驶仿真系统,让游戏里的载具,去真实感知周围的环境,通过机器学习不断优化,而不是按照事先设定的逻辑去行驶。

我们来谈谈一个大家都熟悉的场景——在线办公。

但这个时候,Facebook做了一件非常奇怪的事情,发布了一个叫HorizonWorkrooms的应用。

这件事情为什么奇怪呢?这是一个VR程序,它构建了一个VR办公室,给我们每个人捏了一个很简单和卡通的Avatar虚拟形象,然后再让我们使用Oculus这样的VR设备进入这个虚拟办公室里办公。

可能你会觉得,我都在线办公了,直接发邮件不行么?直接开视频会议不行么?为什么还要在一个虚拟世界里,弄一个只有上半身的卡通形象,去模拟一个上班的场景?

这其实就涉及到在线办公和大家一起在办公室办公到底有什么区别的核心问题,我认为就是缺乏临场感。

面对普通显示器的界面,大家都是一个个的小方块和头像,虽然我们可以无延时对话,看到对方的表情和反馈,进行文档同步协作编辑,但大家只会把它叫做在线办公。而在办公室里一起办公的话,就是大家在一个空间里,能够看到一样的室内室外环境,能够交头接耳,能够左顾右盼,能够有肢体的接触和交互,也能够闻到一样的气味、尝到一样的味道。

Workrooms通过VR技术给大家提供了一种可能性,就是把大家放在一个虚拟的场域空间里,实现线下办公的临场在场感。

Google也试图解决在场的问题。它用光场技术构建了一个裸眼3D的远程会议系统ProjectStarline。在这个屏幕面前,你可以随意移动,会议对面的人也会随着你的视线转动,就好像你们真的在面对面一样。

虽然我们还做不到《王牌特工》等电影里所描绘的通过增强现实、全息投影、虚实结合式的在场感,但最新的消费级VR产品已经能欺骗眼睛和大脑,让我们初步感受到在一个虚拟场域中,让大家基于空间音频技术交头接耳,可以在同一个白板上以手柄做笔一起创作。

由于缺乏表情的捕捉能力、触觉嗅觉等能力的模拟,虚拟在场和真正在场在体验上还有很大差距,比如面对面,大家有相互握手的自然反应,这种时候一下子就会出戏。但这无疑已经实现了在线到在场办公的第一步跨越。

与办公相比,演唱会、球赛等人们聚在一起现场观看的活动,更能说明我们为什么要追求在场的体验,也许现场的嘈杂、观看角度甚至还不如在家里对着大屏幕的观看效果,但置身于人群之中,万人合唱、喝彩、嘘声,那种氛围和沉浸感是再大的屏幕也无法给予的。

大家刚刚看到的这段视频,是去年疫情期间,美国歌手TravisScott在线上游戏《堡垒之夜》中举办的一场虚拟演唱会。这场演唱会有2300万用户参与,这个数量级是线下永远不可能实现的。而且整个场景都实时可互动,观众戴上VR设备,不止能够看到歌手在虚拟空间中化身的动作,聆听环绕身边的音乐,还能在这个过程中看到其他观众的反应和动作,一起挥手、跳跃等等。新的科技让大家足不出户,也能体会到亲临现场的感觉。

那么到底什么才是“在场”?

它可以是离线的,也可以是在线的。在没有互联网以前,我们到达某个地方去做某件事情,这是一种“天然”在场。

在线下,我只能存在于一地,我和周遭环境的互动是即时的、同步的,我与场内其他人之间的感受也是同步的、实时的。

但在线上,至少我们过去互联网发展的阶段里,并不是这样的。

比如从90年代开始,为了在只能发文字的互联网上表达情感,网民发明了颜文字,后来有了emoji,emoji又变成了表情包。

但到表情包为止,其实我们都不是“在场”的状态,而是“在线”的状态。

因为表情包没有办法像真正的人脸那样表达那么多复杂的微表情,另外就是表情包是没法实时同步。

现在很多人在聊天的时候,会非常仔细地斟酌自己要发什么表情,这个逻辑就和我们在线下完全不同。

虽然,在线下我们也会假装露出一些表情,但大多数情况下,表情其实是我们即时的真情流露,而不是刻意的精雕细琢。

我们用表情包替代了表情,是因为我们在过去20年,技术上没有实现足以实时捕捉表情并传递给对方的能力。或者说,为了实现线上即时通讯的效果,我们压缩了情感表达的信息,或降低了情感表达的质量。

苹果公司在2017年发布的Animoji,在一定程度上将“在线表情”向“在场表情”推进了一小步。我们现在也已经看到了大量实时呈现主播表情的卡通形象,活跃在各大直播平台,这增加了趣味性,也满足了匿名化直播的需求。

未来,我们可能会完全补上实时表情的信息缺失,以虚拟人的形式实时出现在远方的现场,实现身体的复制和延伸。

去年9月,一个单身妈妈以虚拟化身的形式,登上了美国综艺节目AlterEgo的舞台。这位妈妈本身是一个很内向的人,所以她选择创造了一个与自己性格完全相反的形象,这让她更有勇气面向观众。

这其中使用的仍然是动作捕捉和面部表情捕捉技术,我们都知道这种技术在过去是十分昂贵的。但在过去10年,它的成本正在快速下降,设备也在变得越来越小型化。可能有朝一日,我们每个人都能像使用智能手机那样,将自己投射到远方或虚拟空间。

希望我明年的演讲,也能以这样的方式来进行。

所以,从离线到在线,基于对效率的追求或者技术的限制,我们将每个社会活动的本源抽象了出来,省略掉了很多细节。从这个角度来说,在线是一种抽象化,它的反义词不是低效,不是公平,而是具象。

从在线到在场的过程,是一个把我们之前丢弃的有价值的细节重新找寻回来的一个过程,随着XR、游戏引擎等各种交互、仿真技术的突破,最终实现线上和线下完全相同的效果。

但新技术无疑提供了越来越接近无损的信息传输,和真假难辨的数字仿真能力,为人类的交互和体验提供了新的能力和方案。它能够在人们需要的时候,让远在天边的一群人置身于同一空间沟通和协作,能够在足不出户的情况下,让远程的化身实现亲临现场的表演和演讲,真正实现人的身体的复制和延伸。

我们把以上的情况叫做在场,但很多人肯定也会马上联想到火爆的元宇宙概念。

很多人觉得现在好像什么都是元宇宙,但元宇宙又好像什么都不是。我个人的理解是,元宇宙本身是一种技术渐进式发展的趋势,就像我们在30年前说信息高速公路,10年前说移动互联网一样,概念本身叫什么并不重要,它只是一个巨大的技术应用和孵化的池子。基站、手机、短视频、直播、外卖、可穿戴设备,我们都会把它装进“移动互联网”这个概念里。我们也不会说移动互联网时代的来临,是某个单点技术的突然突破,或者是某个颠覆性的产品的横空出世。

元宇宙也是这样,任何一项技术单点的突破或炒作,都不会把我们瞬间带入到新时代。而我们会在不断的技术涌现和应用中逐渐把我们由在线时代,推向一个“重新在场”的时代。

知名科幻作家刘慈欣曾经说过,人类的科技树有两个方向,其一是星辰大海,另外一个则是在虚拟空间里不断地内卷。

但实际上我们发现,这两个应用方向并不必然冲突,甚至有可能是相互依存的。

因为技术总是以涌现的方式持续出现,我们实际上是无法完全预测每项技术的突破,在未来会产生什么样的应用,带来什么样具体的变化。

比如说,现在看起来移民火星似乎是我们人类迈向星辰大海中重要的一步,但这其中需要的很多技术。可能最终并不来自星辰大海的那一侧。

以我们现在的技术基础,到我们真正实现有一部分人在火星上居住,这中间有一大部分空白。这部分空白是由什么来填补的,如果开个脑洞,可能是由自动化机器人、远程控制和VR来实现的。

比如在真正的人类“火星在场”之前,在往火星上派机器人建基地之前,要首先实现在虚拟世界中对“火星”的在场。要先给火星建个超拟真的VR模型,去模拟各种可能出现的情况,就像我们要在沙盒游戏里建的那个虚拟总部一样。

我们会发现,这个过程需要的技术可能源自于完全不同领域的技术涌现与应用。

我们试着拆解一下远程操控机器人建设火星这个场景,按照最简单最粗略的估计,至少得有以下几个方向的突破:

其一是机器人技术,你要有一个身形灵活、能搬能扛的机器人在火星;其二可能是VR和拟真技术,我们要保障远程的操纵员能全视角感受到周边环境,可能还需要有触觉反馈的手套。

这些技术,也许能从当下我们在地球上已经实现的应用中找到雏形。

在去年11月的腾讯全球数字生态大会上,腾讯云和三一智矿有一个合作,实现了在武汉的展厅中远程驾驶一辆位于鄂尔多斯的矿车,甚至驾驶员可以在多辆卡车之间来回切换。操作台与矿车之间有1500公里之远,但整个驾驶过程是几乎无延迟的。

由于火星到地球的单向通讯延时超过二十分钟,加上带宽的限制,我们可能没有办法在地球实时操作工程车在火星作业,但未来这样的技术,也许可以让我们的宇航员在更适宜人类居住的火星轨道上的空间站里,去控制火星上的车辆和机器人建设基地,建设好后再让人员落地,以保障人员的安全。

再比如腾讯的NExTStudios工作室根据火星探测器采集的数据,已经用UE5引擎真实还原了火星地貌,让大家可以身临其境地置身于5500万公里外的火星上。同时,我们的技术人员还还原了太阳系最大的峡谷——火星水手号峡谷,全长4500公里,相当于从沈阳到曾母暗沙的距离,并尝试着模拟了火星的天气变化和气流运动。

除了供大家体验火星,VR技术的发展早就开始应用到神舟十二号宇航员的日常训练当中。早在2016年的时候,神舟十一号的宇航员在太空中利用VR眼镜与亲人团聚,从而大大缓解远离亲人的焦虑。这也是技术带来的现场感才能实现的心灵抚慰。

机器人这个事情,我们最早看到硅谷的创业公司波士顿动力在做机器狗,能四条腿直立行走,再到双足人形机器人,现在已经能跑、能跳甚至还能空翻。

腾讯的RoboticsX实验室在机器人领域也不断进行研究和创新,今年发布的轮腿式机器人Ollie,其做到的360度空翻动作也是同形态机器人中的首次。我们还在机械臂接住抛出的柱状物、球状物等物体方面进行探索,并取得成功。

机器人的快速发展不仅仅出现在新闻稿中,也出现在现实生活中,例如在安防巡检、灭火救灾、家人陪护、养老助残等领域有着非常好的应用前景,未来它们的能力不断进化,也许能够胜任建设火星的角色。

几年前我们就在斯坦福大学的实验室里,看到过触觉虚拟现实已经被应用到远程海底文物打捞的深潜机器人身上。

元宇宙和火星移民都还是大家的想象和愿景,也许都不是我们实际会到达的未来。所以我们反对不负责任的概念炒作,也反对将虚拟世界和现实世界对立起来的立场。

回到“离线、在线、在场”这个主题,我想表达的是我们要对未来抱有一种“乐观并谨慎”的态度。

技术有它自己的发展步调与应用规律。

上一次参加科技向善大会时,我举了一个安全带的例子。汽车是一项好技术应用,但直到汽车量产50年之后,汽车行业才发明了第一条安全带。现在回想起来,这是一件有些可怕,但又非常值得庆幸的事情。

在更广阔的科技行业里,风险会以更广泛的形式存在。全球的科幻作家创作了无数关于赛博朋克题材的作品,以至于元宇宙这个概念在2021年刚刚成为风口的时候,就有很多人发出了批评的声音,这样的批评声音是非常有价值和意义的。

但回顾历史,我们也能看到人类一直以来驾驭风险、善用技术的能力。以Xr、数字仿真为代表的科技会带来交互效率的提升,更强的沉浸感,对人类的生活、社交甚至心理都会带来更加深刻的影响。

本文根据司晓于“腾讯科技向善创新周”(2022年1月11-14日)上发表的主题演讲整理而成。

THE END
1.上传模式与实时模式详解,操作与应用指南(适用于初学者与进阶用户)在数字时代,上传模式和实时模式广泛应用于网络传输和数据交互领域。 1、上传模式:指的是将文件、数据或信息从本地设备发送到服务器或其他设备的过程,您在网络上分享图片、视频或文档时,就是在使用上传模式。 2、实时模式:指的是数据在产生后,能够立即进行传输和共享的模式,在直播、在线会议、实时通讯等领域应用广泛https://www.shuguo168.com/post/11417.html
2.免费PDF转Word工具推荐:在线与离线工具的优缺点及注意事项详解pdf在线工具最大的优点就是方便,creativelyours.com,。你不需要下载任何软件,只需要一个浏览器就能操作。而且,大多数在线工具都是免费的,适合偶尔使用的用户。此外,在线工具通常会定期更新,用户可以享受新的功能和更好的性能。 离线工具的优势 (Advantages of Offline Tools) https://www.163.com/dy/article/JJQ34BGP0556A727.html
3.电力系统自动化第一节 概述(同步并列和准同期概念) 一、并列操作的意义 1.概念 并列操作:把一台待投入系统的空载发电机经过必要的调节,在满足并列运行的条件下经开关操作与系统并列,这样的操作过程称为并列操作。也称“并车”、“并网”。简单来说就是,发电机投入电力系统参加并列运行的操作。 同期:同步发电机的并列操作称为“https://mubu.com/doc/explore/20580
4.人工智能语音朗读在线掌阅在线语音朗读总是切到离线声音?4. 此外,由于在线语音朗读需要实时传输语音数据,可能会受到网络延迟和带宽限制的影响,而离线语音朗读则可以在本地设备上进行语音合成,减少了对网络的依赖。 5. 总之,在线语音朗读适合需要即时语音合成的场景,而离线语音朗读适合在无网络环境或对稳定性要求较高的场景。 https://tool.a5.cn/article/show/73205.html
5.在线互动式UPS在线式UPS离线式UPS三种UPS原理与对比也就是说,如果发生断电,整流器将简单地退出电路,而电池将保持电源稳定不变。故障期间无传输时间。恢复供电后,整流器将继续承载大部分负载并开始为电池充电,但充电电流可能会受到限制,以防止大功率整流器使电池过热和电解液沸腾。 在线互动式 UPS 与在线式 UPS 与离线式 UPS:功能https://cloud.tencent.com/developer/article/2239093
6.闪电立方数据传输服务数据在线离线迁移存储闪电立方(Datatransport)能够为用户提供安全、高效、便捷的数据传输服务。支持将对象存储、文件存储从不同设备、不同云服务商迁移和同步到阿里云。它提供在线迁移和离线迁移(闪电立方)两种迁移方式,致力于解决大规模数据传输效率、安全问题等难题。 租用闪电立方管理控制台 https://www.aliyun.com/product/mgw
7.10款适PC最佳文件共享软件:在线和离线传输文件当文件共享软件具有正确的功能和产品时,它们会很棒。为了帮助你找到合适的软件,我们添加了一些最佳选择。继续阅读以了解有关这些软件的更多信息。 如何在线和离线传输文件?文件共享软件是最重要的软件之一,换句话说,你甚至可以将其视为必备软件。无论你从事何种工作或工作,在某个时候你一定感到需要与他人共享文件或文档https://www.lsbin.com/15222.html
8.OSI七层模型数据封装与解封装过程TCP三次握手四次挥手1.3传输层的俩种协议:(拿QQ在线传输和离线传输作例子) 1.3.1TCP:传输控制协议 l属于面向连接的网络协议 l同步 l安全,可靠传输,速度传输慢 l流量控制(Qos) l使用TCP的应用:WEB浏览器,电子邮件,文件传输程序 1.3.2UDP: 用户数据报协议 l属于无连接的网络协议 https://blog.51cto.com/u_13055758/2061535
9.思科网络技术学院教程(第6版):网络简介第9章“传输层”:介绍了传输控制协议(TCP)和用户数据报协议(UDP)以及它们如何通过网络传输信息。探讨TCP如何使用分段、三次握手、期待确认来确保数据的可靠传输;还讨论了UDP提供的尽力传输机制以及它在什么情况下优于TCP。 第10章“应用层”:介绍一些TCP/IP应用层协议,TCP/IP应用层对应于OSI模型的上三层。这一章https://www.epubit.com/bookDetails?id=N15003
10.Python通过WHL文件实现离线安装的操作详解python另外,你也可以在联网的环境中,使用pip的download选项和requirements.txt文件一起工作,批量下载所需的WHL文件。然后,将这些文件传输到离线环境中进行安装。 六、总结 通过WHL文件进行Python库的离线安装是一种高效且灵活的方法,尤其适用于无法访问互联网的环境。通过准备WHL文件、遵循离线安装步骤以及处理常见问题,你可以轻https://www.jb51.net/python/3264522tm.htm
11.新闻中心——驱动之家:您身边的电脑专家作为企业级产品,它拥有更多可靠性功能,固件也针对数据中心、企业存储阵列做了特别优化,包括调整缓存以适应低延迟大数据传输,功耗平衡允许定制功耗获得不同负载的最佳能效。 希捷银河X18提供SATA、SAS两种接口版本,SATA版建议零售价562美元,约合人民币3800元,相比于西数金盘18TB便宜约30美元。 https://news.mydrivers.com/blog/20200917.htm
12.轻松传哈喽,大家早上好!分享一款在各种设备之间轻松互传文件和文本等内容的工具,觉得可以一定程度替代qq之类的聊天工具。软件名称:轻松传支持设备:网页测试设备:谷歌浏览器01软件介绍轻松传,是一款可以在多种客户端之间传文件、文本、屏幕、视频的工具,支持互联网离线传输和局域网在线传输。离线文件最大支持200M https://www.s5t.com/article/venh.html
13.在线刷卡和离线刷卡有什么区别在线刷卡和离线刷卡(在线刷卡机在线刷卡离线刷卡(传统及新型) 方便性方便快捷,无需携带实体卡片,随时随地可进行支付。需要携带实体卡片(传统方式),但数字人民币等新型支付方式支持无卡支付,且不受网络限制(离线支付)。 安全性信息加密传输,安全性较高,但存在网络安全问题和个人信息泄露的风险。传统方式面对面交易,安全性较高;数字人民币等新型支付https://www.jianshu.com/p/b9e5e87eb2d3
14.机载导弹发射装置PHM系统总体设计任务接口一般要求贯彻GJB1188A标准, 软硬件资源有限, 在目前条件下PHM数据不可能大量经由任务接口传输, 但其检测接口可根据需要进行设计, 该接口一般与地面设备连接, 所以发射装置PHM的物理结构也可分为在线和离线两个部分, 其中在线部分借助深度自检测, 完成显性参数的采集和判断, 通过任务接口上报至飞机。 离线部分https://www.fx361.com/page/2018/0409/3360215.shtml
15.nfs安装教程及离包安装包(磁盘共享)nfs包资源NFS(Network File System)是UNIX和Linux系统中广泛使用的一种网络文件系统,它允许一个系统(服务器)通过网络向其他系统(客户端)共享其文件系统。本教程将详细介绍NFS服务端和客户端的安装过程,包括在线安装与离线安装方法。 一、NFS服务端安装 1. **在线安装** 在大多数Linux发行版中,可以使用包管理器进行在线安装https://download.csdn.net/download/babycat19/87503253
16.SMTXOS社区版安装使用中常见问题合集–SmartX我们专门为大内存虚拟机在线迁移做了优化: 1. 在线迁移默认会自动选择存储网络(要求 10G 或以上网络)执行以保证传输带宽。 针对大内存虚拟机,而且是比较繁忙的虚拟机,支持有一种自动调节功能,当脏页的生成速度过快,自动调整 CPU 降低脏页生成速度,直到生成速度控制在阈值以内,限制就会取消。(迁移过程中对虚拟机的https://www.smartx.com/blog/2022/02/smtx-os-faqs/