MixedReality视频就是VR影像+人的影像合成的视频。相比普通录制电脑屏幕游戏画面和游戏者录像实拍分屏显示的假VR视频，MixedReality视频更适合用来做游戏直播和制作虚拟现实应用宣传视频，比如大名鼎鼎的Googletiltbursh绘画程序，而由此带来了很多新的可能，比如教育，多人互动，科普等虚拟现实行业应用的展示，甚至虚拟现实游戏的评测和直播，而对于线下体验店来说也是很好的引流方式。
因为人的影像摆放的位置，透视关系和玩家在虚拟场景中的位置，映射坐标都一样，摄像机拍摄画面中手拿手柄的位置和游戏画面中虚拟手柄的位置是完全一样的，看起来就像体验者身临其境走进了一个虚拟世界，并用双手借助实体手柄直接和游戏的虚拟环境和物体互动。
而在此之前，我们看到的大多数的虚拟现实演示大多数都是下面这样，对于很多从来没有体验过虚拟现实的人来说看起来确实有点不知所云，虽然玩耍的人确实因为身临其境感觉很爽。
综艺节目中日本女优体验VR时被吓傻。
自己玩的超级high，别人看不明白
不得不说像类似这种经常在直播平台所谓的VR直播里出现的抠像画面真的让人无所适从，随便搞个绿屏就来普及虚拟现实真的可以给目前处于观望状态中的消费者们了解真实的“虚拟现实”吗？没有体验过的人看别人玩的这么high只会更雾里看花……
相比普通录制，我们需要购买第三只Vive控制器通过连接usb延长线再配合游戏目录下特殊设定的配置文件，使得某些基于Unity引擎开发的虚拟现实应用就会自动开启混合现实拍摄模式（四分屏画面），第三只Vive控制器和游戏里的虚拟摄像机映射后就可以定位摄影机的位置产生虚拟空间的画面，利用现实中摄影机拍摄游玩的画面抠像后，在开源的直播软件OBS(OpenBroadcasterSoftware)下进行即时合成，就能够成功制作混合现实影片了。
所以我们需要：
1.切换成第三人称视角
2.将体验者的影像也录制下来
3.将游戏画面和摄像机影像合成
①切换成第三人称视角
普通的Vive程序是在玩家头盔的位置摆放两个虚拟camera对应左右眼,分别生成左右眼的画面传给HMD,然后将其中一只眼的画面复制到PC屏幕上。为了让屏幕上产生第三人称视角的游戏画面,就需要在和玩家一定距离外摆放一个额外的虚拟camera,并且镜头要对准玩家所在位置。之后PC上显示的不再是左右眼画面的复制,而是由这个额外的camera单独绘制的(会增加一定的渲染负担)。
②将体验者的影像录制下来
因为我们只需要玩家本人的影像,并不需要看到房间里的桌子、墙壁等背景。所以要用到抠像技术。在录制的时候,让体验者在一个周围是绿布(或者其他颜色)的房间里,然后用一个摄像机(webcamera或者专业的摄像机)录制他玩游戏时的影像。最后在捕捉到的视频中将绿色去掉,就只剩下人的影像了。
③将游戏画面和摄像机影像合成
在1和2中分别提到了一个虚拟摄像机和一个真实的摄像机，为了让他们拍到的影像能实时的合成起来,需要保证他们的视角是一样的。也就是说,假如虚拟摄像机在游戏里的位置是主角左前方2米、朝向和主角的朝向成120度角,那么要保正现实中摄像机在体验者左前方2米,朝向和体验者朝向成120度角。这就需要借助第三个手柄来定位和定向。将额外的手柄绑在摄像机上,或者将手柄和摄像机绑在同一个位置上,原则是确保它们相对位置、相对朝向是不变的。这样当现实中摄像机移动时,游戏通过感知手柄的位置变化,也相应地改变虚拟摄像机的位置。
了解了关于MR的基础理论知识和应用场景，接下来要为大家解答原理和方案到底是如何实现的？
摄影棚：墙和地面铺上绿布（至少三面哦），大概5m*5m即可，同时为了实时抠像，需要不错的布光（尤其是顶部的灯光，约均匀越好），如果没有专业经验还想拍出来牛逼的视觉效果那就请专业的影视行业老司机帮忙搭建吧。
专业工作室和影视公司巨资打造的绿棚
一些搭建绿棚的技巧：
架设绿幕摄影棚的目的是让真实拍摄后的影像能够去除背景，最少需要两侧墙壁加上地板三面绿布，架设好两侧背景架后，挂上绿背景布，让其中一个背景布稍微重叠到另一侧，最后再铺上地板的布。为了有更好的去背效果，最后需要拉紧背景布黏在两侧的架子上，尽可能的保持背景布是平的，尽可能的减少皱摺。打上灯光后尽量让拍摄范围的光线均匀，这样可以达到较好的去背效果，记住顶部的光尤为重要哦。
摄像机的两种方案：
为了节省经费用网络摄像头就行，比如网吧的聊天摄像头，五百块左右的罗技就挺好，例如LogitechWebcamC930e(可以直接通过USB延长线即可或许实时抠像的实拍视频)。
如果你是专业人士想拍出来更好的视觉效果，那么推荐您购买专业的摄像机和视频采集卡，如果有很好的抠像效果那么最后的MR合成效果会更赞，当然成本相对贵一点。
例如大疆如影稳定器或者斯坦尼康，SonyHDRCX405或者全画幅相机SonyA7SII即可。
高性能主机+第三只Vive手柄：
因为需要同时运行游戏和录像，所以要求配置相对较高的电脑，显卡最低GTX970，CPU推荐I7-4790以上。第三只手柄可以直接从HTC官方商店单独购买哦。
4K屏幕：
为了何成1080P的视频，所以需要一块4K屏幕的显示器。
视频采集卡：
采集卡的作用是实时的截取现实摄像机的画面进OBS，当然你如果用的是网络摄像头的廉价方案就不需要了，想拍出来CG级别的效果还是需要专业摄像机配合采集卡才能实时抓取视频画面，此处优先推荐内置在机箱里插主板的采集卡（需要拆装主机，有点麻烦），如果电脑不允许内置可以购买外置的USB采集卡，当然延迟就会稍微有点高了，但是也没有太大的影响。
目前只有Unity3D制作的虚拟现实程序支持MR模式，我们期待Value能够早日携手UE4放出来UnrealEngineforSteamVR的程序，当然SteamVR的版本得至少是1.0.8或以上哦。
OBS或者其他视频合成软件，用于实时获取应用窗口和简单抠图。
1.制作四分屏的配置文件
x=0
y=0
z=0
rx=0
ry=0
rz=0
fov=60
near=0.1
far=100
//m=-0.999059,0.015577,-0.040472,-0.0127,-0.016016,-0.999816,0.010544,0.1799,-0.040301,0.011183,0.999125,-0.0846
sceneResolutionScale=0.5
2.固定第三只Vive手柄在摄像机上
第三控制器的作用在原理部分已经讲过，它是负责定位虚拟摄影机的位置，所以必须「完全不动」的固定在摄影机上，一般有热靴的摄影机，可以在热靴上装夹子，或者是直接把控制器绑在闪光灯上。此处由于每款相机的状况不同，请各位根据实际情况绑好手柄即可。
3.按顺序开启控制器
由于我们需要让SteamVR把绑在摄像机上的第三只手柄作为虚拟相机的定位，所以正确的开启顺序很重要：
①确定所以控制器处于关闭状态，之后开启SteamVR
②开启游戏者的两只Vive控制器（摄像机同步以外的两个控制器，按下系统牛钮即可开启）
③确定两只控制器被SteamVR监测后，将第三只控制器用USB延长线连接的方式接上电脑主机，确定第三只控制器被侦测到
最终的实现效果如下：
4.开启游戏启动MR四分屏模式
确定externalcamera.cfg放入游戏目录后，将游戏开启，首先确认三个控制器都有被Lighthouse侦测到，之后按住Shift开启游戏选择适合你屏幕的最高画質，之后稍等片刻电脑屏幕的游戏画面就会分成四格，代表成功开启了MR模式。
通过四分屏最终实现输出的影像由三个影像合成：摄像机捕捉人的影像，覆盖在背景上（合成视频的背景，虚拟摄像机控制的画面），合成视频的前景覆盖在背景上即可。
e.g摄像机捕捉人的影像,覆盖在背景上(山和太阳),前景(花)覆盖人和背景上。
星佳测试成功的切西瓜游戏的MR视频截图：
5.设置OBS，开始直播
成功下载开源的OBS后即可开启直播，首先确保游戏的四分屏画面成功出现，真实摄像机的画面可以通过采集卡实时捕捉到电脑里。
①背景：
②摄像机捕捉：
b.设置绿色为色键（和绿幕颜色一样），扣出人像。
③合成视频的前景：
b.设置黑色为色键，扣除前景画面（注意看透视关系，游戏画面前景成功的遮罩住了人）。
获取正确的前景画面后的遮罩关系图
简单的说，我们首先通过获取真实摄像机拍摄的体验者，之后在OBS里实时抠像出只有体验者的透明画面，借着获取两次窗口分别把四分屏的前景和背景成功获取，最后调整三个画面的透视关系和角度即可成功实现MR。
6.如何快速实现相机与控制器的同步？
提供一些镜头的垂直FOV数据：
SonyHDRCX405:42.7
LogitechC920或C910:43.3
全片幅(FullFrame)搭上35mm镜头：27
PS3Eye(75FOV模式):45
③把数值填入用记事本打开「externalcamera.cfg」，X，Y，Z单位是米，rx，ry，rz(旋转)单位是度。
⑤通过以上的步骤之后，就能够通过OBS录制或是直播虚拟现实混合视频的游戏视频了。
Q：那为何你最早的教程有那么多代码，还需要一个DLL文件？
A：那种解决办法适用于你只有两只手柄的情况，通过修改代码的方式骗过SteamVR来虚拟一只并不存在的第三只手柄，因为七月初官方并没有开放单卖手柄的服务，所以出此下策，对大家造成的困扰表示道歉。不过这种办法有用的地方在于，如果利用此篇教程所述的办法成功后，不需要第三只手柄就可以在固定的摄像机机位下拍摄MR视频，前提是根本没办法移动，因为只能固定虚拟神相机的视野哦，所以还是花一千多买一只Vive手柄靠谱。
Q：到底搞这一套需要多少钱啊？
A：这个真不好说，低成本有低成本的办法，做出来的效果也就是凑合看看，专业老司机可以做出来游戏宣传片级别，可以需要借助专业的后期软件进行更精细的微调，包括调色，剪辑等专业工作，所以如果你想试试，建议先用低成本方案在家里搭建了小型绿幕练练手，解决了手柄对位的经验问题，再找个懂影视的老司机配合做更好效果的MR视频也不迟哦。
Q：去哪里找你咨询问题？
星佳说：
写完了理性的部分，借着夜色温柔来写点感性的话。
于是，在接触了某个业内投资机构失败后，决定把几个月的经验，结合国内外大神的各种教程再实践后的精华部分融会贯通，用星佳的口吻完完全全的公开所有实现MR技术的解决方案，甚至包括了超详细的步骤，投资机构看不懂MR背后巨大的商业价值也无所谓，希望通过这篇详细的指南可以让更多置身于虚拟现实行业的朋友们少走弯路，多做出精品MR影片内容给那些持续观望入坑的朋友们。
当然会有朋友问，难道你不指望靠这个赚钱？
不过心里挺难受的还是融资失败的事情，一直耿耿于怀，可能是第一次面对正规的风险投资基金，突然来的喜悦和突然来的失落反差太大，甚至连一个拒绝的理由都不给，到现在星佳都不明白到底是团队不行，产品不行还是商业模式有问题？有问题正常你提，我们想办法解决就是，最让人无奈的就是昨天还称兄道弟的，今天就理都懒得理你的态度，这种感觉其实还挺难得的。
虽然很不甘心，但是看到后台那些善意的留言还是觉得很值得的，毕竟除了MR之外我们团队还是有其他吃饭的本事，比如全景视频拍摄，全景场景漫游，表情跟踪和手势捕捉的小伎俩等等，而已经服务过的客户包括比亚迪电动车，中卫云计算基地，中卫沙坡头景区，民生银行宁夏分行等，所以如果你对我们团队感兴趣不妨联系星佳看看我们的BP和作品案例展示哈，万一我们是彼此生命中的贵人也说不定呢，^_^....