之前我们曾介绍过Intel Realsense开发工具套装（深度摄像头+开发工具包）的强大潜力，Realsense利用计算机深度视觉技术可以实现体感动作捕捉。官方的RealSense SDK提供了计算机视觉的算法库，包括面部识别、3D扫描、动作捕捉等强大功能。不过说实话官方的SDK真心对开发者不是很友好。

为了让更多的开发者轻松使用Intel Realsense的强大功能，虚幻4引擎再放大招，提供了RealSense Plugin。当然，这个虚幻4引擎的新插件是在Epic Games和Intel团队共同努力下完成的，可以通过UE4的Blueprints 可视化脚本编程系统使用RealSense SDK。

和以往一样，虚幻4引擎开放了该插件的源代码和示例项目，下载链接在这里：
https://github.com/GameTechDev/UE4RealSensePlugin

RealSense插件简介

该插件以一系列的Actor Components（演员组件）组成，其中每个组件都包含了来自RealSense SDK的丰富功能。通过使用这些轻量级的组件，开发者可以给游戏中的任何一个角色添加3D感知能力，而且可以通过简单初始化相同组件的另一个实例来获取数据。

RealSense组件介绍

目前该插件提供了三个RealSense组件：

1.Camera Streams Component(摄像头视频流组件）:

可以从RealSense 摄像头获得色彩的raw数据和深度视频流。

2.Scan 3D Component:（3D扫描组件）：

支持对真实世界物体和人类面部的扫描

3.Head Tracking Component(头部运动跟踪组件，预览版）：

支持对用户头部位置和朝向的定位和跟踪

后续RealSense插件还将支持以下组件：

1.Head Tracking Component(头部运动跟踪组件，完全版）：

可以跟踪76个面部特征点，面部表情等

2.Background Segmentation Component

分离图像中的前景和背景，以创建实时视频的“green screen”效应。

3.Sense Scanning Component

创建大场景的3D模型（2米*2米），以提供UGC和增强现实的体验。

4.Hand Tracking Component

跟踪手部22个特征点的运动，可以识别14种手势，或跟踪单个特征点的交互

5.Speech Recognition Component

提供语音输入和基于关键词的语音控制界面

关于该插件的详细功能，请参考Intel 官网的相关信息。

https://software.intel.com/en-us/articles/intel-realsense-sdk-plug-in-for-unreal-engine-4

更多VR/AR开发的知识，请关注赛隆网，微信公众号vrlife