揭秘手机 QQ 新功能：最新手势 AI 识别跟踪技术，支持画圈召唤 “任意门”

rodna

如果我的面前出现了哆啦 A 梦的任意门，现在我最希望能到达的地方，是世界杯足球场。不是开玩笑，今天我发现用手机 QQ 就能做到。

: u% U6 f- ~8 p7 Y; [世界杯之际，腾讯 QQ 推出了 “QQ-AR 穿越赛场” 活动，通过手机 QQ 扫一扫功能，能够穿越 “任意门” 到达足球赛场体验比赛乐趣。“QQ-AR 穿越赛场” 玩法是基于手机 QQ 和腾讯音视频实验室联合开发的 “手势 AI 识别跟踪” 技术实现，“任意门” 玩法和 “手势 AI 识别跟踪” 技术，在行业内还是首创。
* b) B( r/ @0 [& I: U8 E
5 w# h  h# X3 U9 i我们上手试玩了一下，发现我们穿越进入球场后，不仅进了个球，还上了 “报纸头条”。
7 b$ k: r* G" `$ w0 @1 S/ Z. Y
上手体验，AR 穿越到球场
% w- Y9 [$ O, x1 _% o体验 “QQ-AR 穿越赛场” 的关键是手指画圈手势。打开手机 QQ 的扫一扫功能并点击 “QQ-AR 穿越赛场”，按照提示在手机后摄像头进行手指画圈，即可召唤任意门。
0 W' A9 V+ V1 x) w
- E7 A9 X4 g8 N6 P% M3 O7 u任意门范围内能够隐约看到另一个虚拟世界。这时候，手持手机按照箭头指引往前走，就能从门外穿越到门内并体验门内的虚拟 3D 世界，穿越还原度还挺高的。

* n! O7 N( S" z  U穿越过去是什么样呢？通过任意门进入虚拟世界后，这个世界是 360 度动态全景的效果，能够自由调整手机角度去观看，而且赛场上的大屏还会出现体验者的名字，很有代入感。

5 |4 u2 q" z# F2 \! z3 ~9 ^6 ~不仅如此，“QQ-AR 穿越赛场” 在穿越体验方面是自由的，并不是单向穿越。体验者完全可以在两个世界之间来回自由穿梭。任意门是双向连接两个世界，在虚拟世界也可以通过任意门回到现实世界。
/ ^' T2 D! J% `9 x4 m& L: ?3 [
; U+ D4 D9 F" q# x0 K3 I在这里还发现了一个很赞的细节，并不是简单越过任意门所在平面就能穿越，必须是在任意门这个圈里，在圈外是穿越不了的。这一细节在现实世界穿越到虚拟世界的时候也同样存在，可以说，这个细节高度还原了科幻影视中对任意门的定义。
: Z- d  i+ }* r
除了能够体验到穿越空间外，“QQ-AR 穿越赛场” 在虚拟世界还设置了足球比赛的场景互动能力。在虚拟世界中点击屏幕上的 “加入球赛” 即可加入足球比赛，通过互动最终帮助球队夺得胜利。

互动之后还能生成头版报纸，支持分享到社交圈，帮助球迷们过一把球星瘾。

AR 穿越体验背后，是创新的技术支撑
可以说，“QQ-AR 穿越赛场” 确实是一个独特又创新的 AR 应用体验，而这背后包含着多项技术的组合创新。
% l# ]3 W( ?! ]" q* V
“QQ-AR 穿越赛场” 玩法是手机 QQ 和腾讯音视频实验室，对最新手势 AI 识别跟踪技术的应用。当用户手指在摄像头前挥动时，通过在终端运行级联神经网络计算，获取用户指尖的位置信息，得到指尖的运动轨迹，并记录和拟合判断是否画圈成功。
; [/ ^1 m& ?7 y# b. e
8 I' Q9 A, F7 A' m; R5 k: g8 L判断画圈成功后，再采用三维重建定位跟踪技术，将虚拟的魔法门增强显示到现实场景中，让用户可以稳定、准确地在真实世界和虚拟世界来回穿梭。
' h5 q, e/ f* Q+ X9 N
/ n# ~, p% c" ?/ y2 l音视频实验室的手势 AI 识别跟踪技术，在模型设计与前馈计算两个层面对体验进行优化。模型层面，通过蒸馏、剪枝等多种方法优化网络模型，在最大限度保证高精度的前提下降低模型复杂度，在性能、准确率和误识别之间取得了一个较好的平衡；在前馈计算层面，通过在 CPU 指令级别优化终端前馈计算性能，最终结合模型，实现了具有良好精度，实时的性能表现以及最大程度设备兼容性的指尖运动轨迹追踪。

& W6 ~. e  n$ `9 d! s实现穿越能力后，在另一边的 360 度全景虚拟世界同样也包含技术亮点。区别于当前普遍使用的静态图片的全景展示，“QQ-AR 穿越赛场” 的虚拟世界采用全景视频技术，动态视觉配合实时音效，用户体验感会更加真实和沉浸。
/ ]* g$ U# O+ J' _3 ^/ K) ^
& {1 y; S/ E7 l) W2 {除了技术创新之外，“QQ-AR 穿越赛场” 的创意也可圈可点。通过任意门的方式，用户能够体验到穿越时空亲临赛场的体验，在正在举办的世界杯期间，让很多球迷也能过把足球瘾。

2 g: K3 [1 D$ V其实 “QQ-AR 穿越赛场” 此次的推出也表现出了极大的商业延伸价值。实现了穿越足球赛场，那么意味着，穿越到其他地方也是能够实现的，比如商场、景点、学校等等。
. n1 V4 h0 t8 [( H
; k  ?0 S8 \+ `腾讯 QQ 在 AR 上的野心
6 B- w- G; O/ J& dAR 是众多国际巨头都在竞争的技术和产品，基于 AR 技术的产品和解决方案频出，当前 AR 的发展正在 “提速”。
; k% }* n* a) E( S, T
: O0 l6 j. Q% O( y0 P上个月，Google 在 Google I/O 2018 大会上宣布，对 ARCore 1.2 平台进行了全新的升级。在 6 月初的苹果开发者大会上，苹果推出了一个新的 AR 格式 “USDZ”，还展示了一个基于真实乐高积木建筑的 AR 游戏。
! E  m/ ?8 a$ a8 f; r$ b8 \
8 j1 {: o+ }. s, l- hFacebook 早就斥资 20 亿收购虚拟现实平台 Oculus。扎克伯格曾畅想：“坐在场边的座位上享受观看比赛，坐在有来自世界各地的老师和学生的教室里学习，或者与医生面对面咨询，这只需要在你家里安装这样一台设备。”

4 V8 l: o: `- g. b扎克伯格的畅想实现了，但实现者并不是 Facebook，而是腾讯 QQ。
: m) R' H4 h0 S

7 L  P  {  Y) h7 e腾讯在手机 QQ 上，率先为用户提供一个 AR 应用的创新场景，让用户可以快速便捷地接触和体验 AR 的功能及乐趣。这意味着，腾讯 QQ 在 AR 的技术以及技术应用方面，有着想要成为行业头部平台的野心，也拥有着相应的能力。

今年 5 月，腾讯 2018 财年 Q1 财报中显示，手机 QQ 月活为 6.94 亿。作为年轻人的社交平台，腾讯 QQ 无论在 AR 与社交的融合打造新一代社交模式方面，或者通过平台能力打造 VR 应用入口方面，基于自身坚实的技术基础，依然是充满想象力和可能性的

rodna

rodna

rodna

rodna

rodna

h8218248

在模型设计与前馈计算两个层面对体验进行优化。模型层面，通过蒸馏