眼神交流是我们最基本的沟通方式之一, 通常是我们开始任何面对面互动的第一种方式。我们看着某个人的眼睛, 然后向他们打招呼。我们进行眼神交流, 然后开始对话。玩电子游戏时是一样的。我们看到一个标题屏幕, 然后参与。但是后者始终是单方面的经历。电子游戏从未回头。
[上图来源：维基百科PetrNovák]
然而, 根据一些人对新技术的关注, 这种情况可能很快就会改变。公司开始尝试一种中间件技术, 该技术可以使游戏跟踪用户的眼球运动和焦点, 从而为开发人员获取有关其玩家的反馈并与他们进行互动的方式打开了新的大门。
眼动追踪技术也有可能改变我们使用虚拟现实的方式。 VR在最近已经风靡一时, 但如果要成为主流, 它也有不可克服的障碍。它昂贵, 笨重, 并且开发人员还没有选择标准的输入设备, 有些选择了运动控件, 而另一些则坚持使用传统的控制器。然而, 眼动追踪可能是VR主流吸引力的关键。
它可以改变我们玩视频游戏的方式, 可以帮助我们观察不可玩角色的视线, 也可以帮助降低虚拟现实进入市场的经济障碍。
一切都在眼里
对眼睛的高级研究可以追溯到1879年, 当时法国眼科医生LouisÉmileJaval注意到有人正在阅读时, 他们的眼睛以一系列短暂的停止而不是一个流畅的运动来运动。这导致了眼球追踪研究, 该研究在1970年代激增, 特别是在研究阅读方式方面。
十年后, 人们开始研究人眼如何看待计算机屏幕以及如何搜索命令键和菜单。这导致根据人们关注的重点更改Web界面。最近, 更先进的眼动追踪技术已将其应用于商业领域, 并研究了观众如何看电视节目, 商业广告和网络屏幕。现在, 也许是轮到我们看电视游戏了。
游戏开发人员Jesse Schell, 其团队创造了《我希望你死亡》的虚拟现实体验；这位前迪士尼幻想家, 卡内基·梅隆大学教授, 未来主义者大胆宣称："大约五年来, 我们在视频游戏中没有发生过任何有趣的事情。相当长的一段时间都没有发生任何真正的新事物或新颖的事情, 突然之间, 我们(具有虚拟现实)有了这些与众不同, 非常强大的体验。"
无论他是不是对, Schell都是虚拟现实的大力拥护者, 也是VR头戴式设备进行眼动追踪的社会可能性。
Schell认为："眼动跟踪传感器就在拐角处, 它们将被集成到虚拟现实系统中, 它们将被集成到游戏机中, 它们将被集成到电视机中。"使用它, 设备将知道观众在看什么, 他们在注意什么。
去年, 刺客信条盗贼(Creed Rogue)在PC上推出了具有眼动追踪功能的支持。育碧与SteelSeries公司合作, 使使用其Sentry Eye Tracker的玩家能够用自己的眼睛控制游戏的摄像头。
Sentry是目前游戏市场上少数可追踪眼球的外围设备之一。黑色和红色的细条连接到用户的计算机上, 并使用三个红外微型投影仪每秒扫描他们的眼睛50次, 跟踪并记录他们在屏幕上的注视位置。
SteelSeries并未严格考虑播放器的外观；它也考虑了观众。例如, 对于那些在Twitch上观看彩带的人, 哨兵会监视玩家的眼球动作, 然后将其投射回观众, 让他们洞悉彩带的策略。
SteelSeries的Sentry眼动仪
索尼的作品也采用了类似的技术, 该技术在2014年GDC上进行了演示, 但此后一直没有展示。像Tobii这样的其他公司也已经将其Tobii EyeX实施了眼动追踪技术, 例如The Division, Farming Simulator等。杀出重围：人类分裂。对于大多数游戏而言, 该实现方式是将相机或玩家的枪对准目标, 从而确定掩护的位置以及角色移动的位置。使用此技术时, 玩家不再仅用拇指瞄准, 也用眼睛瞄准。
2014年, Game Informer获得了演示的机会Tobii与SteelSeries合作制造的CES上的眼动追踪开发套件。在玩《魔兽世界》时, 我们惊讶地发现用眼睛控制游戏的摄像头, 瞄准敌人并调出菜单有多么自然。
它并不会从根本上改变我们的游戏方式, 但会改变我们的互动方式。当它起作用时, 它可以使角色的标线与玩家的眼睛具有相同的精度。也就是说, 该技术与基于精度的游戏(例如《反恐精英：全球攻势》)配合使用的效果如何, 以及是否存在明显的延迟, 还有待观察。为了缓解这种情况, 某些第三方应用程序已经发布, 例如Project IRIS。
这是一项令人兴奋的新技术, 一种让人感觉充满未来感的技术, 而且有可能从根本上改善虚拟现实。在VR中使用眼动追踪可以改变我们与角色互动的方式以及我们对参与度的思考方式。
"每个视频游戏平台都是从单人游戏平台开始的, 如果在那里有成功的话, 那么有人会把它变成社交平台, 而他们就是赚钱的人, "谢尔说。 "当它变得社交化时, 那就是它变得更大。 VR是有史以来创建的所有技术中最具社交性的技术, 因为它是我可以与他人进行目光交流的唯一技术, 并且可以在三个维度上实际看到他人的手势。"但是要使我们进行眼神交流, 首先我们必须看一下眼动仪。
SensoMotoric Instruments(SMI)美国分部主管Mark Mento补充说：" [眼动相机]值得关注。" "他们看着眼睛和头部, 并且了解在任何给定时间有人在关注什么。" SMI专门研究眼动和视线跟踪技术。他们也是与索尼合作开发上述原型的公司。
HTC Vive
Mento和Schell一样, 都指出了其社会意义。 "在现实世界中, 如果我看着你, 你看着我, 我们就会进行目光交流。从社会的角度来看, 这具有意义。"他说, 并解释说, 在数字世界中如果没有发生这种情况, 可能会令人不安。如果你碰巧知道我们所有人在某个虚拟环境中所处的位置, 那么这种对你的注意力的被动意识就是我们在现实世界中的社交环境中经常使用的一种意识, 可以在虚拟世界中实现。 "
Mento继续说道："你可以注意注视位置, 并根据该位置对化身进行建模, 因此沿用了许多应用程序。" "我认为我们比普通消费者应用程序迈出了一大步, 但从某种意义上说, 我们正朝着这个方向前进。"
通过在已经是沉浸式媒体的视频游戏中使用眼动追踪, 我们第一次可以与世界另一端的虚拟角色或玩家进行真实, 亲密的目光接触。你可以看到他们的表情, 看到他们说话时的表情, 他们可以对你做同样的事情。在玩家和角色之间创造自然的时刻, 而不是人为或捏造的时刻–过去开发人员一直在努力。
如果游戏可以注视玩家的眼睛并回话, 那么它可以在非个人空间中建立个人联系, 从而减少了屏幕上和屏幕外的人与人之间的分隔。你不再是浪漫场景中的第三人称观察者；目前, 你正在与角色互动。你正在从屋顶上跳下来, 尽快寻找下一个把手。你正在审讯某人的双眼, 注视着他们的快速目光。在游戏中, 当你杀死某个人或怪物时, 你可以第一次注视他们的眼睛, 从而有可能对动作的严重性做出真实的陈述。
眼动追踪可能使我们直接进入以前只是遥远的观察者的游戏瞬间。它可能会引发关于我们在游戏中的行为(无论是浪漫, 暴力还是冒险)的更大讨论, 涉及我们的互动方式和互动方式。但是, 如果这些时刻所需的平台无法承受, 那么这有什么好处呢？实际上, 一种新的渲染技术可能会帮助解决该问题, 而不是对其进行添加。
"我可以放松一下"
视网膜中央有一个小凹, 称为中央凹, 视力最高。我们在周围看到的所有其他东西都是模糊的。看这个词的最后一个字母；这是你全神贯注地看到的唯一内容。使用眼动摄像头的集中式渲染的工作方式大致相同。
Mento解释说："我们的想法是, 你可以将处理能力瞄准人的凝视位置。" "因此, 如果他们正在注视着某个特定的位置, 那么你可以在该位置上以最高的程度进行渲染, 因为一个人的周围视觉无法看到。"
集中式渲染可以以相同的方式使开发人员和消费者受益。通过仅渲染某人视觉中心的内容, 开发人员可以节省游戏中的GPU支出。使用Oculus和HTC Vive等头戴式耳机的玩家(都需要非常苛刻的计算机才能运行), 表面上可以在较低口径的机器上运行游戏, 因为不再需要在屏幕上完全渲染其他所有内容。
"它肯定有潜力真正改善体验, 尤其是在你资源有限的情况下。 Mento谈到虚拟现实耳机的可承受性时说, 这似乎确实是这样。 "集中式渲染从根本上降低了对GPU的需求, 因此大概可以买到更便宜的[图形]卡。"
偏心渲染的一个例子。中心点是视敏度和渲染最高的位置。
为了使集中式渲染正常工作, 它必须能够依靠眼动追踪的准确性。 "如果我确切知道你在任何给定时间在看这些图形的位置, [我可以使]这些图形上的最高细节仅在你要看的位置[并且]如果你将视线从那个地方移开, 我可以将高渲染点移到其他地方。" Mento解释道。 "我可以懈怠, 可以降低视力, 减少细节, 因为你永远看不到它。"
目前, 集中式渲染比逻辑上的下一步更是奢侈品。它需要眼动追踪才能成为虚拟现实的下一个增强功能, 使其有机会成为下一个下一件大事。开发人员需要了解其在操作中的优势, 以及为什么要在游戏中使用它。但是, NVIDIA最近采取了使后者成为可能的步骤。
NVIDIA最近与SMI合作, 在HTC Vive中使用其眼动追踪相机来演示NVIDIA的"基于感知的偏向渲染技术"。这是将虚拟现实带入更多家庭的一大步。
时间会证明一切
所有这些不同的眼动追踪技术仍处于开发的早期阶段。如果眼动追踪成为虚拟现实中的下一件大事, 那么它将不会在下一代耳机中被本地采用。但是, 如果发生这种情况, 偏心的渲染可能可以跟随。
也就是说, 虚拟现实和眼动追踪技术的结合有潜力使我们能够与角色互动, 而不仅仅是被动互动。要看他们的眼睛, 而不仅仅是看。
