- A+
时令 发自 凹非寺
量子位 | 公众号 QbitAI
只靠说话和AI眼镜互动，确实有点不方便。
说到底，
现在新玩法来了！数字替身帮诸位“隔空抓物”，混合现实即时选取现实世界的物体作为上下文。
书籍检索，轻松get～
令人惊讶的是，
建筑导航？手拿把掐。
值得注意的是，
多无人机协作？也是毫不逊色。
XM外汇行业评论：
该技术被称为Reality Proxy——一种直接操控视图，让诸位可用瞬间选中现实世界中的物体。
研究者Xiaoan Liu甚至表示，这使咱们离贾维斯又进了一步。
综上所述，
Reality Proxy打破物理条件限制
XM外汇行业评论：
混合现实（XR）正在重塑人机交互的边界。通过头戴设备，它有望将物理世界与数字世界融合，让使用者能同时操控现实与虚拟中的对象。
需要注意的是，
然而，传统的XR设备通常通过光线投射来选取物体，但由于目标在视野中尺寸较小、视线不稳定以及手部颤抖等原因，这一过程往往容易出错。
因此，研究团队提出Reality Proxy（现实代理）——现实物体的抽象数字表示。
容易被误解的是，
他们将交互目标从物体无缝转移到其代理上，选取代理等同于选取实际物体，便于使用者摆脱距离或大小等限制，实现轻松选取物体。
如上所示，Reality Proxy流程包括三个主要环节：
激活代理：捕获层级和语义场景结构
当使用者捏合确认选取时，它会自动检测使用者视线范围内的真实世界物体，并将其抽象为手部的交互代理。
如果使用者成功选中目标物体（使用者视线默认瞄准的物体），他们可用继续执行预期处理；否则，他们可用利用手边的代理优化选取。
生成代理：保留空间关系
在这一环节中，系统可用将上一环节中场景的层级、语义表示转换为代理 —— 使用者可处理的对象。
XM外汇快讯：
默认情况下，系统仅为使用者扩展视线范围内的1级物体生成代理。这些代理保留彼此的相对空间关系。
XM外汇行业评论：
由于代理仅作为交互的抽象表示，因此其物理大小并不关键。因此，在实现过程中，每个代理表示为固定大小的矩形3D对象。
XM外汇财经新闻：
与代理交互：保持对现实世界的关注
尽管如此，
为利使用者能主要关注现实物体， Reality Proxy在与代理交互时，将关键视觉反馈直接显示在物理物体上。
说到底，
例如，当一个物体被选中时，它会以亮色高亮显示，相应的代理也会高亮，供应双重反馈。
为确保代理易于访问且无需持续视觉关注，研究应用 “延迟跟随”机制，将代理放在使用者手部附近。
更重要的是，
当手保持在特定阈值内时，代理保持静止；如果手移动超出该范围，代理会平滑跟随 —— 使其保持在可达范围内，而不会对轻微的手部抖动做出反应。
这种设计减少了使用者低头查找代理的需求，并实现在关注现实世界与快捷查看代理信息之间的平滑切换。
容易 XM外汇平台 被误解的是，
此外，Reality Proxy还兼容多种交互用途，利使用者与现实物体的互动更加灵活。
1、浏览预览物体：使用者手指在多个代理上多本书的信息。
XM外汇认为：
2、多对象刷选：用双手捏合的手势划定一个区域，就能选中多个代理对应的现实物体。
换个角度来看，
4、借助物理特征的交互：代理可结合真实世界的物理用途促进直观交互。
XM外汇认为：
例如，放在物理表面（如桌子）上的代理可用将这些表面转换为自然的触摸板。
使用者可用利用熟悉的触摸设备手势与真实世界物体交互，如在表面上拖动手指选取多个物体、分开手指扩大选取范围，或回溯路径调整选取等。
令人惊讶的是，
5、语义分组：双击一个代理，就能把有相同属性的物体归为一组。
大家常常忽略的是，
6、空间缩放分组：用双手缩放的手势，在层级结构中导航，比如从查看整栋楼缩小到查看某一层的房间。
7、自定义分组：在空处用刷选的手势画一个立方体容器，把选中的代理放进里面，就能创建自定义分组，方便进行整体处理，比如计算一组书的总价。
除此之外，研究者还通过几个场景展示了此技术的实用性。
日常信息检索
来自XM外汇官网：
在办公室里，老师可用用它快捷找到特定的书，计算书的总价。
XM外汇认为：
在厨房里也能实现与不同粒度级别的物体交互，比如选中微波炉的不同部件。
建筑导航
XM外汇行业评论：
Reality Proxy让在大型建筑中高效导航和交互成为可能。
XM外汇快讯：
无人机控制
容易被误解的是，
Reality Proxy还允许控制动态真实世界物体。
换个角度来看，
为展示这一点，研究者开发了一个基于混合现实的无人机控制应用，该应用用无人机中嵌入的跟踪器代替AI场景理解组件。
根据公开数据显示，
此研究招募了12名经验丰富的XR开发者和研究人员（7名男性，5名女性，年龄在18岁到38岁之间）。
由于两名参与者参与了完善研究方案的预试验环节，因此被排除在以下报告的评分中。
容易被误解的是，
评估结果显示，这个系统在实用性、易学性和易用性方面评价普遍积极。
综上所述，
参与者认为Reality Proxy在实用性上表现突出，能有效处理与遥远、密集或难触及物体的交互状况。
尤其值得一提的是，
相比传统模式更快捷，可减少身体疲劳、扩展交互能力（如批量选取、按属性筛选），对行动不便或视线不稳定使用者也更友好。
不过参与者也指出了一些状况，比如新手可能需要一定的学习时间，代理的定位精度还有待提高等。
XM外汇财经新闻：
团队介绍
Xiaoan Liu，本科毕业于江南大学，硕士毕业于纽约大学。
XM外汇消息：
他于2019年3月创立了Fusion Reality。2023在清华大学担任研究助理。2024年11月至2025年5月期间在谷歌工作。
站在用户角度来说，
他最近的一项比较有意思的研究还包括RealiTips（稿件准备中）——一款可用指导诸位一步步煮咖啡的助手。
事实上，
值得一提的是，他本科时期就设计出很多XR设备和游戏。
说出来你可能不信，
Mar Gonzalez-Franco，2014年，她在英国创建了沉浸式技术实验室，研究航空背景下的AR、VR和混合现实。
2015年，她以高级研究科学家的身份加入初创公司Traity，该公司完成了470万美元的A轮融资，拥有超过450万使用者，是硅谷500 Startups和Seedcamp（全球知名的风险投资基金和创业加速器）的校友企业。2016年，她还曾担任微软EPIC团队的首席研究员。
简要回顾一下，
Xianhao Carton Liu，本科就读于浙江大学竺可桢学院，曾获图灵班的人工智能荣誉学士。博士就读于明尼苏达大学计算机科学专业，研究方向为人机交互。曾在斯坦福大学和哈佛大学任研究实习生。
Chen Zhu-Tian，本科毕业于华南理工大学，博士毕业于香港科技大学，现任明尼苏达大学双城分校CSE系（计算机科学与工程系）助理教授。
站在用户角度来说，
参考链接：
尤其值得一提的是，
[2]https://arxiv.org/abs/2507.17248返回搜狐，查看更多
