AgentHands gera gestos interativos para conversas espaciais com agentes em XR

O AgentHands é um protótipo de realidade estendida (XR) alimentado por um modelo de linguagem que adiciona gestos de mão sincronizados à fala de agentes conversacionais. O sistema identifica objetos no ambiente pelo olhar e pela reconstrução da cena, seleciona comportamentos em uma biblioteca de gestos e insere eventos no texto gerado pelo modelo. Um parser no headset coordena esses eventos com a síntese de voz e as animações, permitindo apontar para objetos, demonstrar ações e usar efeitos visuais, como um brilho vermelho para indicar calor.

Em um estudo com 12 participantes, o AgentHands foi comparado a uma versão baseada apenas em fala em tarefas de cuidado de orquídeas e operação de uma impressora 3D. Os participantes localizaram objetos e direções com mais facilidade, avaliaram as atividades complexas como mais fáceis de acompanhar e consideraram os avisos de segurança mais eficazes quando acompanhados de gestos e efeitos visuais. As instruções também foram percebidas como mais fáceis de entender e lembrar.