Por favor, avalie esta postagem
Um fone de ouvido de realidade aumentada combina visão computacional e percepção sem fio para localizar automaticamente um item específico que está oculto, talvez dentro de uma caixa ou sob uma pilha, e então orientar o usuário para recuperá-lo. Crédito: Cortesia dos pesquisadores, editado por MIT News
O dispositivo poderia ajudar os trabalhadores a localizar objetos para atender pedidos de comércio eletrônico ou identificar peças para montagem de produtos.
MIT pesquisadores construíram um fone de ouvido de realidade aumentada que dá ao usuário visão de raios X.
O fone de ouvido combina visão computacional e percepção sem fio para localizar automaticamente um item específico que está oculto, talvez dentro de uma caixa ou sob uma pilha, e então orientar o usuário para recuperá-lo.
O sistema utiliza sinais de radiofrequência (RF), que podem passar por materiais comuns como caixas de papelão, recipientes de plástico ou divisórias de madeira, para encontrar itens escondidos que foram etiquetados com etiquetas RFID, que refletem os sinais enviados por uma antena de RF.
O fone de ouvido direciona o usuário enquanto ele caminha pela sala em direção ao local do item, que aparece como uma esfera transparente na interface de realidade aumentada (AR). Assim que o item estiver na mão do usuário, o fone de ouvido, chamado X-AR, verifica se ele pegou o objeto correto.
Quando os pesquisadores testaram o X-AR em um ambiente semelhante a um armazém, o fone de ouvido conseguiu localizar itens ocultos em uma distância média de 9,8 centímetros. E verificou que os usuários escolheram o item correto com 96 por cento precisão.
O X-AR pode ajudar os funcionários de armazéns de comércio eletrônico a encontrar rapidamente itens em prateleiras desordenadas ou enterrados em caixas, ou a identificar o item exato para um pedido quando muitos objetos semelhantes estão na mesma caixa. Também pode ser usado em instalações de fabricação para ajudar os técnicos a localizar as peças corretas para montar um produto.
Pesquisadores do MIT inventaram um fone de ouvido de realidade aumentada que dá aos humanos visão de raios X. A invenção, batizada de X-AR, combina detecção sem fio com visão computacional para permitir que os usuários vejam itens ocultos. O X-AR pode ajudar os usuários a encontrar itens perdidos e orientá-los em direção a esses itens para recuperação. Esta nova tecnologia tem muitas aplicações em varejo, armazenamento, manufatura, casas inteligentes e muito mais.
“Nosso objetivo com este projeto era construir um sistema de realidade aumentada que permite ver coisas que são invisíveis – coisas que estão em caixas ou nos cantos – e, ao fazer isso, pode guiá-lo em direção a elas e realmente permitir que você veja o mundo físico de maneiras que não eram possíveis antes”, diz Fadel Adib, professor associado do Departamento de Engenharia Elétrica e Ciência da Computação, diretor do grupo Signal Kinetics no Media Lab e autor sênior de um artigo no X-AR.
Os coautores de Adib são os assistentes de pesquisa Tara Boroushaki, autora principal do artigo; Maisy Lam; Laura Dodds; e a ex-pós-doutora Aline Eid, que agora é professora assistente na Universidade de Michigan. A pesquisa será apresentada no Simpósio USENIX sobre Design e Implementação de Sistemas em Rede.
Aumentando um fone de ouvido AR
Para criar um headset de realidade aumentada com visão de raios X, os pesquisadores primeiro tiveram que equipar um headset existente com uma antena que pudesse se comunicar com itens etiquetados com RFID. A maioria dos sistemas de localização RFID usa múltiplas antenas localizadas a metros de distância, mas os pesquisadores precisavam de uma antena leve que pudesse atingir largura de banda alta o suficiente para se comunicar com as tags.
“Um grande desafio foi projetar uma antena que cabesse no fone de ouvido sem cobrir nenhuma das câmeras ou obstruir suas operações. Isso importa muito, pois precisamos usar todas as especificações da viseira”, afirma Eid.
A equipe pegou uma antena de quadro simples e leve e experimentou afunilar a antena (alterando gradualmente sua largura) e adicionar lacunas, ambas técnicas que aumentam a largura de banda. Como as antenas normalmente operam ao ar livre, os pesquisadores as otimizaram para enviar e receber sinais quando conectadas ao visor do fone de ouvido.
Depois que a equipe construiu uma antena eficaz, eles se concentraram em usá-la para localizar itens etiquetados com RFID.
Eles aproveitaram uma técnica conhecida como radar de abertura sintética (SAR), que é semelhante à forma como os aviões captam imagens de objetos no solo. O X-AR faz medições com sua antena de diferentes pontos de vista conforme o usuário se move pela sala e depois combina essas medições. Desta forma, ele atua como um conjunto de antenas onde as medições de múltiplas antenas são combinadas para localizar um dispositivo.
O X-AR utiliza dados visuais da capacidade de autorastreamento do fone de ouvido para construir um mapa do ambiente e determinar sua localização nesse ambiente. À medida que o usuário caminha, ele calcula a probabilidade da etiqueta RFID em cada local. A probabilidade será maior na localização exata da etiqueta, por isso ela usa essas informações para localizar o objeto oculto.
“Embora tenha apresentado um desafio quando estávamos projetando o sistema, descobrimos em nossos experimentos que ele realmente funciona bem com o movimento humano natural. Como os humanos se movimentam muito, isso nos permite fazer medições em vários locais diferentes e localizar um item com precisão”, diz Dodds.
Depois que o X-AR localizar o item e o usuário o pegar, o fone de ouvido precisará verificar se o usuário pegou o objeto certo. Mas agora o usuário está parado e a antena do fone de ouvido não está se movendo, portanto não é possível usar o SAR para localizar a etiqueta.
No entanto, à medida que o usuário pega o item, a etiqueta RFID se move junto com ele. O X-AR pode medir o movimento da etiqueta RFID e aproveitar a capacidade de rastreamento manual do fone de ouvido para localizar o item na mão do usuário. Em seguida, ele verifica se a etiqueta está enviando os sinais de RF corretos para verificar se é o objeto correto.
Os pesquisadores utilizaram os recursos de visualização holográfica do fone de ouvido para exibir essas informações ao usuário de maneira simples. Depois que o usuário coloca o fone de ouvido, ele usa menus para selecionar um objeto em um banco de dados de itens marcados. Após a localização do objeto, ele é circundado por uma esfera transparente para que o usuário possa ver onde ele está na sala. Em seguida, o dispositivo projeta a trajetória até aquele item na forma de passos no chão, que podem ser atualizados dinamicamente conforme o usuário caminha.
“Abstraímos todos os aspectos técnicos para que possamos fornecer uma experiência clara e transparente para o usuário, o que seria especialmente importante se alguém colocasse isso em um ambiente de armazém ou em uma casa inteligente”, diz Lam.
Testando o fone de ouvido
Para testar o X-AR, os pesquisadores criaram um armazém simulado enchendo as prateleiras com caixas de papelão e caixas de plástico e colocando itens etiquetados com RFID dentro dele.
Eles descobriram que o X-AR pode orientar o usuário em direção a um item alvo com menos de 10 centímetros de erro – o que significa que, em média, o item estava localizado a menos de 10 centímetros de onde o X-AR direcionou o usuário. Os métodos de base testados pelos pesquisadores tiveram um erro médio de 25 a 35 centímetros.
Eles também descobriram que verificava corretamente que o usuário havia escolhido o item certo em 98,9% das vezes. Isso significa que o X-AR é capaz de reduzir erros de coleta em 98,9%. A precisão foi de até 91,9% quando o item ainda estava dentro de uma caixa.
“O sistema não precisa ver o item visualmente para verificar se você pegou o item certo. Se você tiver 10 telefones diferentes em embalagens semelhantes, talvez não consiga perceber a diferença entre eles, mas isso pode orientá-lo a escolher o certo”, diz Boroushaki.
Agora que demonstraram o sucesso do X-AR, os investigadores planeiam explorar como diferentes modalidades de detecção, como WiFi, tecnologia mmWave ou ondas terahertz, poderiam ser usadas para melhorar as suas capacidades de visualização e interacção. Eles também poderiam aprimorar a antena para que seu alcance pudesse ir além de 3 metros e estender o sistema para uso por vários fones de ouvido coordenados.
“Como não existe nada parecido hoje, tivemos que descobrir como construir um tipo de sistema completamente novo, do começo ao fim”, diz Adib. “Na realidade, o que criamos é uma estrutura. Há muitas contribuições técnicas, mas também é um modelo de como você projetaria um headset AR com visão de raios X no futuro.”
“Este artigo dá um passo significativo no futuro dos sistemas AR, fazendo-os funcionar em cenários sem linha de visão”, diz Ranveer Chandra, diretor-gerente de pesquisa industrial da Microsoft, que não esteve envolvido neste trabalho. “Ele usa uma técnica muito inteligente de aproveitar a detecção de RF para aumentar os recursos de visão computacional dos sistemas AR existentes. Isso pode levar as aplicações dos sistemas de AR a cenários que não existiam antes, como no varejo, na manufatura ou em novas aplicações de qualificação.”
Referência: “Aumentando a Realidade Aumentada com Percepção Sem Linha de Visão” por Tara Boroushaki, Maisy Lam, Laura Dodds, Aline Eid e Fadel Adib.
PDF
Esta pesquisa foi apoiada, em parte, pela National Science Foundation, pela Sloan Foundation e pelo MIT Media Lab.