Cada sensor dentro do Apple Vision Pro e o que ele foi projetado individualmente para fazer

Para um dispositivo de $ 3.499 USD projetado para substituir seu telefone, laptop, relógio, tablet, televisão e até mesmo seu mouse, você pode apostar que o Vision Pro da Apple está repleto de sensores que rastreiam você, seus movimentos, visão, gestos, comandos de voz, e sua posição no espaço. De acordo com o próprio anúncio da Apple, o Vision Pro tem até 14 câmeras internas e externas, 1 scanner LiDAR e vários iluminadores infravermelhos e LED invisíveis para ajudá-lo a ter uma noção de onde você está e o que está fazendo. Além disso, o fone de ouvido também possui um chip R1 Apple Silicone dedicado que processa dados de todos esses sensores (e alguns outros) para ajudar a criar a melhor representação da mudança gradual da Apple em direção à "Computação Espacial".

"O Vision Pro é um novo tipo de computador", diz Tim Cook ao revelar o headset de realidade misturada pela primeira vez. "É o primeiro produto da Apple que você olha, e não para", acrescenta ele, marcando a mudança da Apple para a Computação Espacial. O que é Computação Espacial, você pergunta? Bem, o desktop foi apresentado como o primeiro computador pessoal do mundo, ou PC, como o chamamos hoje de forma tão onipresente. O laptop encolheu a área de trabalho para um formato portátil e o telefone encolheu ainda mais ... até o relógio, que colocou seu computador pessoal no pulso. A Computação Espacial marca a primeira mudança da Apple em relação à Computação Pessoal, no sentido de que agora você não está mais limitado por uma tela – grande ou pequena. "Em vez disso, o ambiente se torna uma tela", resume Tim, ao passar o palco para o vice-presidente de design, Alan Dye.

A Computação Espacial marca uma nova era da computação em que os quatro cantos de uma tela tradicional não impõem restrições ao seu ambiente de trabalho. Em vez disso, seu ambiente real se torna seu ambiente de trabalho e, assim como você tem pastas, janelas e widgets em uma tela, o Vision Pro permite criar pastas, janelas e widgets em seu espaço 3D. Dye explica que em Computação Espacial não é preciso minimizar uma janela para abrir uma nova. Simplesmente arraste uma janela para o lado e abra outra. O VisionOS da Apple transforma sua sala e sua periferia visual em um sistema operacional, permitindo que você crie várias telas/janelas onde quiser, mova-as e redimensione-as. Pense no Minority Report ou no computador holográfico de Tony Stark... mas com uma interface melhor e mais elegante.

No coração do headset Vision Pro estão dois chips que trabalham juntos para ajudar a virtualidade e a realidade a se combinarem perfeitamente. O Vision Pro é equipado com o chip de silício M2 da Apple para ajudar na computação e no manuseio de multitarefa, junto com um novo chip de silício R1 que é proprietário do fone de ouvido, que funciona com todos os sensores dentro e fora do fone de ouvido para rastrear sua visão, entrada de controle, e também ajuda os elementos virtuais a existirem perfeitamente no mundo real, fazendo coisas impressionantes como lançar sombras no mundo ao seu redor, mudar os ângulos quando você se move ou desaparecer/desaparecer quando alguém entra em seu quadro.

O chip R1 é praticamente o molho secreto da Apple com o Vision Pro. Ele lida com dados de cada sensor do dispositivo, rastreando simultaneamente seu ambiente, sua posição nele, suas mãos e até mesmo seus movimentos oculares com uma precisão impressionante. Seus movimentos oculares formam a base de como o Vision Pro sabe com quais elementos você está pensando em interagir, praticamente transformando-os em cursores genuínos. Por mais impressionante que seja, o R1 também usa seus dados oculares para saber quais elementos da tela renderizar e quais não. Dado que você só pode focar em uma área limitada a qualquer momento, o chip R1 sabe renderizar apenas aquela parte de sua periferia visual com clareza nítida, em vez de gastar recursos renderizando toda a cena. É uma maneira incrivelmente inteligente de otimizar o uso da bateria, proporcionando uma experiência imersiva brilhante. No entanto, isso não é tudo…

Um engenheiro de neurotecnologia da Apple revelou exatamente o quão complexa e um tanto assustadora é a tecnologia interna do Vision Pro. Embora vinculado ao NDA, Sterling Crispin compartilhou em um tweet como o Vision Pro rastreia sua visão e sabe como você está navegando em sua interface com perfeição. Fundamentalmente, o chip R1 foi projetado para ser quase mágico ao prever a jornada e a intenção do olho do usuário. "Um dos resultados mais legais envolveu a previsão de que um usuário clicaria em algo antes que ele realmente o fizesse [...]