A Apple usa IA para ajudar pessoas cegas a “ver” as ruas — SceneScout mostra o caminho com voz

O SceneScout é um projeto de pesquisa da Apple e da Universidade Columbia que visa ajudar pessoas cegas e com baixa visão a se orientarem em seus arredores. Ele combina os recursos do Apple Maps e do GPT-4o. Os usuários podem não apenas obter direções passo a passo e pontos de referência, mas também explorar literalmente toda a rota, quarteirão por quarteirão.

Fonte da imagem: Apple

O sistema oferece dois modos. A Visualização de Rota dá uma ideia do que uma pessoa encontrará no caminho: informa sobre obstáculos na calçada, a presença de cruzamentos e diversos pontos de referência visuais. No modo Exploração Virtual, o usuário diz o que está procurando (por exemplo, “uma área residencial tranquila com parques”) e a IA, com base na solicitação, o leva passo a passo até o local desejado.

O SceneScout é guiado pelo Apple Maps e simula o campo de visão de um pedestre. O sistema interpreta o que “vê” e prepara um texto estruturado, dividido em descrições curtas, médias ou longas.

Por exemplo, o sistema pode informar: “Há carros estacionados em frente ao prédio. Placas de rua indicam que esta é a Rua Figueroa. Você encontrará um Bank of America à direita.” Ou: “Há calçadas largas com árvores e algumas lojas. Você também pode ver viadutos conectando os prédios acima da rua.”

Os primeiros testes, que envolveram 10 pessoas com deficiência visual, mostraram resultados promissores. Os participantes avaliaram muito bem a utilidade do serviço e destacaram especialmente o modo Exploração Virtual.

No entanto, não estava isento de falhas. Algumas das dicas continham imprecisões, como placas de trânsito com rótulos incorretos ou informações desatualizadas sobre obras e veículos estacionados.

Ainda é cedo para falar sobre a implementação do SceneScout. O objetivo principal do projeto é explorar a interação entre a API do Apple Maps e um modelo multimodal de linguagem de grande porte.