Aplicativo gratuito criado por engenheiro de software cego que atuou no Google e na Samsung tem um assistente que enxerga: conversa por voz sem interrupções, descreve ambientes, informa onde a pessoa está, busca informações na internet, lê e toca partituras musicais, grava vídeos com áudio e ajuda cegos a tirarem fotos bem enquadradas. Disponível para iPhone e Android.

O Visionauta, aplicativo de acessibilidade que usa inteligência artificial para dar mais autonomia a pessoas cegas e com baixa visão, anuncia sua nova versão — e agora fala dezesseis idiomas: português, inglês, espanhol, francês, coreano, alemão, japonês, italiano, árabe, russo, chinês simplificado, hindi, bengali, vietnamita, turco e indonésio. A tradução vale para todo o aplicativo, para os comandos de voz, para a leitura de textos e também para as respostas da inteligência artificial, que conversa com o usuário no idioma dele. Com os cinco idiomas novos, o aplicativo passa a alcançar mais de um bilhão de falantes no sul e no sudeste da Ásia e na Turquia.

O app é gratuito e está disponível para iPhone, na App Store, e para Android, na Google Play.

CONVERSA EM TEMPO REAL: UM ASSISTENTE QUE ENXERGA E FALA JUNTO

O principal recurso do Visionauta é a Conversa em Tempo Real. Nela, a pessoa fala naturalmente, sem apertar botões e sem esperar a vez, com uma inteligência artificial que vê pela câmera do celular e responde por voz na hora — como ter ao lado um amigo que enxerga e descreve o mundo.

Durante essa conversa, o Visionauta pode:

• Descrever ambientes e cenas — o que há na sala, quem está por perto, como está a mesa, que roupa está sobre a cama, se a luz está acesa.
• Dizer onde a pessoa está e o que existe ao redor — endereço atual, ruas, pontos de referência, farmácias, padarias e o ponto de ônibus mais próximo, usando informações de mapa em tempo real.
• Buscar informações na internet — notícias, horários, preços, dados atualizados, sem sair da conversa.
• Ler e tocar partituras musicais — basta apontar a câmera para uma partitura impressa. O Visionauta identifica as notas, lê a música em voz alta e a reproduz no próprio aparelho, gerando os arquivos MusicXML e MIDI. Um recurso inédito para músicos cegos, que historicamente dependem de terceiros ou de edições em braile raras e caras.
• Ajudar a pessoa com deficiência visual a tirar fotos — o assistente de foto orienta o enquadramento, avisa quando está bom, faz a contagem regressiva e dispara a câmera, para que fotos de família, de documentos ou de redes sociais saiam bem feitas.
• Gravar vídeos com áudio — a pessoa pede por voz, o assistente orienta o enquadramento e grava; a gravação pode ser pausada, retomada, concluída ou cancelada com controles acessíveis, e os vídeos ficam salvos em Atividades, prontos para assistir e compartilhar.
• Chamar um carro por voz — basta dizer o destino e o app abre o Uber, 99, Bolt ou Lyft com a corrida já preenchida, restando apenas confirmar.
• Responder qualquer pergunta sobre o que está diante da câmera — que produto é este, qual a data de validade, qual a cor desta roupa, o que diz esta placa.

VISIONAUTA MAGIC: A IA QUE DESCREVE IMAGENS E EXECUTA TAREFAS NO CELULAR

Exclusivo do Android e disponível para assinantes do Visionauta Plus, o Visionauta Magic trabalha em conjunto com o leitor de tela do aparelho, como o TalkBack, e resolve dois problemas antigos da comunidade:

Primeiro, ele descreve as imagens sem rótulo que aparecem em qualquer aplicativo. Quando o foco do leitor de tela para sobre uma imagem, um ícone ou um cartão sem descrição, o Visionauta analisa apenas aquele elemento e anuncia em voz alta o que há nele.

Segundo, ele executa tarefas no celular. A pessoa pede algo como "abra o WhatsApp e mande uma mensagem para a Ana", e o Visionauta monta um plano, lê o plano em voz alta e só age depois da aprovação do usuário — narrando cada passo e podendo ser interrompido a qualquer momento por um botão de emergência ou por um toque duplo com dois dedos. Nada acontece sem confirmação.

OS RECURSOS DO DIA A DIA

Além da conversa, o Visionauta mantém o conjunto de ferramentas que o tornou popular na comunidade de pessoas com deficiência visual, boa parte delas funcionando sem internet:

• Leitura de textos offline — aponte a câmera para documentos, embalagens, cartas ou placas e ouça o conteúdo em voz alta.
• Reconhecimento de cédulas de dinheiro — Real, Dólar, Euro, Peso Mexicano, Iene, Dólar Canadense e Australiano, sem conexão.
• Localizador de objetos — diga "me ajude a encontrar meu celular" e o app varre o ambiente, avisando com vibração e voz ao encontrar.
• Lupa eletrônica para baixa visão — com zoom e modos de alto contraste, cores invertidas, branco no preto, preto no branco e amarelo no azul.
• Lanterna com lembrete por vibração.
• Vozes naturais próprias — que podem ser usadas por todo o sistema, como voz do TalkBack no Android e do VoiceOver no iPhone, funcionando offline depois de baixadas.

A versão para iPhone é totalmente integrada ao VoiceOver e aos recursos de acessibilidade do iOS.

DECLARAÇÕES

"A Conversa em Tempo Real mudou o que o Visionauta é. Não é mais um aplicativo em que você tira uma foto e espera uma resposta: é uma conversa contínua com alguém que enxerga por você e está sempre ali, seja para descrever a rua, achar a farmácia mais próxima, gravar um vídeo ou ler a partitura que você vai tocar."
— Jonathan Santos

"Levar o aplicativo ao hindi, ao bengali, ao vietnamita, ao turco e ao indonésio foi uma decisão de justiça, não de mercado. A tecnologia assistiva sempre chegou primeiro em inglês, e quem não fala inglês esperava anos. São mais de um bilhão de pessoas que agora podem conversar com o Visionauta na própria língua."
— Jonathan Santos

"Agradeço aos professores Ismar Frango e Nizam Omar, da Universidade Presbiteriana Mackenzie, que me incentivaram a transformar um projeto acadêmico em uma ferramenta real para a comunidade."
— Jonathan Santos

The free app built by a blind software engineer who worked at Google and Samsung has an assistant that sees: it talks by voice without interruptions, describes surroundings, tells the user where they are, searches the internet, reads and plays sheet music, records videos with sound and helps blind people take well-framed photos. Available for iPhone and Android.

Visionauta, the accessibility app that uses artificial intelligence to give more autonomy to blind and low-vision people, announces its new version — and now speaks sixteen languages: Portuguese, English, Spanish, French, Korean, German, Japanese, Italian, Arabic, Russian, Simplified Chinese, Hindi, Bengali, Vietnamese, Turkish and Indonesian. The translation covers the entire app, the voice commands, text reading and also the answers from the artificial intelligence, which talks to users in their own language. With the five new languages, the app now reaches more than a billion speakers across South and Southeast Asia and Turkey.

Every feature of the app can be used without paying, within daily quotas. The optional Visionauta Plus subscription raises those quotas. The app is available for iPhone on the App Store and for Android on Google Play.

REAL-TIME CONVERSATION: AN ASSISTANT THAT SEES AND SPEAKS ALONG

Visionauta's core feature is Real-Time Conversation. In it, the person speaks naturally, without pressing buttons and without waiting for a turn, with an artificial intelligence that sees through the phone's camera and answers out loud right away — like having a sighted friend beside you describing the world.

During that conversation, Visionauta can:

• Describe surroundings and scenes — what is in the room, who is nearby, how the table is set, what clothes are on the bed, whether the light is on.
• Say where the person is and what is around them — current address, streets, landmarks, pharmacies, bakeries and the nearest bus stop, using real-time map data.
• Search the internet — news, opening hours, prices, up-to-date information, without leaving the conversation.
• Read and play sheet music — just point the camera at a printed score. Visionauta identifies the notes, reads the piece out loud and plays it on the device itself, generating MusicXML and MIDI files. A first-of-its-kind feature for blind musicians, who have historically depended on other people or on rare and expensive braille editions.
• Help people with visual impairment take photos — the photo assistant guides the framing, says when it looks good, counts down and releases the shutter, so that family pictures, documents or social media photos come out right.
• Record videos with sound — the person asks by voice, the assistant guides the framing and records; the recording can be paused, resumed, finished or cancelled with accessible controls, and the videos are saved in Activities, ready to watch and share.
• Hail a ride by voice — just say the destination and the app opens Uber, 99, Bolt or Lyft with the trip already filled in, leaving only the confirmation.
• Answer any question about what is in front of the camera — what product is this, what is the expiry date, what color is this garment, what does this sign say.

VISIONAUTA MAGIC: THE AI THAT DESCRIBES IMAGES AND CARRIES OUT TASKS ON THE PHONE

Exclusive to Android and available to Visionauta Plus subscribers, Visionauta Magic works together with the device's screen reader, such as TalkBack, and solves two long-standing problems in the community:

First, it describes unlabeled images that appear in any app. When the screen reader's focus lands on an image, an icon or a card with no description, Visionauta analyzes just that element and announces out loud what is in it.

Second, it carries out tasks on the phone. The person asks for something like "open WhatsApp and send a message to Ana", and Visionauta builds a plan, reads the plan out loud and only acts after the user approves it — narrating every step and able to be interrupted at any moment by an emergency button or by a two-finger double tap. Nothing happens without confirmation.

THE EVERYDAY FEATURES

Beyond the conversation, Visionauta keeps the set of tools that made it popular in the blind and low-vision community, most of them working without an internet connection:

• Offline text reading — point the camera at documents, packaging, letters or signs and hear the content read out loud.
• Banknote recognition — Real, Dollar, Euro, Mexican Peso, Yen, Canadian and Australian Dollar, with no connection required.
• Object finder — say "help me find my phone" and the app scans the surroundings, alerting with vibration and voice when it finds it.
• Electronic magnifier for low vision — with zoom and high-contrast modes, inverted colors, white on black, black on white and yellow on blue.
• Flashlight with vibration reminder.
• Built-in natural voices — which can be used across the whole system, as a TalkBack voice on Android and a VoiceOver voice on iPhone, working offline once downloaded.

The iPhone version is fully integrated with VoiceOver and the accessibility features of iOS.

QUOTES

"Real-Time Conversation changed what Visionauta is. It is no longer an app where you take a picture and wait for an answer: it is a continuous conversation with someone who sees for you and is always there, whether to describe the street, find the nearest pharmacy, record a video or read the score you are about to play."
— Jonathan Santos

"Bringing the app to Hindi, Bengali, Vietnamese, Turkish and Indonesian was a matter of justice, not a market decision. Assistive technology has always arrived in English first, and those who do not speak English waited years. More than a billion people can now talk to Visionauta in their own language."
— Jonathan Santos

"I am grateful to professors Ismar Frango and Nizam Omar, of Universidade Presbiteriana Mackenzie, who encouraged me to turn an academic project into a real tool for the community."
— Jonathan Santos

La aplicación gratuita creada por un ingeniero de software ciego que trabajó en Google y Samsung cuenta con un asistente que ve: habla por voz sin interrupciones, describe entornos, le dice a la persona dónde se encuentra, busca información en internet, lee y reproduce partituras impresas, graba vídeos con sonido y ayuda a las personas ciegas a encuadrar bien sus fotos. Disponible para iPhone y Android.

Visionauta, la aplicación de accesibilidad que emplea inteligencia artificial para dar más autonomía a las personas ciegas y con baja visión, anuncia su nueva versión, y ya habla dieciséis idiomas: portugués, inglés, español, francés, coreano, alemán, japonés, italiano, árabe, ruso, chino simplificado, hindi, bengalí, vietnamita, turco e indonesio. La traducción abarca toda la aplicación, los comandos de voz, la lectura de textos y también las respuestas de la inteligencia artificial, que conversa con cada persona en su propio idioma. Con los cinco idiomas nuevos, la aplicación pasa a alcanzar a más de mil millones de hablantes en el sur y el sudeste de Asia y en Turquía.

Todas las funciones de la aplicación pueden usarse sin pagar, dentro de cupos diarios. La suscripción opcional Visionauta Plus amplía esos cupos. La aplicación está disponible para iPhone en la App Store y para Android en Google Play.

CONVERSACIÓN EN TIEMPO REAL: UN ASISTENTE QUE VE Y RESPONDE

La función central de Visionauta es la Conversación en Tiempo Real. La persona habla con naturalidad —sin pulsar ningún botón, sin esperar una señal sonora— con una inteligencia artificial que ve a través de la cámara del teléfono y responde de inmediato por voz. Como un amigo vidente que está a tu lado y describe el mundo.

Durante esa conversación, Visionauta puede:

• Describir entornos y escenas: qué hay en la habitación, quién está cerca, cómo está puesta la mesa, qué ropa hay sobre la cama, si la luz está encendida.
• Decir dónde se encuentra la persona y qué hay alrededor: dirección actual, calles, puntos de referencia, farmacias, panaderías y la parada de autobús más cercana, a partir de datos cartográficos en tiempo real.
• Buscar información en internet: noticias, horarios de apertura, precios, datos actualizados, sin salir de la conversación.
• Leer y reproducir partituras: basta con apuntar la cámara a las notas impresas. Visionauta reconoce las notas, lee la pieza en voz alta y la reproduce directamente en el dispositivo, generando además archivos MusicXML y MIDI. Una función inédita para las músicas y los músicos ciegos, que hasta ahora dependían de la ayuda de terceros o de ediciones en braille escasas y caras.
• Ayudar a las personas ciegas a fotografiar: el asistente de fotos guía el encuadre, avisa cuando la imagen está alineada, hace la cuenta atrás y dispara la cámara, para que salgan bien las fotos familiares, los documentos o las imágenes para redes sociales.
• Grabar vídeos con sonido: la persona lo pide por voz, el asistente guía el encuadre y graba; la grabación se puede pausar, reanudar, finalizar o cancelar con controles accesibles, y los vídeos quedan guardados en Actividades, listos para verlos y compartirlos.
• Pedir un coche por voz: basta con indicar el destino y la aplicación abre Uber, 99, Bolt o Lyft con el viaje ya cargado; solo queda confirmar.
• Responder cualquier pregunta sobre lo que hay frente a la cámara: qué producto es este, hasta cuándo se conserva, de qué color es esta prenda, qué dice este cartel.

VISIONAUTA MAGIC: LA IA QUE DESCRIBE IMÁGENES Y REALIZA TAREAS EN EL TELÉFONO

Visionauta Magic está disponible en exclusiva para Android y para las personas suscritas a Visionauta Plus. Funciona junto con el lector de pantalla del dispositivo, como TalkBack, y resuelve dos viejos problemas de la comunidad:

En primer lugar, describe las imágenes sin etiquetar que aparecen en cualquier aplicación. En cuanto el foco del lector de pantalla se detiene en una imagen, un icono o una tarjeta sin descripción, Visionauta analiza justamente ese elemento y anuncia en voz alta lo que muestra.

En segundo lugar, realiza tareas en el teléfono. La persona dice, por ejemplo, «Abre WhatsApp y envíale un mensaje a Ana», y Visionauta elabora un plan, lo lee en voz alta y solo actúa tras la aprobación de la persona usuaria, comentando cada paso y pudiendo interrumpirse en cualquier momento mediante un botón de parada de emergencia o un doble toque con dos dedos. Sin confirmación no ocurre nada.

LAS FUNCIONES DEL DÍA A DÍA

Además de la conversación, Visionauta mantiene las herramientas que lo hicieron popular en la comunidad de personas ciegas y con baja visión, y muchas de ellas funcionan sin internet:

• Reconocimiento de texto sin conexión: apuntar la cámara a documentos, envases, cartas o carteles y escuchar su contenido.
• Reconocimiento de billetes: real brasileño, dólar estadounidense, euro, peso mexicano, yen, dólar canadiense y australiano, sin conexión.
• Buscador de objetos: decir «Ayúdame a encontrar mi teléfono» y la aplicación rastrea el entorno y avisa del hallazgo mediante vibración y voz.
• Lupa electrónica para baja visión: con zoom y modos de alto contraste, colores invertidos, blanco sobre negro, negro sobre blanco y amarillo sobre azul.
• Linterna con recordatorio por vibración.
• Voces naturales propias: utilizables en todo el sistema, como voz de TalkBack en Android y de VoiceOver en el iPhone, y sin conexión una vez descargadas.

La versión para iPhone está totalmente integrada con VoiceOver y las funciones de accesibilidad de iOS.

CITAS

«La Conversación en Tiempo Real cambió lo que es Visionauta. Ya no es una aplicación en la que haces una foto y esperas una respuesta: es una conversación continua con alguien que ve por ti y siempre está ahí, ya sea para describir la calle, encontrar la farmacia más cercana, grabar un vídeo o leerte la partitura que estás a punto de tocar.»
— Jonathan Santos

«Llevar la aplicación al hindi, al bengalí, al vietnamita, al turco y al indonesio fue una cuestión de justicia, no una decisión de mercado. La tecnología de apoyo siempre llegó primero en inglés, y quien no habla inglés esperaba años. Son más de mil millones de personas que ahora pueden conversar con Visionauta en su propia lengua.»
— Jonathan Santos

«Agradezco a los profesores Ismar Frango y Nizam Omar, de la Universidade Presbiteriana Mackenzie, que me animaron a convertir un proyecto académico en una herramienta real para la comunidad.»
— Jonathan Santos

L'application gratuite d'un ingénieur logiciel aveugle ayant travaillé chez Google et Samsung dispose d'un assistant qui voit : il parle sans interruption par la voix, décrit les environnements, indique à la personne où elle se trouve, cherche des informations sur Internet, lit et joue des partitions imprimées, enregistre des vidéos avec le son et aide les personnes aveugles à cadrer correctement leurs photos. Disponible pour iPhone et Android.

Visionauta, l'application d'accessibilité qui met l'intelligence artificielle au service de l'autonomie des personnes aveugles et malvoyantes, annonce sa nouvelle version — et parle désormais seize langues : portugais, anglais, espagnol, français, coréen, allemand, japonais, italien, arabe, russe, chinois simplifié, hindi, bengali, vietnamien, turc et indonésien. La traduction couvre l'ensemble de l'application, les commandes vocales, la lecture de textes ainsi que les réponses de l'intelligence artificielle, qui dialogue avec l'utilisatrice ou l'utilisateur dans sa propre langue. Avec ces cinq nouvelles langues, l'application touche désormais plus d'un milliard de locuteurs en Asie du Sud, en Asie du Sud-Est et en Turquie.

Toutes les fonctionnalités de l'application sont utilisables sans paiement, dans la limite de quotas quotidiens. L'abonnement facultatif Visionauta Plus élargit ces quotas. L'application est disponible sur l'App Store pour iPhone et sur Google Play pour Android.

CONVERSATION EN TEMPS RÉEL : UN ASSISTANT QUI VOIT ET QUI PARLE

La fonctionnalité centrale de Visionauta est la Conversation en Temps Réel. La personne parle tout naturellement — sans appuyer sur un bouton, sans attendre de signal sonore — avec une intelligence artificielle qui voit à travers la caméra du téléphone et répond immédiatement par la voix. Comme un ami voyant qui se tiendrait à côté de vous et décrirait le monde.

Au cours de cette conversation, Visionauta peut :

• Décrire des environnements et des scènes — ce qui se trouve dans la pièce, qui est à proximité, comment la table est dressée, quels vêtements sont posés sur le lit, si la lumière est allumée.
• Indiquer où se trouve la personne et ce qu'il y a autour — adresse actuelle, rues, points de repère, pharmacies, boulangeries et l'arrêt de bus le plus proche, à partir de données cartographiques en temps réel.
• Chercher des informations sur Internet — actualités, horaires d'ouverture, prix, données à jour, sans quitter la conversation.
• Lire et jouer des partitions — il suffit de pointer la caméra sur des notes imprimées. Visionauta reconnaît les notes, lit le morceau à voix haute et le joue directement sur l'appareil ; des fichiers MusicXML et MIDI sont générés au passage. Une fonctionnalité inédite pour les musiciennes et musiciens aveugles, jusqu'ici tributaires de l'aide d'autrui ou d'éditions en braille rares et coûteuses.
• Aider les personnes aveugles à photographier — l'assistant photo guide le cadrage, signale lorsque l'image est bien alignée, décompte et déclenche l'appareil, afin de réussir photos de famille, documents ou images destinées aux réseaux sociaux.
• Enregistrer des vidéos avec le son — la personne le demande à la voix, l'assistant guide le cadrage et enregistre ; l'enregistrement peut être mis en pause, repris, terminé ou annulé grâce à des commandes accessibles, et les vidéos sont conservées dans Activités, prêtes à être visionnées et partagées.
• Commander une voiture à la voix — il suffit d'indiquer la destination, et l'application ouvre Uber, 99, Bolt ou Lyft avec le trajet déjà renseigné ; il ne reste plus qu'à confirmer.
• Répondre à toute question sur ce qui se trouve devant la caméra — quel est ce produit, jusqu'à quelle date se conserve-t-il, de quelle couleur est ce vêtement, qu'indique ce panneau.

VISIONAUTA MAGIC : L'IA QUI DÉCRIT LES IMAGES ET EXÉCUTE DES TÂCHES SUR LE TÉLÉPHONE

Visionauta Magic est disponible exclusivement sur Android et pour les abonnées et abonnés de Visionauta Plus. Il fonctionne de concert avec le lecteur d'écran de l'appareil, TalkBack par exemple, et résout deux problèmes anciens de la communauté :

Premièrement, il décrit les images non étiquetées qui apparaissent dans n'importe quelle application. Dès que le focus du lecteur d'écran s'arrête sur une image, une icône ou une carte dépourvue de description, Visionauta analyse précisément cet élément et annonce à voix haute ce qui s'y trouve.

Deuxièmement, il exécute des tâches sur le téléphone. La personne dit par exemple « Ouvre WhatsApp et envoie un message à Ana », et Visionauta établit un plan, le lit à voix haute et n'agit qu'après l'accord de l'utilisatrice ou de l'utilisateur — en commentant chaque étape, avec la possibilité d'interrompre à tout moment par un bouton d'arrêt d'urgence ou par un double tapotement à deux doigts. Rien ne se produit sans confirmation.

LES FONCTIONNALITÉS DU QUOTIDIEN

Au-delà de la conversation, Visionauta conserve les outils qui l'ont rendu populaire au sein de la communauté des personnes aveugles et malvoyantes — dont beaucoup fonctionnent sans Internet :

• Reconnaissance de texte hors ligne — pointer la caméra sur des documents, des emballages, des courriers ou des panneaux et s'en faire lire le contenu.
• Reconnaissance des billets de banque — réal brésilien, dollar américain, euro, peso mexicain, yen, dollars canadien et australien, sans connexion.
• Localisateur d'objets — dire « Aide-moi à trouver mon téléphone », et l'application explore l'environnement et signale la trouvaille par vibration et par la voix.
• Loupe électronique pour personnes malvoyantes — avec zoom et modes contraste élevé, couleurs inversées, blanc sur noir, noir sur blanc et jaune sur bleu.
• Lampe torche avec rappel par vibration.
• Voix naturelles propres — utilisables dans tout le système, comme voix de TalkBack sous Android et de VoiceOver sur iPhone, et hors ligne une fois téléchargées.

La version iPhone est entièrement intégrée à VoiceOver et aux fonctions d'accessibilité d'iOS.

CITATIONS

« La Conversation en Temps Réel a changé ce qu'est Visionauta. Ce n'est plus une application où l'on prend une photo et où l'on attend une réponse : c'est une conversation continue avec quelqu'un qui voit pour vous et qui est toujours là — qu'il s'agisse de décrire la rue, de trouver la pharmacie la plus proche, d'enregistrer une vidéo ou de lire la partition que vous vous apprêtez à jouer. »
— Jonathan Santos

« Porter l'application au hindi, au bengali, au vietnamien, au turc et à l'indonésien était une question de justice, pas une décision de marché. La technologie d'assistance est toujours arrivée d'abord en anglais, et celles et ceux qui ne parlent pas anglais attendaient des années. Plus d'un milliard de personnes peuvent désormais converser avec Visionauta dans leur propre langue. »
— Jonathan Santos

« Je remercie les professeurs Ismar Frango et Nizam Omar de l'Universidade Presbiteriana Mackenzie, qui m'ont encouragé à transformer un projet académique en un véritable outil pour la communauté. »
— Jonathan Santos

Die kostenlose App eines blinden Softwareentwicklers, der bei Google und Samsung gearbeitet hat, verfügt über einen Assistenten, der sieht: Er spricht ununterbrochen per Sprache, beschreibt Umgebungen, sagt der Person, wo sie sich befindet, sucht Informationen im Internet, liest und spielt Notenblätter vor, nimmt Videos mit Ton auf und hilft blinden Menschen, gut ausgerichtete Fotos aufzunehmen. Verfügbar für iPhone und Android.

Visionauta, die Barrierefreiheits-App, die künstliche Intelligenz einsetzt, um blinden und sehbehinderten Menschen mehr Selbstständigkeit zu geben, kündigt ihre neue Version an – und spricht nun sechzehn Sprachen: Portugiesisch, Englisch, Spanisch, Französisch, Koreanisch, Deutsch, Japanisch, Italienisch, Arabisch, Russisch, vereinfachtes Chinesisch, Hindi, Bengalisch, Vietnamesisch, Türkisch und Indonesisch. Die Übersetzung gilt für die gesamte App, für die Sprachbefehle, für die Texterkennung und ebenso für die Antworten der künstlichen Intelligenz, die sich mit der Nutzerin oder dem Nutzer in deren Sprache unterhält. Mit den fünf neuen Sprachen erreicht die App nun mehr als eine Milliarde Sprecherinnen und Sprecher in Süd- und Südostasien sowie in der Türkei.

Die App ist kostenlos und für das iPhone im App Store sowie für Android bei Google Play erhältlich.

ECHTZEIT-GESPRÄCH: EIN ASSISTENT, DER SIEHT UND MITSPRICHT

Die zentrale Funktion von Visionauta ist das Echtzeit-Gespräch. Dabei spricht die Person ganz natürlich – ohne Tastendruck, ohne auf einen Signalton zu warten – mit einer künstlichen Intelligenz, die durch die Handykamera sieht und sofort per Sprache antwortet. Wie ein sehender Freund, der neben einem steht und die Welt beschreibt.

Während dieses Gesprächs kann Visionauta:

• Umgebungen und Szenen beschreiben – was im Raum steht, wer in der Nähe ist, wie der Tisch gedeckt ist, welche Kleidung auf dem Bett liegt, ob das Licht brennt.
• Sagen, wo sich die Person befindet und was es in der Umgebung gibt – aktuelle Adresse, Straßen, Orientierungspunkte, Apotheken, Bäckereien und die nächste Bushaltestelle, anhand von Kartendaten in Echtzeit.
• Informationen im Internet suchen – Nachrichten, Öffnungszeiten, Preise, aktuelle Angaben, ohne das Gespräch zu verlassen.
• Notenblätter lesen und abspielen – einfach die Kamera auf gedruckte Noten richten. Visionauta erkennt die Noten, liest das Stück laut vor und spielt es direkt auf dem Gerät ab; dabei entstehen MusicXML- und MIDI-Dateien. Eine neuartige Funktion für blinde Musikerinnen und Musiker, die bislang auf fremde Hilfe oder auf seltene und teure Braille-Ausgaben angewiesen waren.
• Blinden Menschen beim Fotografieren helfen – der Foto-Assistent leitet die Bildausrichtung an, meldet, wenn der Ausschnitt stimmt, zählt herunter und löst die Kamera aus, damit Familienfotos, Dokumente oder Bilder für soziale Netzwerke gelingen.
• Videos mit Ton aufnehmen – die Person bittet per Sprache darum, der Assistent leitet die Bildausrichtung an und nimmt auf; die Aufnahme lässt sich über barrierefreie Bedienelemente anhalten, fortsetzen, abschließen oder abbrechen, und die Videos werden unter Aktivitäten gespeichert, bereit zum Ansehen und Teilen.
• Per Sprache ein Auto rufen – man nennt einfach das Ziel, und die App öffnet Uber, 99, Bolt oder Lyft mit bereits eingetragener Fahrt; es bleibt nur noch die Bestätigung.
• Jede Frage zu dem beantworten, was vor der Kamera liegt – welches Produkt ist das, wie lange ist es haltbar, welche Farbe hat dieses Kleidungsstück, was steht auf diesem Schild.

VISIONAUTA MAGIC: DIE KI, DIE BILDER BESCHREIBT UND AUFGABEN AUF DEM HANDY ERLEDIGT

Visionauta Magic ist exklusiv für Android und für Abonnentinnen und Abonnenten von Visionauta Plus verfügbar. Es arbeitet mit dem Screenreader des Geräts zusammen, etwa mit TalkBack, und löst zwei alte Probleme der Community:

Erstens beschreibt es unbeschriftete Bilder, die in beliebigen Apps auftauchen. Sobald der Fokus des Screenreaders auf einem Bild, einem Symbol oder einer Karte ohne Beschreibung stehen bleibt, analysiert Visionauta genau dieses Element und sagt laut an, was darauf zu sehen ist.

Zweitens erledigt es Aufgaben auf dem Handy. Die Person sagt etwa „Öffne WhatsApp und schicke Ana eine Nachricht“, und Visionauta erstellt einen Plan, liest ihn laut vor und handelt erst nach der Zustimmung der Nutzerin oder des Nutzers – dabei kommentiert es jeden Schritt und lässt sich jederzeit über eine Not-Aus-Taste oder durch ein Doppeltippen mit zwei Fingern unterbrechen. Ohne Bestätigung geschieht nichts.

DIE FUNKTIONEN FÜR DEN ALLTAG

Neben dem Gespräch behält Visionauta jene Werkzeuge, die es in der Community blinder und sehbehinderter Menschen beliebt gemacht haben – viele davon funktionieren ohne Internet:

• Texterkennung offline – die Kamera auf Dokumente, Verpackungen, Briefe oder Schilder richten und den Inhalt vorgelesen bekommen.
• Geldscheinerkennung – brasilianischer Real, US-Dollar, Euro, mexikanischer Peso, Yen, kanadischer und australischer Dollar, ohne Verbindung.
• Objektsuche – „Hilf mir, mein Handy zu finden“ sagen, und die App durchsucht die Umgebung und meldet den Fund per Vibration und Sprache.
• Elektronische Lupe für Sehbehinderte – mit Zoom und Modi für hohen Kontrast, invertierte Farben, Weiß auf Schwarz, Schwarz auf Weiß und Gelb auf Blau.
• Taschenlampe mit Vibrationserinnerung.
• Eigene natürliche Stimmen – systemweit nutzbar, als Stimme für TalkBack unter Android und für VoiceOver auf dem iPhone, nach dem Herunterladen auch offline.

Die iPhone-Version ist vollständig in VoiceOver und die Bedienungshilfen von iOS integriert.

ZITATE

„Das Echtzeit-Gespräch hat verändert, was Visionauta ist. Es ist keine App mehr, in der man ein Foto macht und auf eine Antwort wartet: Es ist ein fortlaufendes Gespräch mit jemandem, der für dich sieht und immer da ist – ob um die Straße zu beschreiben, die nächste Apotheke zu finden, ein Video aufzunehmen oder die Noten vorzulesen, die du gleich spielst.“
— Jonathan Santos

„Die App ins Hindi, Bengalische, Vietnamesische, Türkische und Indonesische zu bringen, war eine Frage der Gerechtigkeit, keine Marktentscheidung. Assistive Technologie kam immer zuerst auf Englisch, und wer kein Englisch spricht, wartete jahrelang. Mehr als eine Milliarde Menschen können sich nun in ihrer eigenen Sprache mit Visionauta unterhalten.“
— Jonathan Santos

„Ich danke den Professoren Ismar Frango und Nizam Omar von der Universidade Presbiteriana Mackenzie, die mich ermutigt haben, aus einem akademischen Projekt ein echtes Werkzeug für die Community zu machen.“
— Jonathan Santos

L'app gratuita creata da un ingegnere del software cieco che ha lavorato in Google e Samsung ha un assistente che vede: parla a voce senza interruzioni, descrive gli ambienti, dice alla persona dove si trova, cerca informazioni su internet, legge ed esegue spartiti musicali, registra video con l'audio e aiuta le persone cieche a scattare fotografie ben inquadrate. Disponibile per iPhone e Android.

Visionauta, l'app di accessibilità che usa l'intelligenza artificiale per dare più autonomia alle persone cieche e ipovedenti, annuncia la sua nuova versione — e ora parla sedici lingue: portoghese, inglese, spagnolo, francese, coreano, tedesco, giapponese, italiano, arabo, russo, cinese semplificato, hindi, bengalese, vietnamita, turco e indonesiano. La traduzione riguarda l'intera app, i comandi vocali, la lettura dei testi e anche le risposte dell'intelligenza artificiale, che dialoga con l'utente nella sua lingua. Con le cinque nuove lingue, l'app raggiunge ora più di un miliardo di parlanti nell'Asia meridionale e sud-orientale e in Turchia.

L'app è gratuita ed è disponibile per iPhone sull'App Store e per Android su Google Play.

CONVERSAZIONE IN TEMPO REALE: UN ASSISTENTE CHE VEDE E PARLA INSIEME A TE

La funzione principale di Visionauta è la Conversazione in Tempo Reale. La persona parla in modo naturale, senza premere pulsanti e senza attendere il proprio turno, con un'intelligenza artificiale che vede attraverso la fotocamera del telefono e risponde subito a voce: come avere accanto un amico che vede e descrive il mondo.

Durante la conversazione, Visionauta può:

• Descrivere ambienti e scene — che cosa c'è nella stanza, chi si trova nei paraggi, com'è apparecchiata la tavola, quale vestito è appoggiato sul letto, se la luce è accesa.
• Dire dove si trova la persona e che cosa c'è intorno — indirizzo attuale, strade, punti di riferimento, farmacie, panetterie e la fermata dell'autobus più vicina, usando informazioni cartografiche in tempo reale.
• Cercare informazioni su internet — notizie, orari, prezzi, dati aggiornati, senza uscire dalla conversazione.
• Leggere ed eseguire spartiti musicali — basta puntare la fotocamera su uno spartito stampato. Visionauta riconosce le note, legge il brano ad alta voce e lo riproduce sul dispositivo stesso, generando i file MusicXML e MIDI. Una funzione inedita per i musicisti ciechi, che storicamente dipendono da terzi o da edizioni in braille rare e costose.
• Aiutare la persona cieca a scattare fotografie — l'assistente fotografico guida l'inquadratura, avvisa quando è corretta, esegue il conto alla rovescia e scatta, perché le foto di famiglia, dei documenti o per i social riescano bene.
• Registrare video con l'audio — la persona lo chiede a voce, l'assistente guida l'inquadratura e registra; la registrazione può essere messa in pausa, ripresa, conclusa o annullata con controlli accessibili, e i video restano salvati in Attività, pronti da guardare e condividere.
• Chiamare un'auto a voce — basta dire la destinazione e l'app apre Uber, 99, Bolt o Lyft con la corsa già compilata: resta solo da confermare.
• Rispondere a qualsiasi domanda su ciò che si trova davanti alla fotocamera — che prodotto è questo, qual è la data di scadenza, di che colore è questo capo, che cosa dice questo cartello.

VISIONAUTA MAGIC: L'IA CHE DESCRIVE LE IMMAGINI ED ESEGUE ATTIVITÀ SUL TELEFONO

Esclusivo per Android e disponibile per gli abbonati a Visionauta Plus, Visionauta Magic lavora insieme allo screen reader del dispositivo, come TalkBack, e risolve due problemi storici della comunità:

Primo, descrive le immagini prive di etichetta che compaiono in qualsiasi applicazione. Quando il fuoco dello screen reader si ferma su un'immagine, un'icona o una scheda senza descrizione, Visionauta analizza solo quell'elemento e annuncia ad alta voce che cosa contiene.

Secondo, esegue attività sul telefono. La persona chiede per esempio "apri WhatsApp e manda un messaggio ad Ana", e Visionauta prepara un piano, lo legge ad alta voce e agisce solo dopo l'approvazione dell'utente — narrando ogni passaggio e potendo essere interrotto in qualsiasi momento con un pulsante di emergenza o con un doppio tocco a due dita. Nulla accade senza conferma.

LE FUNZIONI DI TUTTI I GIORNI

Oltre alla conversazione, Visionauta mantiene l'insieme di strumenti che l'ha reso popolare nella comunità delle persone con disabilità visiva, molti dei quali funzionano senza internet:

• Lettura di testi offline — punta la fotocamera su documenti, confezioni, lettere o cartelli e ascolta il contenuto ad alta voce.
• Riconoscimento delle banconote — real brasiliano, dollaro, euro, peso messicano, yen, dollaro canadese e australiano, senza connessione.
• Ricerca di oggetti — di' "aiutami a trovare il mio telefono" e l'app perlustra l'ambiente, avvisando con vibrazione e voce quando lo trova.
• Lente d'ingrandimento elettronica per ipovedenti — con zoom e modalità ad alto contrasto, colori invertiti, bianco su nero, nero su bianco e giallo su blu.
• Torcia con promemoria a vibrazione.
• Voci naturali proprie — utilizzabili in tutto il sistema, come voce di TalkBack su Android e di VoiceOver su iPhone, funzionanti offline dopo il download.

La versione per iPhone è completamente integrata con VoiceOver e con le funzioni di accessibilità di iOS.

DICHIARAZIONI

"La Conversazione in Tempo Reale ha cambiato che cosa è Visionauta. Non è più un'app in cui scatti una foto e aspetti una risposta: è un dialogo continuo con qualcuno che vede per te ed è sempre lì, sia per descrivere la strada, sia per trovare la farmacia più vicina, sia per registrare un video, sia per leggere lo spartito che stai per suonare."
— Jonathan Santos

"Portare l'app in hindi, bengalese, vietnamita, turco e indonesiano è stata una decisione di giustizia, non di mercato. La tecnologia assistiva è sempre arrivata prima in inglese, e chi non parla inglese aspettava anni. Sono più di un miliardo di persone che ora possono conversare con Visionauta nella propria lingua."
— Jonathan Santos

"Ringrazio i professori Ismar Frango e Nizam Omar, dell'Universidade Presbiteriana Mackenzie, che mi hanno incoraggiato a trasformare un progetto accademico in uno strumento reale per la comunità."
— Jonathan Santos

구글과 삼성에서 근무한 전맹 소프트웨어 엔지니어가 만든 이 무료 앱에는 「보는」 어시스턴트가 있습니다. 끊김 없이 음성으로 대화하고, 주변을 설명하고, 지금 있는 위치를 알려 주고, 인터넷에서 정보를 검색하고, 악보를 읽어 연주하고, 소리가 담긴 동영상을 촬영하며, 시각장애인이 구도가 잘 잡힌 사진을 찍도록 돕습니다. 아이폰과 안드로이드에서 이용할 수 있습니다.

시각장애인과 저시력자의 자율성을 높이기 위해 인공지능을 활용하는 접근성 앱 비지오나우타(Visionauta)가 새 버전을 발표했습니다. 이제 앱은 포르투갈어, 영어, 스페인어, 프랑스어, 한국어, 독일어, 일본어, 이탈리아어, 아랍어, 러시아어, 간체 중국어, 힌디어, 벵골어, 베트남어, 터키어, 인도네시아어 등 16개 언어를 지원합니다. 번역은 앱 전체와 음성 명령, 텍스트 읽기에 적용되며, 인공지능의 답변에도 그대로 적용되어 사용자의 언어로 대화합니다. 새로 추가된 다섯 개 언어로 이 앱은 남아시아와 동남아시아, 그리고 튀르키예의 10억 명이 넘는 사용자에게 다가갑니다.

앱은 무료이며, 아이폰용은 앱스토어에서, 안드로이드용은 구글 플레이에서 제공됩니다.

실시간 대화: 보면서 함께 말해 주는 어시스턴트

비지오나우타의 핵심 기능은 실시간 대화입니다. 버튼을 누르지 않고 차례를 기다리지도 않은 채 자연스럽게 말하면, 휴대폰 카메라로 보는 인공지능이 곧바로 소리 내어 대답합니다. 옆에서 세상을 설명해 주는 눈이 보이는 친구가 함께 있는 것과 같습니다.

이 대화 중에 비지오나우타는 다음과 같은 일을 할 수 있습니다.

• 주변과 장면을 설명합니다 — 방 안에 무엇이 있는지, 누가 가까이 있는지, 식탁이 어떻게 차려져 있는지, 침대 위에 어떤 옷이 놓여 있는지, 불이 켜져 있는지 알려 줍니다.
• 지금 있는 곳과 주변에 무엇이 있는지 말해 줍니다 — 실시간 지도 데이터를 이용해 현재 주소, 거리, 주요 지형지물, 약국, 빵집, 가장 가까운 버스 정류장을 안내합니다.
• 인터넷을 검색합니다 — 대화를 벗어나지 않고 뉴스, 영업시간, 가격, 최신 정보를 확인합니다.
• 악보를 읽고 연주합니다 — 인쇄된 악보에 카메라를 향하기만 하면 됩니다. 비지오나우타가 음표를 인식해 곡을 소리 내어 읽어 주고 기기에서 직접 연주하며, MusicXML과 MIDI 파일을 생성합니다. 그동안 다른 사람의 도움이나 드물고 값비싼 점자 악보에 의존해야 했던 시각장애인 음악가를 위한, 전례 없는 기능입니다.
• 시각장애인이 사진을 찍도록 돕습니다 — 사진 어시스턴트가 구도를 안내하고, 잘 잡혔을 때 알려 주며, 카운트다운 후 셔터를 눌러 가족사진이나 서류, 소셜 미디어용 사진이 제대로 나오게 합니다.
• 소리가 담긴 동영상을 촬영합니다 — 음성으로 요청하면 어시스턴트가 구도를 안내하고 촬영을 시작합니다. 접근성 있는 조작으로 촬영을 일시정지, 재개, 완료, 취소할 수 있으며, 동영상은 「활동」에 저장되어 바로 보고 공유할 수 있습니다.
• 음성으로 차량을 호출합니다 — 목적지를 말하기만 하면 우버, 99, 볼트, 리프트가 경로가 입력된 상태로 열려 확인만 하면 됩니다.
• 카메라 앞에 있는 것에 대한 어떤 질문에도 답합니다 — 이 제품이 무엇인지, 유통기한이 언제인지, 이 옷이 무슨 색인지, 이 표지판에 뭐라고 쓰여 있는지 알려 줍니다.

비지오나우타 매직: 이미지를 설명하고 휴대폰에서 작업을 수행하는 인공지능

안드로이드 전용이며 비지오나우타 플러스 구독자에게 제공되는 비지오나우타 매직은 토크백(TalkBack)과 같은 기기의 스크린 리더와 함께 작동하며, 커뮤니티의 오래된 두 가지 문제를 해결합니다.

첫째, 어떤 앱에서든 나타나는 설명 없는 이미지를 설명합니다. 스크린 리더의 포커스가 설명이 없는 이미지나 아이콘, 카드에 놓이면 비지오나우타가 그 요소만 분석해 무엇이 담겨 있는지 소리 내어 알려 줍니다.

둘째, 휴대폰에서 작업을 수행합니다. 「왓츠앱을 열어 아나에게 메시지를 보내 줘」와 같이 요청하면 비지오나우타가 계획을 세우고, 그 계획을 소리 내어 읽어 준 뒤, 사용자가 승인한 다음에야 실행합니다. 모든 단계를 설명하며, 긴급 버튼이나 두 손가락 두 번 두드리기로 언제든 중단할 수 있습니다. 확인 없이는 아무 일도 일어나지 않습니다.

일상의 기능들

대화 기능 외에도 비지오나우타는 시각장애인과 저시력자 커뮤니티에서 사랑받아 온 도구들을 그대로 유지하고 있으며, 대부분은 인터넷 연결 없이도 작동합니다.

• 오프라인 텍스트 읽기 — 서류, 포장지, 편지, 표지판에 카메라를 향하면 내용을 소리 내어 읽어 줍니다.
• 지폐 인식 — 헤알, 달러, 유로, 멕시코 페소, 엔, 캐나다 달러, 호주 달러를 연결 없이 인식합니다.
• 물건 찾기 — 「내 휴대폰을 찾아 줘」라고 말하면 앱이 주변을 살펴보고 찾았을 때 진동과 음성으로 알려 줍니다.
• 저시력자를 위한 전자 확대경 — 확대 기능과 고대비 모드, 반전 색상, 검은 바탕에 흰 글씨, 흰 바탕에 검은 글씨, 파란 바탕에 노란 글씨를 지원합니다.
• 진동 알림이 있는 손전등.
• 내장 자연 음성 — 시스템 전체에서 사용할 수 있어 안드로이드에서는 토크백 음성으로, 아이폰에서는 보이스오버 음성으로 쓸 수 있으며, 한 번 내려받으면 오프라인에서도 작동합니다.

아이폰 버전은 보이스오버 및 iOS의 접근성 기능과 완전히 통합되어 있습니다.

인용

「실시간 대화는 비지오나우타가 어떤 앱인지를 바꿔 놓았습니다. 이제는 사진을 찍고 답을 기다리는 앱이 아닙니다. 거리를 설명해 주든, 가장 가까운 약국을 찾아 주든, 동영상을 찍어 주든, 지금 연주하려는 악보를 읽어 주든, 나를 대신해 보아 주며 언제나 곁에 있는 누군가와 나누는 끊이지 않는 대화입니다.」
— 조나단 산토스

「앱을 힌디어, 벵골어, 베트남어, 터키어, 인도네시아어로 확장한 것은 시장의 결정이 아니라 정의의 문제였습니다. 보조 기술은 언제나 영어로 먼저 도착했고, 영어를 쓰지 않는 사람들은 몇 년을 기다려야 했습니다. 이제 10억 명이 넘는 사람들이 자신의 언어로 비지오나우타와 대화할 수 있습니다.」
— 조나단 산토스

「학술 프로젝트를 커뮤니티를 위한 실질적인 도구로 발전시키도록 격려해 주신 마켄지 장로교 대학교의 이스마르 프랑고 교수님과 니잠 오마르 교수님께 감사드립니다.」
— 조나단 산토스

グーグルとサムスンに在籍した全盲のソフトウェアエンジニアが開発した無料アプリには、「見える」アシスタントが備わっています。途切れることなく音声で会話し、周囲の様子を説明し、今いる場所を伝え、インターネットで情報を検索し、楽譜を読み上げて演奏し、音声付きの動画を撮影し、視覚障害のある人が構図の整った写真を撮る手助けをします。iPhoneとAndroidで利用できます。

視覚障害者・弱視者の自立を支援するために人工知能を活用するアクセシビリティアプリ「ビジョナウタ（Visionauta）」は、新バージョンを発表しました。対応言語は16となり、ポルトガル語、英語、スペイン語、フランス語、韓国語、ドイツ語、日本語、イタリア語、アラビア語、ロシア語、簡体字中国語、ヒンディー語、ベンガル語、ベトナム語、トルコ語、インドネシア語に対応します。翻訳はアプリ全体、音声コマンド、文字の読み上げに及び、人工知能の応答も同様で、利用者の言語で会話します。新たに加わった5言語により、アプリは南アジア・東南アジアとトルコの10億人を超える話者に届くようになりました。

アプリは無料で、iPhone版はApp Store、Android版はGoogle Playで提供されています。

リアルタイム会話 ― 「見て、一緒に話す」アシスタント

ビジョナウタの中心的な機能が「リアルタイム会話」です。ボタンを押す必要も、順番を待つ必要もありません。スマートフォンのカメラを通して見ている人工知能と自然に話し、その場で音声の返事が返ってきます。目の見える友人がそばにいて、世界を言葉にしてくれるような体験です。

会話の中で、ビジョナウタは次のことができます。

• 周囲の様子や場面を説明する ― 部屋に何があるか、近くに誰がいるか、テーブルの上はどうなっているか、ベッドにどんな服が置かれているか、明かりがついているか。
• 今いる場所と周辺の情報を伝える ― 現在の住所、通り、目印になる建物、薬局、パン屋、最寄りのバス停などを、リアルタイムの地図情報をもとに案内します。
• インターネットで情報を検索する ― ニュース、営業時間、価格、最新の情報を、会話を中断せずに調べます。
• 楽譜を読み上げて演奏する ― 印刷された楽譜にカメラを向けるだけです。ビジョナウタは音符を認識し、曲を声で読み上げ、そのまま端末で再生します。MusicXMLとMIDIのファイルも生成されます。これまで他人の助けや、数が少なく高価な点字楽譜に頼らざるをえなかった全盲の音楽家にとって、画期的な機能です。
• 視覚障害のある人の撮影を助ける ― 写真アシスタントが構図を案内し、良い状態になると知らせ、カウントダウンをしてシャッターを切ります。家族写真、書類の撮影、SNS用の写真がきちんと撮れます。
• 音声付きの動画を撮影する ― 声で頼むと、アシスタントが構図を案内して録画を始めます。録画はアクセシブルな操作で一時停止・再開・完了・取り消しができ、動画は「アクティビティ」に保存され、すぐに視聴や共有ができます。
• 音声で配車を依頼する ― 行き先を言うだけで、Uber、99、Bolt、Lyftが目的地を入力済みの状態で開き、あとは確認するだけです。
• カメラの前にあるものについて、どんな質問にも答える ― これは何の商品か、賞味期限はいつか、この服は何色か、この標識には何と書かれているか。

ビジョナウタ・マジック ― 画像を説明し、スマートフォンの操作を代行するAI

Android専用で、有料プラン「ビジョナウタ・プラス」の加入者が利用できる「ビジョナウタ・マジック」は、TalkBackなど端末のスクリーンリーダーと連携し、当事者コミュニティが長年抱えてきた二つの課題を解決します。

第一に、あらゆるアプリに現れる「代替テキストのない画像」を説明します。スクリーンリーダーのフォーカスが、説明のない画像・アイコン・カードの上で止まると、ビジョナウタはその要素だけを解析し、何が写っているかを読み上げます。

第二に、スマートフォンの操作を代行します。「WhatsAppを開いてアナにメッセージを送って」のように頼むと、ビジョナウタは手順の計画を立て、それを読み上げ、利用者が承認して初めて実行します。実行中は一つひとつの操作を音声で説明し、緊急停止ボタンや2本指のダブルタップでいつでも中断できます。確認なしに実行されることはありません。

日常を支える機能

会話機能に加えて、ビジョナウタは視覚障害者コミュニティで支持されてきた道具立てをそのまま備えています。その多くはインターネットなしで動作します。

• オフラインでの文字読み上げ ― 書類、パッケージ、手紙、標識にカメラを向けると、内容を読み上げます。
• 紙幣の識別 ― ブラジル・レアル、米ドル、ユーロ、メキシコ・ペソ、円、カナダドル、豪ドルに対応し、通信不要です。
• 物体検索 ― 「スマホを探して」と言うと、アプリが周囲を走査し、見つけると振動と音声で知らせます。
• 弱視向けの電子ルーペ ― ズームのほか、ハイコントラスト、色反転、黒地に白、白地に黒、青地に黄のモードを備えます。
• 振動で点灯を知らせるライト。
• 独自の自然な音声 ― Androidのトークバック、iPhoneのボイスオーバーの読み上げ音声として端末全体で利用でき、ダウンロード後はオフラインでも動作します。

iPhone版はVoiceOverおよびiOSのアクセシビリティ機能と完全に統合されています。

開発者のコメント

「リアルタイム会話は、ビジョナウタというアプリの意味を変えました。写真を撮って答えを待つアプリではなく、自分の代わりに見てくれる誰かとの、途切れない会話です。道の様子を説明してもらうときも、近くの薬局を探すときも、動画を撮るときも、これから弾く楽譜を読んでもらうときも、いつもそこにいます」― ジョナタン・サントス
— Jonathan Santos

「ヒンディー語、ベンガル語、ベトナム語、トルコ語、インドネシア語への対応は、市場の判断ではなく、公正さの問題でした。支援技術はいつも英語から始まり、英語を話さない人は何年も待たされてきました。10億人を超える人々が、自分の言語でビジョナウタと話せるようになったのです」― ジョナタン・サントス
— Jonathan Santos

「学術的なプロジェクトを、コミュニティのための実際の道具に変えるよう励ましてくださったマッケンジー長老派大学のイズマール・フランゴ教授とニザム・オマル教授に感謝します」― ジョナタン・サントス
— Jonathan Santos

这款由曾任职于谷歌和三星的盲人软件工程师开发的免费应用，拥有一位"看得见"的助手：它以语音持续对话，描述周围环境，告知使用者身处何地，在互联网上查找信息，识读并演奏乐谱，录制带声音的视频，还能帮助视障者拍出构图良好的照片。iPhone 和 Android 均可使用。

Visionauta 是一款借助人工智能帮助盲人和低视力者获得更多自主能力的无障碍应用。此次发布新版本后，应用支持十六种语言：葡萄牙语、英语、西班牙语、法语、韩语、德语、日语、意大利语、阿拉伯语、俄语、简体中文、印地语、孟加拉语、越南语、土耳其语和印度尼西亚语。翻译覆盖整个应用、语音指令和文字识读，也包括人工智能的回答——它会用使用者的语言与其交谈。新增的五种语言，让这款应用触达南亚、东南亚和土耳其超过十亿的使用者。

应用免费，iPhone 版可在 App Store 下载，Android 版可在 Google Play 下载。

实时对话：一位看得见并与你同行的助手

Visionauta 的核心功能是"实时对话"。使用者无需按键，也不必等待轮次，可以自然地与人工智能交谈；它通过手机摄像头观看眼前的一切，并立即以语音作答，就像身旁有一位看得见的朋友在描述这个世界。

在对话过程中，Visionauta 可以：

• 描述环境与场景——房间里有什么，附近有谁，桌上摆着什么，床上放着哪件衣服，灯是否亮着。
• 告知使用者身处何地、周围有什么——当前地址、街道、地标、药店、面包店以及最近的公交站，依据实时地图信息作答。
• 在互联网上查找信息——新闻、营业时间、价格、最新数据，无需中断对话。
• 识读并演奏乐谱——只需将摄像头对准印刷乐谱。Visionauta 识别音符，朗读乐曲，并直接在设备上播放，同时生成 MusicXML 和 MIDI 文件。对于长期依赖他人协助、或依赖稀少而昂贵的盲文乐谱的盲人音乐家而言，这是一项全新的功能。
• 帮助视障者拍照——拍照助手引导取景，在构图合适时提示，倒计时并按下快门，让全家福、证件照或社交媒体上的照片都能拍好。
• 录制带声音的视频——使用者用语音发出请求，助手引导取景并开始录制；录制可通过无障碍控件暂停、继续、完成或取消，视频保存在"活动"中，随时可以观看和分享。
• 用语音叫车——只需说出目的地，应用便会打开 Uber、99、Bolt 或 Lyft，行程信息已自动填好，确认即可。
• 回答关于镜头前一切事物的任何问题——这是什么产品，保质期到什么时候，这件衣服是什么颜色，这块牌子上写了什么。

Visionauta Magic：描述图片并代为操作手机的人工智能

Visionauta Magic 为 Android 独有，面向 Visionauta Plus 订阅用户开放。它与设备上的屏幕阅读器（如 TalkBack）协同工作，解决了社群长期以来的两个难题。

其一，它会描述各类应用中缺少替代文字的图片。当屏幕阅读器的焦点停留在没有描述的图片、图标或卡片上时，Visionauta 只分析该元素，并朗读出其中的内容。

其二，它可以代为操作手机。使用者提出诸如"打开 WhatsApp 给 Ana 发条消息"的请求后，Visionauta 会制定一份操作计划，朗读出来，并且只有在使用者批准之后才会执行——执行过程中逐步语音说明，随时可通过紧急停止按钮或双指双击中断。未经确认，不会执行任何操作。

日常功能

除了对话之外，Visionauta 保留了让它在视障社群中广受欢迎的全套工具，其中多数无需联网即可使用：

• 离线文字朗读——将摄像头对准文件、包装、信件或标牌，即可听到内容。
• 纸币识别——支持巴西雷亚尔、美元、欧元、墨西哥比索、日元、加元和澳元，无需联网。
• 物品查找——说一句"帮我找手机"，应用便会持续扫描环境，找到时以振动和语音提示。
• 面向低视力者的电子放大镜——支持缩放，以及高对比度、颜色反转、黑底白字、白底黑字和蓝底黄字等模式。
• 手电筒，并以振动提醒其处于开启状态。
• 自有的自然语音——可在整个系统中使用，作为 Android 上 TalkBack 和 iPhone 上 VoiceOver 的朗读语音，下载后可离线运行。

iPhone 版本与 VoiceOver 及 iOS 的无障碍功能完全整合。

引述

"实时对话改变了 Visionauta 的本质。它不再是一款拍张照片然后等待答复的应用，而是与一位替你观看、始终在身边的伙伴之间不间断的对话——无论是描述街道、找到最近的药店、录一段视频，还是读出你即将演奏的乐谱。"——乔纳坦·桑托斯
— Jonathan Santos

"把应用带到印地语、孟加拉语、越南语、土耳其语和印度尼西亚语，是公平的选择，而不是市场决策。辅助技术总是先有英文版，不讲英语的人要等上许多年。如今，超过十亿的人可以用自己的语言与 Visionauta 交谈。"——乔纳坦·桑托斯
— Jonathan Santos

"感谢麦肯锡长老会大学的 Ismar Frango 教授和 Nizam Omar 教授，是他们鼓励我把一个学术项目变成真正服务社群的工具。"——乔纳坦·桑托斯
— Jonathan Santos

Бесплатное приложение, созданное незрячим инженером-программистом, работавшим в Google и Samsung, имеет помощника, который видит: он говорит голосом без пауз и нажатий, описывает обстановку, сообщает, где находится человек, ищет информацию в интернете, читает и проигрывает нотные партитуры, записывает видео со звуком и помогает незрячим делать фотографии с правильной композицией. Доступно для iPhone и Android.

Visionauta — приложение для доступности, использующее искусственный интеллект, чтобы дать больше самостоятельности незрячим и слабовидящим людям, — объявляет о выходе новой версии. Теперь приложение говорит на шестнадцати языках: португальском, английском, испанском, французском, корейском, немецком, японском, итальянском, арабском, русском, китайском (упрощённом), хинди, бенгальском, вьетнамском, турецком и индонезийском. Перевод охватывает всё приложение, голосовые команды, чтение текста, а также ответы искусственного интеллекта, который общается с пользователем на его языке. Благодаря пяти новым языкам приложение становится доступным более чем миллиарду носителей в Южной и Юго-Восточной Азии и в Турции.

Приложение бесплатно и доступно для iPhone в App Store и для Android в Google Play.

РАЗГОВОР В РЕАЛЬНОМ ВРЕМЕНИ: ПОМОЩНИК, КОТОРЫЙ ВИДИТ И ГОВОРИТ РЯДОМ

Главная функция Visionauta — «Разговор в реальном времени». Человек говорит естественно, не нажимая кнопок и не дожидаясь своей очереди, с искусственным интеллектом, который смотрит через камеру телефона и сразу отвечает голосом. Это похоже на зрячего друга рядом, который описывает мир.

Во время такого разговора Visionauta может:

• Описывать помещения и сцены — что стоит в комнате, кто находится рядом, как накрыт стол, какая одежда лежит на кровати, включён ли свет.
• Сообщать, где находится человек и что вокруг — текущий адрес, улицы, ориентиры, аптеки, пекарни и ближайшую автобусную остановку, опираясь на картографические данные в реальном времени.
• Искать информацию в интернете — новости, часы работы, цены, актуальные данные, не прерывая разговор.
• Читать и проигрывать нотные партитуры — достаточно навести камеру на печатные ноты. Visionauta распознаёт ноты, читает произведение вслух и воспроизводит его прямо на устройстве, создавая файлы MusicXML и MIDI. Это принципиально новая возможность для незрячих музыкантов, которые исторически зависели от помощи других людей либо от редких и дорогих изданий по Брайлю.
• Помогать незрячему человеку фотографировать — фотопомощник подсказывает, как выстроить кадр, сообщает, когда композиция удачна, ведёт обратный отсчёт и делает снимок, чтобы семейные фотографии, снимки документов и фото для соцсетей получались хорошо.
• Записывать видео со звуком — человек просит голосом, помощник подсказывает, как выстроить кадр, и начинает запись; её можно приостановить, продолжить, завершить или отменить доступными элементами управления, а видео сохраняются в разделе «Активности», готовые к просмотру и отправке.
• Вызывать машину голосом — достаточно назвать адрес, и приложение откроет Uber, 99, Bolt или Lyft с уже заполненной поездкой: остаётся только подтвердить.
• Отвечать на любые вопросы о том, что находится перед камерой — что это за товар, каков срок годности, какого цвета эта одежда, что написано на этой табличке.

VISIONAUTA MAGIC: ИИ, КОТОРЫЙ ОПИСЫВАЕТ ИЗОБРАЖЕНИЯ И ВЫПОЛНЯЕТ ЗАДАЧИ НА ТЕЛЕФОНЕ

Функция Visionauta Magic доступна только на Android и только подписчикам Visionauta Plus. Она работает вместе с экранным диктором устройства, например с TalkBack, и решает две давние проблемы сообщества.

Во-первых, она описывает изображения без подписи, встречающиеся в любых приложениях. Когда фокус экранного диктора останавливается на изображении, значке или карточке без описания, Visionauta анализирует только этот элемент и вслух сообщает, что на нём.

Во-вторых, она выполняет задачи на телефоне. Человек просит, например: «открой WhatsApp и отправь сообщение Ане», — и Visionauta составляет план, зачитывает его вслух и действует только после одобрения пользователя, комментируя каждый шаг. Прервать выполнение можно в любой момент кнопкой экстренной остановки или двойным касанием двумя пальцами. Без подтверждения не происходит ничего.

ПОВСЕДНЕВНЫЕ ВОЗМОЖНОСТИ

Помимо разговора, Visionauta сохраняет набор инструментов, благодаря которым приложение стало популярным в сообществе незрячих; большинство из них работает без интернета:

• Чтение текста офлайн — наведите камеру на документы, упаковку, письма или таблички и услышьте содержание вслух.
• Распознавание банкнот — бразильский реал, доллар США, евро, мексиканское песо, иена, канадский и австралийский доллар, без подключения к сети.
• Поиск предметов — скажите «помоги найти мой телефон», и приложение будет осматривать пространство, сообщая о находке вибрацией и голосом.
• Электронная лупа для слабовидящих — с увеличением и режимами высокой контрастности, инверсии цветов, белого на чёрном, чёрного на белом и жёлтого на синем.
• Фонарик с напоминанием вибрацией.
• Собственные естественные голоса — их можно использовать во всей системе как голос TalkBack на Android и VoiceOver на iPhone; после загрузки они работают офлайн.

Версия для iPhone полностью интегрирована с VoiceOver и функциями доступности iOS.

ЦИТАТЫ

«Разговор в реальном времени изменил саму суть Visionauta. Это больше не приложение, где вы делаете снимок и ждёте ответа: это непрерывный разговор с тем, кто видит за вас и всегда рядом — чтобы описать улицу, найти ближайшую аптеку, записать видео или прочитать партитуру, которую вы собираетесь играть».
— Жонатан Сантос

«Выход приложения на хинди, бенгальском, вьетнамском, турецком и индонезийском был решением справедливости, а не рыночным решением. Ассистивные технологии всегда приходили сначала на английском, и те, кто не говорит по-английски, ждали годами. Теперь более миллиарда человек могут разговаривать с Visionauta на родном языке».
— Жонатан Сантос

«Благодарю профессоров Измара Франго и Низама Омара из Пресвитерианского университета Маккензи, которые побудили меня превратить академический проект в реальный инструмент для сообщества».
— Жонатан Сантос

التطبيق المجاني الذي طوّره مهندس برمجيات كفيف عمل في غوغل وسامسونغ يضم مساعدًا يُبصر: يتحدث صوتيًا دون انقطاع، ويصف المحيط، ويخبر المستخدم بمكانه، ويبحث عن المعلومات على الإنترنت، ويقرأ النوتات الموسيقية ويعزفها، ويسجّل مقاطع فيديو بالصوت، ويساعد المكفوفين على التقاط صور جيدة التكوين. متاح لأجهزة آيفون وأندرويد.

أعلن تطبيق «فيجيوناوتا» (Visionauta)، وهو تطبيق لإمكانية الوصول يستخدم الذكاء الاصطناعي لمنح المكفوفين وضعاف البصر مزيدًا من الاستقلالية، عن نسخته الجديدة؛ وصار التطبيق يتحدث ست عشرة لغة: البرتغالية والإنجليزية والإسبانية والفرنسية والكورية والألمانية واليابانية والإيطالية والعربية والروسية والصينية المبسّطة والهندية والبنغالية والفيتنامية والتركية والإندونيسية. وتشمل الترجمة التطبيق بأكمله والأوامر الصوتية وقراءة النصوص، كما تشمل ردود الذكاء الاصطناعي الذي يحاور المستخدم بلغته. وباللغات الخمس الجديدة يصل التطبيق إلى أكثر من مليار متحدث في جنوب آسيا وجنوب شرقها وفي تركيا.

التطبيق مجاني، ومتاح لأجهزة آيفون عبر متجر App Store ولأجهزة أندرويد عبر Google Play.

المحادثة الفورية: مساعد يُبصر ويتحدث إلى جانبك

الميزة الأبرز في «فيجيوناوتا» هي المحادثة الفورية. يتحدث المستخدم بشكل طبيعي، دون ضغط أزرار ودون انتظار دوره، مع ذكاء اصطناعي يرى عبر كاميرا الهاتف ويجيب صوتيًا في الحال؛ أشبه بصديق مبصر يقف إلى جانبك ويصف لك العالم.

وخلال هذه المحادثة، يستطيع «فيجيوناوتا»:

• وصف الأماكن والمشاهد — ما الموجود في الغرفة، ومن يقف بالقرب منك، وكيف رُتّبت المائدة، وأي ثوب على السرير، وهل الضوء مضاء.
• إخبارك بمكانك وبما حولك — العنوان الحالي، والشوارع، والمعالم، والصيدليات، والمخابز، وأقرب موقف حافلات، اعتمادًا على معلومات الخرائط الآنية.
• البحث عن المعلومات على الإنترنت — الأخبار ومواعيد العمل والأسعار والبيانات المحدَّثة، دون مغادرة المحادثة.
• قراءة النوتات الموسيقية وعزفها — يكفي توجيه الكاميرا إلى نوتة مطبوعة. يتعرّف «فيجيوناوتا» على النغمات، ويقرأ المقطوعة بصوت مسموع، ويعزفها على الجهاز نفسه، مُنشئًا ملفَّي MusicXML وMIDI. وهي ميزة غير مسبوقة للموسيقيين المكفوفين الذين اعتادوا الاعتماد على مساعدة الآخرين أو على نسخ برايل النادرة والباهظة.
• مساعدة الشخص الكفيف على التصوير — يوجّه مساعد التصوير تأطير الصورة، وينبّه عندما يصبح الإطار مناسبًا، ثم يعدّ تنازليًا ويلتقط الصورة، لتخرج صور العائلة والوثائق وصور مواقع التواصل بشكل جيد.
• تسجيل مقاطع فيديو بالصوت — يطلب المستخدم ذلك بصوته، فيوجّه المساعد تأطير اللقطة ويبدأ التسجيل؛ ويمكن إيقاف التسجيل مؤقتًا أو استئنافه أو إنهاؤه أو إلغاؤه عبر عناصر تحكم ميسّرة، وتُحفظ المقاطع في قسم «الأنشطة» جاهزة للمشاهدة والمشاركة.
• طلب سيارة بالصوت — يكفي ذكر الوجهة، فيفتح التطبيق «أوبر» أو «99» أو «بولت» أو «ليفت» والرحلة مُعبأة سلفًا، ولا يتبقى سوى التأكيد.
• الإجابة عن أي سؤال يتعلق بما أمام الكاميرا — ما هذا المنتج، وما تاريخ انتهاء صلاحيته، وما لون هذا الثوب، وماذا تقول هذه اللافتة.

فيجيوناوتا ماجيك: ذكاء اصطناعي يصف الصور وينفّذ المهام على الهاتف

«فيجيوناوتا ماجيك» متاح حصريًا على أندرويد ولمشتركي «فيجيوناوتا بلس». يعمل جنبًا إلى جنب مع قارئ الشاشة في الجهاز، مثل TalkBack، ويعالج مشكلتين قديمتين لدى مجتمع المكفوفين:

أولًا، يصف الصور غير الموصوفة التي تظهر في أي تطبيق. فحين يتوقف مؤشر قارئ الشاشة عند صورة أو أيقونة أو بطاقة بلا وصف، يحلّل «فيجيوناوتا» ذلك العنصر وحده ويعلن بصوت مسموع ما فيه.

ثانيًا، ينفّذ المهام على الهاتف. يطلب المستخدم مثلًا: «افتح واتساب وأرسل رسالة إلى آنا»، فيضع «فيجيوناوتا» خطة، ويقرأها بصوت مسموع، ولا يتصرف إلا بعد موافقة المستخدم — يسرد كل خطوة أثناء التنفيذ، ويمكن إيقافه في أي لحظة بزر الطوارئ أو بالنقر مرتين بإصبعين. لا يحدث شيء دون تأكيد.

ميزات الاستخدام اليومي

إلى جانب المحادثة، يحتفظ «فيجيوناوتا» بمجموعة الأدوات التي جعلته محبوبًا في أوساط ذوي الإعاقة البصرية، ويعمل معظمها دون إنترنت:

• قراءة النصوص دون اتصال — وجّه الكاميرا إلى مستند أو عبوة أو رسالة أو لافتة واستمع إلى المحتوى.
• التعرّف على الأوراق النقدية — الريال البرازيلي والدولار واليورو والبيزو المكسيكي والين والدولار الكندي والأسترالي، دون اتصال.
• العثور على الأشياء — قل «ساعدني في العثور على هاتفي»، فيمسح التطبيق المحيط وينبّهك بالاهتزاز والصوت عند العثور عليه.
• مكبّر إلكتروني لضعاف البصر — مع تكبير وأوضاع تباين عالٍ وألوان معكوسة وأبيض على أسود وأسود على أبيض وأصفر على أزرق.
• مصباح يدوي مع تذكير بالاهتزاز.
• أصوات طبيعية خاصة بالتطبيق — يمكن استخدامها في النظام كله، كصوت لـ TalkBack على أندرويد ولـ VoiceOver على آيفون، وتعمل دون إنترنت بعد تنزيلها.

أما نسخة آيفون فمتكاملة تمامًا مع VoiceOver ومع ميزات إمكانية الوصول في نظام iOS.

تصريحات

«غيّرت المحادثة الفورية ماهية فيجيوناوتا. لم يعد تطبيقًا تلتقط فيه صورة ثم تنتظر إجابة، بل صار حوارًا متصلًا مع من يُبصر نيابة عنك ويكون حاضرًا دائمًا: ليصف لك الشارع، أو يجد أقرب صيدلية، أو يسجّل مقطع فيديو، أو يقرأ النوتة التي أنت على وشك عزفها.»
— جوناتان سانتوس

«إتاحة التطبيق بالهندية والبنغالية والفيتنامية والتركية والإندونيسية كانت قرار عدالة لا قرارًا تجاريًا. لطالما وصلت التقنيات المساعِدة بالإنجليزية أولًا، ومن لا يتحدث الإنجليزية كان ينتظر سنوات. اليوم يستطيع أكثر من مليار شخص محاورة فيجيوناوتا بلغتهم.»
— جوناتان سانتوس

«أشكر الأستاذين إسمار فرانغو ونظام عمر من جامعة ماكنزي المشيخية، اللذين شجعاني على تحويل مشروع أكاديمي إلى أداة حقيقية في خدمة المجتمع.»
— جوناتان سانتوس

Google और Samsung में काम कर चुके एक दृष्टिबाधित सॉफ़्टवेयर इंजीनियर द्वारा बनाए गए इस निःशुल्क ऐप में एक ऐसा सहायक है जो देख सकता है: यह बिना रुकावट आवाज़ में बात करता है, आसपास के माहौल का वर्णन करता है, बताता है कि व्यक्ति कहाँ है, इंटरनेट पर जानकारी खोजता है, संगीत की स्वरलिपि पढ़कर बजाता है, आवाज़ के साथ वीडियो रिकॉर्ड करता है और दृष्टिबाधित लोगों को सही फ़्रेम में फ़ोटो खींचने में मदद करता है। iPhone और Android के लिए उपलब्ध।

दृष्टिबाधित और कम दृष्टि वाले लोगों को अधिक आत्मनिर्भरता देने के लिए कृत्रिम बुद्धिमत्ता का उपयोग करने वाला सुगम्यता ऐप Visionauta अपना नया संस्करण प्रस्तुत करता है — और अब यह सोलह भाषाएँ बोलता है: पुर्तगाली, अंग्रेज़ी, स्पेनिश, फ़्रेंच, कोरियाई, जर्मन, जापानी, इतालवी, अरबी, रूसी, सरलीकृत चीनी, हिंदी, बांग्ला, वियतनामी, तुर्की और इंडोनेशियाई। यह अनुवाद पूरे ऐप, वॉइस कमांड, टेक्स्ट रीडिंग और कृत्रिम बुद्धिमत्ता के उत्तरों पर भी लागू होता है, जो उपयोगकर्ता से उसकी अपनी भाषा में बात करती है। पाँच नई भाषाओं के साथ यह ऐप दक्षिण एशिया, दक्षिण-पूर्व एशिया और तुर्की के एक अरब से अधिक भाषा-भाषियों तक पहुँचता है।

ऐप निःशुल्क है और iPhone के लिए App Store पर तथा Android के लिए Google Play पर उपलब्ध है।

रियल-टाइम बातचीत: एक सहायक जो देखता है और आपके साथ बोलता है

Visionauta की मुख्य विशेषता रियल-टाइम बातचीत है। इसमें व्यक्ति बिना कोई बटन दबाए और बिना अपनी बारी का इंतज़ार किए, एक ऐसी कृत्रिम बुद्धिमत्ता से स्वाभाविक रूप से बात करता है जो फ़ोन के कैमरे से देखती है और तुरंत आवाज़ में जवाब देती है — जैसे साथ में कोई ऐसा दोस्त हो जो देखता है और दुनिया का वर्णन करता है।

इस बातचीत के दौरान Visionauta कर सकता है:

• माहौल और दृश्यों का वर्णन — कमरे में क्या है, पास कौन है, मेज़ कैसी सजी है, बिस्तर पर कौन-से कपड़े रखे हैं, बत्ती जल रही है या नहीं।
• यह बताना कि व्यक्ति कहाँ है और आसपास क्या है — रियल-टाइम मानचित्र जानकारी के साथ वर्तमान पता, सड़कें, पहचान-चिह्न, दवा की दुकानें, बेकरी और सबसे नज़दीकी बस स्टॉप।
• इंटरनेट पर जानकारी खोजना — समाचार, समय-सारणी, कीमतें, ताज़ा आँकड़े, बातचीत से बाहर निकले बिना।
• संगीत की स्वरलिपि पढ़ना और बजाना — बस कैमरे को छपी हुई स्वरलिपि की ओर करें। Visionauta स्वरों को पहचानता है, संगीत को ज़ोर से पढ़ता है और MusicXML तथा MIDI फ़ाइलें बनाकर उसे डिवाइस पर ही बजाता है। दृष्टिबाधित संगीतकारों के लिए एक अभूतपूर्व सुविधा, जो अब तक दूसरों पर या दुर्लभ और महँगे ब्रेल संस्करणों पर निर्भर रहते थे।
• दृष्टिबाधित व्यक्ति को फ़ोटो खींचने में मदद — फ़ोटो सहायक फ़्रेमिंग का मार्गदर्शन करता है, सही होने पर बताता है, उल्टी गिनती करता है और कैमरा चलाता है, ताकि परिवार, दस्तावेज़ों या सोशल मीडिया की तस्वीरें अच्छी आएँ।
• आवाज़ के साथ वीडियो रिकॉर्ड करना — व्यक्ति आवाज़ से कहता है, सहायक फ़्रेमिंग बताता है और रिकॉर्ड करता है; रिकॉर्डिंग को सुगम नियंत्रणों से रोका, फिर से शुरू किया, पूरा किया या रद्द किया जा सकता है, और वीडियो गतिविधियाँ में सहेजे जाते हैं, देखने और साझा करने के लिए तैयार।
• आवाज़ से गाड़ी बुलाना — बस गंतव्य बताएँ और ऐप Uber, 99, Bolt या Lyft को यात्रा की जानकारी भरकर खोल देता है; केवल पुष्टि करना बाकी रहता है।
• कैमरे के सामने जो भी हो, उसके बारे में किसी भी सवाल का जवाब — यह कौन-सा उत्पाद है, इसकी समाप्ति तिथि क्या है, इस कपड़े का रंग क्या है, इस बोर्ड पर क्या लिखा है।

VISIONAUTA MAGIC: वह एआई जो तस्वीरों का वर्णन करती है और फ़ोन पर काम पूरे करती है

केवल Android पर और Visionauta Plus के ग्राहकों के लिए उपलब्ध Visionauta Magic, TalkBack जैसे डिवाइस के स्क्रीन रीडर के साथ मिलकर काम करता है और समुदाय की दो पुरानी समस्याएँ हल करता है:

पहली, यह किसी भी ऐप में दिखने वाली बिना लेबल वाली तस्वीरों का वर्णन करता है। जब स्क्रीन रीडर का फ़ोकस किसी बिना विवरण वाली तस्वीर, आइकन या कार्ड पर रुकता है, तो Visionauta केवल उसी तत्व का विश्लेषण करता है और उसमें जो है उसे ज़ोर से बताता है।

दूसरी, यह फ़ोन पर काम पूरे करता है। व्यक्ति कहता है, जैसे "WhatsApp खोलो और Ana को संदेश भेजो", और Visionauta एक योजना बनाता है, उसे ज़ोर से पढ़ता है और उपयोगकर्ता की स्वीकृति के बाद ही काम करता है — हर कदम बताते हुए, और आपातकालीन बटन या दो उँगलियों से दो बार छूकर इसे किसी भी समय रोका जा सकता है। पुष्टि के बिना कुछ नहीं होता।

रोज़मर्रा की सुविधाएँ

बातचीत के अलावा Visionauta उन उपकरणों का समूह बनाए रखता है जिन्होंने इसे दृष्टिबाधित समुदाय में लोकप्रिय बनाया, जिनमें से अधिकांश बिना इंटरनेट के काम करते हैं:

• ऑफ़लाइन टेक्स्ट रीडिंग — कैमरे को दस्तावेज़ों, पैकेटों, पत्रों या बोर्डों की ओर करें और सामग्री ज़ोर से सुनें।
• नोटों की पहचान — ब्राज़ीलियाई रियाल, अमेरिकी डॉलर, यूरो, मैक्सिकन पेसो, जापानी येन, कनाडाई डॉलर और ऑस्ट्रेलियाई डॉलर, बिना कनेक्शन के।
• वस्तु खोजक — कहें "मेरा फ़ोन ढूँढने में मदद करो" और ऐप माहौल को स्कैन करता है, मिलने पर कंपन और आवाज़ से बताता है।
• कम दृष्टि के लिए इलेक्ट्रॉनिक आवर्धक — ज़ूम और उच्च-कंट्रास्ट मोड के साथ: उलटे रंग, काले पर सफ़ेद, सफ़ेद पर काला और नीले पर पीला।
• कंपन अनुस्मारक वाली टॉर्च।
• अपनी प्राकृतिक आवाज़ें — जिन्हें पूरे सिस्टम में इस्तेमाल किया जा सकता है, Android पर TalkBack और iPhone पर VoiceOver की आवाज़ के रूप में; डाउनलोड के बाद ऑफ़लाइन काम करती हैं।

iPhone संस्करण VoiceOver और iOS की सुगम्यता सुविधाओं के साथ पूरी तरह एकीकृत है।

वक्तव्य

"रियल-टाइम बातचीत ने बदल दिया कि Visionauta क्या है। अब यह ऐसा ऐप नहीं रहा जिसमें आप फ़ोटो खींचकर जवाब का इंतज़ार करें: यह किसी ऐसे व्यक्ति के साथ लगातार बातचीत है जो आपके लिए देखता है और हमेशा साथ है — चाहे सड़क का वर्णन करना हो, सबसे नज़दीकी दवा की दुकान ढूँढनी हो, वीडियो रिकॉर्ड करना हो या वह स्वरलिपि पढ़नी हो जो आप बजाने वाले हैं।"
— जोनाथन सांतोस

"ऐप को हिंदी, बांग्ला, वियतनामी, तुर्की और इंडोनेशियाई तक ले जाना न्याय का फ़ैसला था, बाज़ार का नहीं। सहायक तकनीक हमेशा पहले अंग्रेज़ी में आई, और जो अंग्रेज़ी नहीं बोलते वे वर्षों इंतज़ार करते रहे। अब एक अरब से अधिक लोग Visionauta से अपनी भाषा में बात कर सकते हैं।"
— जोनाथन सांतोस

"मैं Universidade Presbiteriana Mackenzie के प्रोफ़ेसर इस्मार फ़्रांगो और प्रोफ़ेसर निज़ाम ओमर का आभारी हूँ, जिन्होंने मुझे एक शैक्षणिक परियोजना को समुदाय के लिए वास्तविक उपकरण में बदलने के लिए प्रेरित किया।"
— जोनाथन सांतोस

Google ও Samsung-এ কাজ করা এক দৃষ্টিপ্রতিবন্ধী সফটওয়্যার প্রকৌশলীর তৈরি বিনামূল্যের এই অ্যাপে আছে এমন এক সহকারী, যে দেখতে পায়: বাধাহীনভাবে কণ্ঠে কথা বলে, চারপাশের পরিবেশ বর্ণনা করে, ব্যবহারকারী কোথায় আছেন তা জানায়, ইন্টারনেটে তথ্য খোঁজে, সংগীতের স্বরলিপি পড়ে ও বাজায়, শব্দসহ ভিডিও রেকর্ড করে এবং দৃষ্টিপ্রতিবন্ধীদের সঠিক ফ্রেমে ছবি তুলতে সাহায্য করে। iPhone ও Android-এর জন্য উপলব্ধ।

দৃষ্টিপ্রতিবন্ধী ও ক্ষীণদৃষ্টিসম্পন্ন মানুষকে আরও স্বাবলম্বী করতে কৃত্রিম বুদ্ধিমত্তা ব্যবহার করা অ্যাক্সেসিবিলিটি অ্যাপ Visionauta তার নতুন সংস্করণ ঘোষণা করছে — এবং এখন এটি ষোলোটি ভাষায় কথা বলে: পর্তুগিজ, ইংরেজি, স্প্যানিশ, ফরাসি, কোরীয়, জার্মান, জাপানি, ইতালীয়, আরবি, রুশ, সরলীকৃত চীনা, হিন্দি, বাংলা, ভিয়েতনামি, তুর্কি ও ইন্দোনেশীয়। এই অনুবাদ পুরো অ্যাপ, কণ্ঠ-নির্দেশ, লেখা পড়া এবং কৃত্রিম বুদ্ধিমত্তার উত্তরেও প্রযোজ্য, যা ব্যবহারকারীর সঙ্গে তাঁর নিজের ভাষায় কথা বলে। নতুন পাঁচটি ভাষা নিয়ে অ্যাপটি দক্ষিণ এশিয়া, দক্ষিণ-পূর্ব এশিয়া ও তুরস্কের একশো কোটিরও বেশি ভাষাভাষীর কাছে পৌঁছাচ্ছে।

অ্যাপটি বিনামূল্যে পাওয়া যায় — iPhone-এর জন্য App Store-এ এবং Android-এর জন্য Google Play-তে।

রিয়েল-টাইম কথোপকথন: এমন এক সহকারী, যে দেখে এবং আপনার সঙ্গে কথা বলে

Visionauta-র প্রধান বৈশিষ্ট্য রিয়েল-টাইম কথোপকথন। এতে ব্যবহারকারী কোনো বোতাম না চেপে এবং পালার অপেক্ষা না করে স্বাভাবিকভাবে কথা বলেন এমন এক কৃত্রিম বুদ্ধিমত্তার সঙ্গে, যা ফোনের ক্যামেরা দিয়ে দেখে এবং সঙ্গে সঙ্গে কণ্ঠে উত্তর দেয় — যেন পাশে এমন এক বন্ধু আছে, যে দেখতে পায় এবং পৃথিবীর বর্ণনা দেয়।

এই কথোপকথনের সময় Visionauta যা করতে পারে:

• পরিবেশ ও দৃশ্য বর্ণনা — ঘরে কী আছে, কাছে কে আছে, টেবিল কেমন সাজানো, বিছানায় কোন পোশাক রাখা, বাতি জ্বলছে কি না।
• ব্যবহারকারী কোথায় আছেন এবং চারপাশে কী আছে তা জানানো — রিয়েল-টাইম মানচিত্রের তথ্য দিয়ে বর্তমান ঠিকানা, রাস্তা, নির্দেশক স্থান, ওষুধের দোকান, বেকারি ও সবচেয়ে কাছের বাসস্ট্যান্ড।
• ইন্টারনেটে তথ্য খোঁজা — খবর, সময়সূচি, দাম, হালনাগাদ তথ্য, কথোপকথন থেকে বেরিয়ে না গিয়েই।
• সংগীতের স্বরলিপি পড়া ও বাজানো — ছাপানো স্বরলিপির দিকে ক্যামেরা ধরলেই হয়। Visionauta স্বর চিনে নেয়, সুরটি জোরে পড়ে শোনায় এবং MusicXML ও MIDI ফাইল তৈরি করে ডিভাইসেই বাজায়। দৃষ্টিপ্রতিবন্ধী সংগীতশিল্পীদের জন্য এক অভূতপূর্ব সুবিধা, যাঁরা এতদিন অন্যের ওপর কিংবা দুর্লভ ও দামি ব্রেইল সংস্করণের ওপর নির্ভর করতেন।
• দৃষ্টিপ্রতিবন্ধী ব্যক্তিকে ছবি তুলতে সাহায্য — ফটো সহকারী ফ্রেমিং নির্দেশ করে, ঠিক হলে জানায়, উল্টো গণনা করে এবং ক্যামেরা চালায়, যাতে পরিবারের, নথির কিংবা সামাজিক মাধ্যমের ছবি ভালোভাবে ওঠে।
• শব্দসহ ভিডিও রেকর্ড করা — ব্যবহারকারী কণ্ঠে অনুরোধ করেন, সহকারী ফ্রেমিং নির্দেশ করে ও রেকর্ড করে; সহজলভ্য নিয়ন্ত্রণ দিয়ে রেকর্ডিং থামানো, পুনরায় শুরু করা, শেষ করা কিংবা বাতিল করা যায়, আর ভিডিওগুলো কার্যক্রম বিভাগে সংরক্ষিত থাকে, দেখা ও শেয়ার করার জন্য প্রস্তুত।
• কণ্ঠে গাড়ি ডাকা — গন্তব্য বললেই অ্যাপ Uber, 99, Bolt কিংবা Lyft খুলে দেয় যাত্রার তথ্য পূরণ করা অবস্থায়; কেবল নিশ্চিত করা বাকি থাকে।
• ক্যামেরার সামনে যা আছে, সে বিষয়ে যেকোনো প্রশ্নের উত্তর — এটি কোন পণ্য, মেয়াদ কবে শেষ, এই পোশাকের রং কী, এই সাইনবোর্ডে কী লেখা।

VISIONAUTA MAGIC: যে এআই ছবি বর্ণনা করে এবং ফোনে কাজ সম্পন্ন করে

শুধু Android-এ এবং Visionauta Plus গ্রাহকদের জন্য উপলব্ধ Visionauta Magic ডিভাইসের স্ক্রিন রিডার, যেমন TalkBack-এর সঙ্গে একযোগে কাজ করে এবং এই সম্প্রদায়ের দুটি পুরোনো সমস্যার সমাধান করে:

প্রথমত, এটি যেকোনো অ্যাপে দেখা লেবেলবিহীন ছবি বর্ণনা করে। স্ক্রিন রিডারের ফোকাস বর্ণনাহীন কোনো ছবি, আইকন বা কার্ডে থামলে Visionauta কেবল সেই উপাদানটি বিশ্লেষণ করে এবং তাতে কী আছে তা জোরে জানায়।

দ্বিতীয়ত, এটি ফোনে কাজ সম্পন্ন করে। ব্যবহারকারী বলেন, যেমন "WhatsApp খোলো আর Ana-কে বার্তা পাঠাও", আর Visionauta একটি পরিকল্পনা তৈরি করে, তা জোরে পড়ে শোনায় এবং ব্যবহারকারীর অনুমোদনের পরই কাজ করে — প্রতিটি ধাপ বর্ণনা করতে করতে, এবং জরুরি বোতাম কিংবা দুই আঙুলে দুবার স্পর্শ করে যেকোনো সময় থামানো যায়। নিশ্চিতকরণ ছাড়া কিছুই ঘটে না।

দৈনন্দিন সুবিধাগুলো

কথোপকথনের বাইরেও Visionauta সেই সরঞ্জামগুলো বজায় রেখেছে, যা একে দৃষ্টিপ্রতিবন্ধী সম্প্রদায়ে জনপ্রিয় করেছে; এর বেশিরভাগই ইন্টারনেট ছাড়া কাজ করে:

• অফলাইনে লেখা পড়া — নথি, মোড়ক, চিঠি বা সাইনবোর্ডের দিকে ক্যামেরা ধরুন এবং বিষয়বস্তু জোরে শুনুন।
• নোট চেনা — ব্রাজিলীয় রিয়াল, মার্কিন ডলার, ইউরো, মেক্সিকান পেসো, জাপানি ইয়েন, কানাডীয় ডলার ও অস্ট্রেলীয় ডলার, সংযোগ ছাড়াই।
• বস্তু খোঁজা — বলুন "আমার ফোন খুঁজে পেতে সাহায্য করো", অ্যাপ চারপাশ স্ক্যান করে এবং পেলে কম্পন ও কণ্ঠে জানায়।
• ক্ষীণদৃষ্টির জন্য ইলেকট্রনিক আতশকাচ — জুম ও উচ্চ-কনট্রাস্ট মোডসহ: উল্টো রং, কালোর ওপর সাদা, সাদার ওপর কালো ও নীলের ওপর হলুদ।
• কম্পন-স্মারকসহ টর্চ।
• নিজস্ব স্বাভাবিক কণ্ঠ — পুরো সিস্টেমে ব্যবহারযোগ্য, Android-এ TalkBack ও iPhone-এ VoiceOver-এর কণ্ঠ হিসেবে; ডাউনলোডের পর অফলাইনে কাজ করে।

iPhone সংস্করণ VoiceOver ও iOS-এর অ্যাক্সেসিবিলিটি সুবিধাগুলোর সঙ্গে সম্পূর্ণ সমন্বিত।

বক্তব্য

"রিয়েল-টাইম কথোপকথন বদলে দিয়েছে Visionauta কী। এটি আর এমন অ্যাপ নয়, যেখানে ছবি তুলে উত্তরের অপেক্ষা করতে হয়: এটি এমন একজনের সঙ্গে অবিরাম কথোপকথন, যে আপনার হয়ে দেখে এবং সব সময় পাশে থাকে — রাস্তা বর্ণনা করতে, সবচেয়ে কাছের ওষুধের দোকান খুঁজতে, ভিডিও রেকর্ড করতে কিংবা আপনি যে স্বরলিপি বাজাতে যাচ্ছেন তা পড়তে।"
— জোনাথন সান্তোস

"অ্যাপটিকে হিন্দি, বাংলা, ভিয়েতনামি, তুর্কি ও ইন্দোনেশীয় ভাষায় নিয়ে যাওয়া ছিল ন্যায়ের সিদ্ধান্ত, বাজারের নয়। সহায়ক প্রযুক্তি সব সময় আগে ইংরেজিতে এসেছে, আর যাঁরা ইংরেজি বলেন না, তাঁরা বছরের পর বছর অপেক্ষা করেছেন। এখন একশো কোটিরও বেশি মানুষ Visionauta-র সঙ্গে নিজের ভাষায় কথা বলতে পারেন।"
— জোনাথন সান্তোস

"আমি Universidade Presbiteriana Mackenzie-র অধ্যাপক ইসমার ফ্রাঙ্গো ও অধ্যাপক নিজাম ওমরের কাছে কৃতজ্ঞ, যাঁরা একটি একাডেমিক প্রকল্পকে সম্প্রদায়ের জন্য বাস্তব হাতিয়ারে রূপ দিতে আমাকে উৎসাহিত করেছেন।"
— জোনাথন সান্তোস

Ứng dụng miễn phí do một kỹ sư phần mềm khiếm thị từng làm việc tại Google và Samsung tạo ra có một trợ lý biết nhìn: trò chuyện bằng giọng nói không gián đoạn, mô tả không gian xung quanh, cho biết người dùng đang ở đâu, tìm thông tin trên internet, đọc và chơi bản nhạc, quay video có âm thanh và giúp người khiếm thị chụp những bức ảnh đúng khung hình. Có sẵn cho iPhone và Android.

Visionauta, ứng dụng hỗ trợ tiếp cận dùng trí tuệ nhân tạo để mang lại nhiều tự chủ hơn cho người mù và người thị lực kém, công bố phiên bản mới — và giờ đây nói được mười sáu ngôn ngữ: Bồ Đào Nha, Anh, Tây Ban Nha, Pháp, Hàn, Đức, Nhật, Ý, Ả Rập, Nga, Trung giản thể, Hindi, Bengali, Việt, Thổ Nhĩ Kỳ và Indonesia. Bản dịch bao trùm toàn bộ ứng dụng, các lệnh thoại, tính năng đọc văn bản và cả câu trả lời của trí tuệ nhân tạo, vốn trò chuyện với người dùng bằng chính ngôn ngữ của họ. Với năm ngôn ngữ mới, ứng dụng vươn tới hơn một tỷ người nói ở Nam Á, Đông Nam Á và Thổ Nhĩ Kỳ.

Ứng dụng miễn phí và có sẵn cho iPhone trên App Store, cho Android trên Google Play.

TRÒ CHUYỆN THỜI GIAN THỰC: MỘT TRỢ LÝ BIẾT NHÌN VÀ NÓI CÙNG BẠN

Tính năng chính của Visionauta là Trò chuyện thời gian thực. Người dùng nói chuyện tự nhiên, không cần bấm nút hay chờ đến lượt, với một trí tuệ nhân tạo nhìn qua camera điện thoại và trả lời ngay bằng giọng nói — như có một người bạn sáng mắt ở bên, mô tả thế giới cho bạn.

Trong cuộc trò chuyện, Visionauta có thể:

• Mô tả không gian và khung cảnh — trong phòng có gì, ai đang ở gần, bàn ăn bày biện ra sao, bộ quần áo nào đang đặt trên giường, đèn có đang bật không.
• Cho biết người dùng đang ở đâu và xung quanh có gì — địa chỉ hiện tại, các con phố, điểm mốc, hiệu thuốc, tiệm bánh và trạm xe buýt gần nhất, dựa trên dữ liệu bản đồ thời gian thực.
• Tìm thông tin trên internet — tin tức, giờ giấc, giá cả, dữ liệu cập nhật, mà không cần rời cuộc trò chuyện.
• Đọc và chơi bản nhạc — chỉ cần hướng camera vào một bản nhạc in. Visionauta nhận diện nốt nhạc, đọc to bản nhạc và phát ngay trên thiết bị, đồng thời tạo tệp MusicXML và MIDI. Một tính năng chưa từng có dành cho nhạc sĩ khiếm thị, những người lâu nay phải phụ thuộc vào người khác hoặc vào các ấn bản chữ nổi Braille hiếm và đắt đỏ.
• Giúp người khiếm thị chụp ảnh — trợ lý chụp ảnh hướng dẫn căn khung, báo khi đã đẹp, đếm ngược và bấm máy, để ảnh gia đình, ảnh giấy tờ hay ảnh đăng mạng xã hội đều đạt.
• Quay video có âm thanh — người dùng yêu cầu bằng giọng nói, trợ lý hướng dẫn căn khung và quay; có thể tạm dừng, tiếp tục, kết thúc hoặc hủy bằng các nút điều khiển dễ tiếp cận, và video được lưu trong mục Hoạt động, sẵn sàng để xem lại và chia sẻ.
• Gọi xe bằng giọng nói — chỉ cần nói điểm đến, ứng dụng mở Uber, 99, Bolt hoặc Lyft với chuyến đi đã điền sẵn, chỉ còn việc xác nhận.
• Trả lời mọi câu hỏi về thứ đang ở trước camera — đây là sản phẩm gì, hạn sử dụng đến khi nào, chiếc áo này màu gì, tấm biển này ghi gì.

VISIONAUTA MAGIC: TRÍ TUỆ NHÂN TẠO MÔ TẢ HÌNH ẢNH VÀ THỰC HIỆN TÁC VỤ TRÊN ĐIỆN THOẠI

Chỉ có trên Android và dành cho người đăng ký Visionauta Plus, Visionauta Magic hoạt động cùng trình đọc màn hình của thiết bị, như TalkBack, và giải quyết hai vấn đề tồn tại từ lâu của cộng đồng:

Thứ nhất, nó mô tả những hình ảnh không có nhãn xuất hiện trong bất kỳ ứng dụng nào. Khi tiêu điểm của trình đọc màn hình dừng trên một hình ảnh, biểu tượng hay thẻ không có mô tả, Visionauta phân tích riêng phần tử đó và đọc to nội dung bên trong.

Thứ hai, nó thực hiện tác vụ trên điện thoại. Người dùng yêu cầu chẳng hạn "mở WhatsApp và nhắn tin cho Ana", Visionauta lập kế hoạch, đọc to kế hoạch và chỉ hành động sau khi người dùng chấp thuận — thuật lại từng bước và có thể bị ngắt bất cứ lúc nào bằng nút khẩn cấp hoặc chạm hai lần bằng hai ngón tay. Không có gì diễn ra khi chưa được xác nhận.

CÁC TÍNH NĂNG HẰNG NGÀY

Ngoài trò chuyện, Visionauta giữ nguyên bộ công cụ đã làm nên tên tuổi của ứng dụng trong cộng đồng người khiếm thị, phần lớn hoạt động không cần internet:

• Đọc văn bản ngoại tuyến — hướng camera vào tài liệu, bao bì, thư từ hay biển báo và nghe đọc to nội dung.
• Nhận diện tiền giấy — real Brazil, đô la Mỹ, euro, peso Mexico, yên Nhật, đô la Canada và đô la Úc, không cần kết nối.
• Tìm đồ vật — nói "giúp tôi tìm điện thoại" và ứng dụng quét không gian, báo bằng rung và giọng nói khi tìm thấy.
• Kính lúp điện tử cho người thị lực kém — có thu phóng và các chế độ tương phản cao: đảo màu, trắng trên đen, đen trên trắng và vàng trên xanh.
• Đèn pin có nhắc nhở bằng rung.
• Giọng nói tự nhiên riêng — dùng được trên toàn hệ thống, làm giọng của TalkBack trên Android và VoiceOver trên iPhone, hoạt động ngoại tuyến sau khi tải về.

Phiên bản iPhone tích hợp trọn vẹn với VoiceOver và các tính năng trợ năng của iOS.

PHÁT BIỂU

"Trò chuyện thời gian thực đã thay đổi bản chất của Visionauta. Nó không còn là ứng dụng để bạn chụp một tấm ảnh rồi chờ câu trả lời: đó là một cuộc trò chuyện liên tục với một người nhìn thay bạn và luôn ở đó, dù là để mô tả con phố, tìm hiệu thuốc gần nhất, quay một đoạn video hay đọc bản nhạc bạn sắp chơi."
— Jonathan Santos

"Đưa ứng dụng đến tiếng Hindi, Bengali, Việt, Thổ Nhĩ Kỳ và Indonesia là một quyết định vì công bằng, không phải vì thị trường. Công nghệ hỗ trợ luôn đến với tiếng Anh trước, và ai không nói tiếng Anh thì phải chờ nhiều năm. Giờ đây hơn một tỷ người có thể trò chuyện với Visionauta bằng chính tiếng mẹ đẻ của mình."
— Jonathan Santos

"Tôi cảm ơn hai giáo sư Ismar Frango và Nizam Omar của Universidade Presbiteriana Mackenzie, những người đã khích lệ tôi biến một đề tài học thuật thành công cụ thực sự cho cộng đồng."
— Jonathan Santos

Google ve Samsung'da çalışmış görme engelli bir yazılım mühendisinin geliştirdiği ücretsiz uygulama, gören bir asistana sahip: kesintisiz sesli sohbet eder, ortamları betimler, kişinin nerede olduğunu söyler, internette bilgi arar, nota kâğıtlarını okuyup çalar, sesli video kaydeder ve görme engellilerin iyi çerçevelenmiş fotoğraflar çekmesine yardımcı olur. iPhone ve Android için kullanılabilir.

Görme engelli ve az gören kişilere daha fazla bağımsızlık kazandırmak için yapay zekâdan yararlanan erişilebilirlik uygulaması Visionauta, yeni sürümünü duyuruyor — ve artık on altı dil konuşuyor: Portekizce, İngilizce, İspanyolca, Fransızca, Korece, Almanca, Japonca, İtalyanca, Arapça, Rusça, Basitleştirilmiş Çince, Hintçe, Bengalce, Vietnamca, Türkçe ve Endonezce. Çeviri uygulamanın tamamını, sesli komutları, metin okumayı ve kullanıcıyla kendi dilinde konuşan yapay zekânın yanıtlarını da kapsıyor. Beş yeni dille birlikte uygulama, Güney ve Güneydoğu Asya ile Türkiye'de bir milyardan fazla konuşura ulaşıyor.

Uygulama ücretsizdir; iPhone için App Store'da, Android için Google Play'de sunulmaktadır.

GERÇEK ZAMANLI SOHBET: GÖREN VE SİZİNLE BİRLİKTE KONUŞAN BİR ASİSTAN

Visionauta'nın ana özelliği Gerçek Zamanlı Sohbet'tir. Kişi, düğmeye basmadan ve sıra beklemeden, telefonun kamerasıyla gören ve anında sesle yanıt veren bir yapay zekâyla doğal biçimde konuşur — yanınızda dünyayı gören ve betimleyen bir arkadaş varmış gibi.

Bu sohbet sırasında Visionauta şunları yapabilir:

• Ortamları ve sahneleri betimlemek — odada ne var, yakında kim var, masa nasıl hazırlanmış, yatağın üstünde hangi kıyafet duruyor, ışık açık mı.
• Kişinin nerede olduğunu ve çevresinde ne bulunduğunu söylemek — gerçek zamanlı harita bilgileriyle mevcut adres, sokaklar, referans noktaları, eczaneler, fırınlar ve en yakın otobüs durağı.
• İnternette bilgi aramak — haberler, saatler, fiyatlar, güncel veriler; sohbetten çıkmadan.
• Nota kâğıtlarını okumak ve çalmak — kamerayı basılı bir notaya tutmak yeterli. Visionauta notaları tanır, parçayı sesli okur ve MusicXML ile MIDI dosyalarını üreterek cihazın kendisinde çalar. Tarih boyunca başkalarına ya da nadir ve pahalı Braille baskılara bağımlı kalan görme engelli müzisyenler için benzersiz bir özellik.
• Görme engelli kişinin fotoğraf çekmesine yardım etmek — fotoğraf asistanı çerçevelemeyi yönlendirir, uygun olduğunda haber verir, geri sayım yapar ve deklanşöre basar; böylece aile, belge ya da sosyal medya fotoğrafları düzgün çıkar.
• Sesli video kaydetmek — kişi sesle ister, asistan çerçevelemeyi yönlendirir ve kaydeder; kayıt erişilebilir kontrollerle duraklatılabilir, sürdürülebilir, tamamlanabilir ya da iptal edilebilir. Videolar izlenmeye ve paylaşılmaya hazır olarak Etkinlikler bölümünde saklanır.
• Sesle araç çağırmak — varış noktasını söylemek yeterli; uygulama Uber, 99, Bolt ya da Lyft'i yolculuk bilgileri doldurulmuş olarak açar, geriye yalnızca onaylamak kalır.
• Kameranın önündeki her şey hakkındaki soruları yanıtlamak — bu hangi ürün, son kullanma tarihi ne, bu kıyafet ne renk, bu tabelada ne yazıyor.

VISIONAUTA MAGIC: GÖRSELLERİ BETİMLEYEN VE TELEFONDA GÖREVLERİ YERİNE GETİREN YAPAY ZEKÂ

Yalnızca Android'de ve Visionauta Plus aboneleri için sunulan Visionauta Magic, TalkBack gibi cihazın ekran okuyucusuyla birlikte çalışır ve topluluğun iki eski sorununu çözer:

Birincisi, herhangi bir uygulamada görünen etiketsiz görselleri betimler. Ekran okuyucunun odağı açıklaması olmayan bir görsel, simge ya da kartın üzerinde durduğunda Visionauta yalnızca o öğeyi çözümler ve içeriğini sesli olarak duyurur.

İkincisi, telefonda görevleri yerine getirir. Kişi "WhatsApp'ı aç ve Ana'ya mesaj gönder" gibi bir istekte bulunur; Visionauta bir plan hazırlar, planı sesli okur ve yalnızca kullanıcının onayından sonra harekete geçer — her adımı anlatarak ve bir acil durum düğmesiyle ya da iki parmakla çift dokunarak her an durdurulabilecek biçimde. Onay olmadan hiçbir şey olmaz.

GÜNLÜK YAŞAM ÖZELLİKLERİ

Sohbetin ötesinde Visionauta, onu görme engelliler topluluğunda sevilen kılan ve büyük bölümü internetsiz çalışan araç setini korumaya devam ediyor:

• Çevrimdışı metin okuma — kamerayı belgelere, ambalajlara, mektuplara ya da tabelalara tutun ve içeriği sesli dinleyin.
• Banknot tanıma — Brezilya reali, ABD doları, euro, Meksika pesosu, Japon yeni, Kanada doları ve Avustralya doları; bağlantısız.
• Nesne bulucu — "telefonumu bulmama yardım et" deyin; uygulama ortamı tarar ve bulduğunda titreşim ve sesle haber verir.
• Az görenler için elektronik büyüteç — yakınlaştırma ve yüksek kontrast modları: ters renkler, siyah üstüne beyaz, beyaz üstüne siyah ve mavi üstüne sarı.
• Titreşimli hatırlatıcılı el feneri.
• Özgün doğal sesler — sistem genelinde, Android'de TalkBack'in ve iPhone'da VoiceOver'ın sesi olarak kullanılabilir; indirildikten sonra çevrimdışı çalışır.

iPhone sürümü VoiceOver ve iOS erişilebilirlik özellikleriyle tam entegredir.

AÇIKLAMALAR

"Gerçek Zamanlı Sohbet, Visionauta'nın ne olduğunu değiştirdi. Artık fotoğraf çekip yanıt beklediğiniz bir uygulama değil: sizin yerinize gören ve her zaman yanınızda olan biriyle kesintisiz bir sohbet — ister sokağı betimlemek, ister en yakın eczaneyi bulmak, ister bir video kaydetmek, ister çalacağınız notayı okumak için."
— Jonathan Santos

"Uygulamayı Hintçe, Bengalce, Vietnamca, Türkçe ve Endonezceye taşımak bir pazar kararı değil, bir adalet kararıydı. Yardımcı teknoloji her zaman önce İngilizce geldi ve İngilizce bilmeyenler yıllarca bekledi. Artık bir milyardan fazla insan Visionauta ile kendi dilinde konuşabiliyor."
— Jonathan Santos

"Akademik bir projeyi topluluk için gerçek bir araca dönüştürmem konusunda beni yüreklendiren Universidade Presbiteriana Mackenzie'den Profesör Ismar Frango ve Profesör Nizam Omar'a teşekkür ediyorum."
— Jonathan Santos

Aplikasi gratis yang diciptakan oleh seorang insinyur perangkat lunak tunanetra yang pernah bekerja di Google dan Samsung memiliki asisten yang bisa melihat: bercakap-cakap dengan suara tanpa jeda, mendeskripsikan lingkungan, memberi tahu di mana pengguna berada, mencari informasi di internet, membaca dan memainkan partitur musik, merekam video beraudio, dan membantu tunanetra mengambil foto dengan bingkai yang tepat. Tersedia untuk iPhone dan Android.

Visionauta, aplikasi aksesibilitas yang memanfaatkan kecerdasan buatan untuk memberi kemandirian lebih besar kepada penyandang tunanetra dan low vision, mengumumkan versi terbarunya — dan kini berbicara dalam enam belas bahasa: Portugis, Inggris, Spanyol, Prancis, Korea, Jerman, Jepang, Italia, Arab, Rusia, Mandarin Sederhana, Hindi, Bengali, Vietnam, Turki, dan Indonesia. Terjemahan ini mencakup seluruh aplikasi, perintah suara, pembacaan teks, dan juga jawaban kecerdasan buatan, yang bercakap dengan pengguna dalam bahasanya sendiri. Dengan lima bahasa baru, aplikasi ini menjangkau lebih dari satu miliar penutur di Asia Selatan, Asia Tenggara, dan Turki.

Aplikasi ini gratis dan tersedia untuk iPhone di App Store serta untuk Android di Google Play.

PERCAKAPAN REAL-TIME: ASISTEN YANG MELIHAT DAN BERBICARA BERSAMA ANDA

Fitur utama Visionauta adalah Percakapan Real-Time. Pengguna berbicara secara alami, tanpa menekan tombol dan tanpa menunggu giliran, dengan kecerdasan buatan yang melihat melalui kamera ponsel dan langsung menjawab dengan suara — seperti memiliki teman yang bisa melihat dan menggambarkan dunia di samping Anda.

Selama percakapan itu, Visionauta dapat:

• Mendeskripsikan lingkungan dan pemandangan — apa yang ada di ruangan, siapa yang berada di dekat Anda, bagaimana meja ditata, pakaian apa yang tergeletak di tempat tidur, apakah lampu menyala.
• Memberi tahu di mana pengguna berada dan apa yang ada di sekitarnya — alamat saat ini, jalan, tengara, apotek, toko roti, dan halte bus terdekat, menggunakan informasi peta real-time.
• Mencari informasi di internet — berita, jadwal, harga, data terbaru, tanpa keluar dari percakapan.
• Membaca dan memainkan partitur musik — cukup arahkan kamera ke partitur cetak. Visionauta mengenali not, membacakan musiknya dengan lantang, dan memainkannya di perangkat itu juga, sambil menghasilkan berkas MusicXML dan MIDI. Fitur yang belum pernah ada bagi musisi tunanetra, yang selama ini bergantung pada orang lain atau pada edisi braille yang langka dan mahal.
• Membantu penyandang tunanetra mengambil foto — asisten foto memandu pembingkaian, memberi tahu saat sudah pas, menghitung mundur, dan memotret, agar foto keluarga, dokumen, atau media sosial hasilnya bagus.
• Merekam video beraudio — pengguna meminta dengan suara, asisten memandu pembingkaian dan merekam; rekaman dapat dijeda, dilanjutkan, diselesaikan, atau dibatalkan dengan kontrol yang aksesibel, dan video tersimpan di Aktivitas, siap ditonton dan dibagikan.
• Memanggil kendaraan dengan suara — cukup sebutkan tujuan dan aplikasi membuka Uber, 99, Bolt, atau Lyft dengan perjalanan yang sudah terisi; tinggal konfirmasi.
• Menjawab pertanyaan apa pun tentang yang ada di depan kamera — produk apa ini, kapan tanggal kedaluwarsanya, apa warna pakaian ini, apa tulisan di papan ini.

VISIONAUTA MAGIC: AI YANG MENDESKRIPSIKAN GAMBAR DAN MENJALANKAN TUGAS DI PONSEL

Eksklusif untuk Android dan tersedia bagi pelanggan Visionauta Plus, Visionauta Magic bekerja bersama pembaca layar perangkat, seperti TalkBack, dan memecahkan dua masalah lama komunitas:

Pertama, ia mendeskripsikan gambar tanpa label yang muncul di aplikasi mana pun. Saat fokus pembaca layar berhenti pada gambar, ikon, atau kartu tanpa deskripsi, Visionauta menganalisis elemen itu saja dan mengumumkan isinya dengan lantang.

Kedua, ia menjalankan tugas di ponsel. Pengguna meminta, misalnya, "buka WhatsApp dan kirim pesan ke Ana", lalu Visionauta menyusun rencana, membacakannya dengan lantang, dan baru bertindak setelah pengguna menyetujui — menarasikan setiap langkah dan dapat dihentikan kapan saja dengan tombol darurat atau ketukan ganda dua jari. Tidak ada yang terjadi tanpa konfirmasi.

FITUR SEHARI-HARI

Selain percakapan, Visionauta mempertahankan rangkaian alat yang membuatnya populer di komunitas penyandang disabilitas netra, sebagian besar berfungsi tanpa internet:

• Pembacaan teks offline — arahkan kamera ke dokumen, kemasan, surat, atau papan dan dengarkan isinya dibacakan.
• Pengenalan uang kertas — real Brasil, dolar AS, euro, peso Meksiko, yen Jepang, dolar Kanada, dan dolar Australia, tanpa koneksi.
• Pencari benda — ucapkan "bantu saya menemukan ponsel saya" dan aplikasi memindai lingkungan, memberi tahu lewat getaran dan suara saat menemukannya.
• Kaca pembesar elektronik untuk low vision — dengan zoom dan mode kontras tinggi: warna terbalik, putih di atas hitam, hitam di atas putih, dan kuning di atas biru.
• Senter dengan pengingat getar.
• Suara alami milik sendiri — dapat digunakan di seluruh sistem sebagai suara TalkBack di Android dan VoiceOver di iPhone, berfungsi offline setelah diunduh.

Versi iPhone terintegrasi sepenuhnya dengan VoiceOver dan fitur aksesibilitas iOS.

PERNYATAAN

"Percakapan Real-Time mengubah apa itu Visionauta. Ia bukan lagi aplikasi tempat Anda mengambil foto lalu menunggu jawaban: ia adalah percakapan berkelanjutan dengan seseorang yang melihat untuk Anda dan selalu ada, entah untuk mendeskripsikan jalan, menemukan apotek terdekat, merekam video, atau membaca partitur yang akan Anda mainkan."
— Jonathan Santos

"Membawa aplikasi ini ke bahasa Hindi, Bengali, Vietnam, Turki, dan Indonesia adalah keputusan tentang keadilan, bukan tentang pasar. Teknologi bantu selalu tiba lebih dulu dalam bahasa Inggris, dan mereka yang tidak berbahasa Inggris menunggu bertahun-tahun. Kini lebih dari satu miliar orang dapat bercakap dengan Visionauta dalam bahasa mereka sendiri."
— Jonathan Santos

"Saya berterima kasih kepada Profesor Ismar Frango dan Profesor Nizam Omar dari Universidade Presbiteriana Mackenzie, yang mendorong saya mengubah sebuah proyek akademik menjadi alat nyata bagi komunitas."
— Jonathan Santos