0 votes

L'assistant Google peut-il interagir avec les applications lorsqu'elles sont ouvertes ?

J'aimerais savoir si Google Assistant peut interagir avec des applications lorsqu'elles sont ouvertes, et si vous pouvez me donner des exemples.

La raison de ma question est la suivante :

Je me demandais si Android permettait à Google Assistant d'interagir avec les applications ouvertes. Je sais que Google Assistant s'interface avec les applications qu'il peut ouvrir en les appelant avec des paramètres. Par exemple, si je lui dis "appelle Joe sur WhatsApp", il ouvre WhatsApp et appelle immédiatement Joe. Cependant, lorsque WhatsApp est ouvert, je peux ouvrir Google Assistant pour le superposer, mais je ne peux pas lui dire, une fois que l'appel a été pris, "basculer l'appel vers la vidéo". Cela pourrait être utile.

Ce que j'aimerais savoir, c'est si cette fonctionnalité est disponible dans l'API de l'assistant Google et, dans l'affirmative, pourquoi WhatsApp n'a pas implémenté l'interface. Si ce n'est pas le cas, cela pourrait être très utile, car une personne aveugle pourrait ainsi facilement passer un appel sur le téléphone de quelqu'un, même sur le téléphone de quelqu'un d'autre, qui se trouve dans la maison, et si un enfant à côté de la personne aveugle voulait appeler sa mère et passer à la vidéo après l'appel et que l'enfant était trop petit, alors la personne aveugle, ou la personne qui a accidentellement perdu sa vision temporairement en raison d'un accident, d'un problème de santé, ou autre, pourrait facilement le faire. La mère pourrait alors intervenir et faire ce qu'il faut pour offrir sa présence et, si nécessaire, son aide. Je pense qu'il s'agirait d'une fonction d'accessibilité importante que Google et WhatsApp pourraient mettre en œuvre et prendre en charge ensemble. Le téléphone que la personne aveugle utilise normalement avec TalkBack peut tomber en panne ou ne plus avoir de batterie. Il se peut aussi qu'un autre adulte de la maison s'évanouisse et que la personne aveugle s'en aperçoive et doive prendre la relève et utiliser le téléphone de l'autre personne aussi bien formée et aussi vite que possible, et qu'elle ne veuille pas avoir à activer TalkBack qui n'a peut-être pas été configuré sur l'autre téléphone ou dont le discours peut troubler l'enfant qui l'utilise, en lui faisant croire que le téléphone fait des choses qu'il ne veut pas qu'il fasse, ce qui pourrait amener l'enfant à s'emparer du téléphone de la personne aveugle et à rester impuissant, incapable de passer l'appel ou de faire ce qu'il a à faire sur le téléphone.

Je me demande si, dans un avenir proche, Google mettra en œuvre la possibilité pour les utilisateurs d'interagir avec les applications via Google Assistant lorsque ces applications sont ouvertes, plutôt que d'utiliser uniquement Google Assistant pour ouvrir ces applications.

D'autres applications pourraient également bénéficier d'une telle interface avec l'assistant Google, et ce d'innombrables façons. Par exemple, une application musicale pourrait permettre à l'utilisateur de modifier la musique diffusée par l'assistant. Une application d'appareil photo pourrait permettre à l'utilisateur de prendre une photo en le disant simplement à l'assistant après l'ouverture de l'application. YouTube pourrait jouer le dessin animé que l'assistant lui a demandé de jouer après que l'utilisateur a ouvert YouTube à partir de l'assistant. Il s'agit là de fonctions parfaitement raisonnables et extrêmement utiles, qui constituent des améliorations significatives du point de vue de la facilité d'utilisation pour un utilisateur aveugle qui doit faire face à un enfant impatient qui veut voir des choses sur le téléphone et ne sait pas écrire parce qu'il est trop jeune, alors que l'autre parent est absent de la maison pour cause de travail.

Merci.

1voto

Rehan Khwaja Points 332

L'assistant Google peut-il interagir avec les applications lorsqu'elles sont ouvertes ?

Oui et non, selon ce que vous entendez par Google Assistant et application

Google Assistant couvre un certain nombre de fonctionnalités, mais pour les besoins de cette réponse, nous nous intéresserons à deux ensembles spécifiques, dont les noms sont malheureusement similaires :

  • Google Actions - Services vocaux en nuage écrites par des développeurs tiers, à l'instar des compétences Alexa d'Amazon, qui permettent d'établir des conversations vocales avec une "application" dans le nuage. Bien que leur utilisation soit encouragée avec les enceintes interactives domestiques, vous pouvez les utiliser sur des appareils Android. Outre l'application Google elle-même, aucune application Android tierce n'est impliquée, mais le même service d'arrière-plan pour cette application tierce est probablement utilisé. Il faut savoir qu'une fois dans l'"application vocale", celle-ci utilise l'infrastructure vocale de Google pour transformer la parole en texte, et encore, seulement un nombre limité de synonymes qui sont ensuite utilisés par l'"application vocale".

  • Actions Google App / Raccourcis App - Un ensemble défini d'intentions Android qui sont envoyées à l'application Android correspondante. Notez que les intentions Android concernent généralement des actions impératives que l'application traitera ensuite intégralement.

Voir : https://developer.Android.com/guide/topics/ui/shortcuts#shortcut-capabilities

Une fois que l'intention Android est déclenchée, l'application réceptrice est mise au premier plan et, historiquement, l'application au premier plan est prioritaire, sauf pour la lecture de médias, les notifications ou les appels entrants. Ce n'est qu'à partir d'Android 10 qu'il est possible de prendre officiellement en charge la fonction entrée microphone partagée ce qui, bien entendu, soulève des questions de sécurité et de respect de la vie privée.

TalkBack est une application Google Accessibility, distincte de Google Assistant, qui permet une navigation assistée par la vue et une saisie par l'utilisateur.

Comment fonctionne TalkBack ?

Android, lorsqu'il a été lancé, prenait en charge la navigation à l'aide du pavé numérique et le concept de focalisation pour chaque élément visuel individuel utilisé par un développeur d'applications typique, à l'exception des jeux. L'ajout de métadonnées supplémentaires sur chaque champ visuel ne nécessite normalement pas de modification majeure du code. Principes d'accessibilité pour les développeurs Android . L'utilisation des API d'accessibilité d'Android permet à TalkBack de fournir une navigation et une entrée utilisateur assistées par la vue.

Ne puis-je donc pas parler à l'application Android tierce pour qu'elle fasse les choses de manière naturelle ?

Ce que vous décrivez nécessite une intégration plus poussée avec TalkBack. Mais TalkBack n'est pas nécessairement la seule application d'aide à l'accessibilité disponible. Toutes les API qu'elle utilise devraient exister dans le cadre Android. Par ailleurs, l'application Android tierce peut elle-même intégrer des fonctions de synthèse vocale.

Pourquoi l'application vocale tierce, ou Google Action, semble-t-elle plus naturelle/compréhensible que TalkBack ?

Ces services sont conçus d'abord pour la voix pendant le développement et utilisent le langage de balisage de la synthèse vocale (SSML) pour ajouter la prosodie nécessaire pour rendre le résultat plus naturel.

Android dispose de sa propre API appelée Espace TTSS pour ajouter des éléments de prosodie à la production orale. Cependant, il ne supporte pas directement SSML : Prise en charge de SSML dans Android TTS ? ce qui implique plus d'efforts de la part des développeurs qui souhaitent prendre en charge une synthèse vocale plus naturelle.

Qu'est-ce que cela signifie ?

Si un utilisateur dit "ajouter 5 au champ de chiffres", il est important de savoir ce que signifie "ajouter 5" et à quel "champ de chiffres" il fait référence. Les applications vocales seraient conçues pour répondre par "quel champ de chiffres, x ou y" ou pour réinitialiser la conversation afin que l'utilisateur et l'application soient synchronisés. Les applications Android sont principalement conçues pour être visuelles, avec des indices pour que la saisie soit conforme aux attentes (lettres autorisées, chiffres, longueur, etc.), l'accessibilité ou la voix étant une fonction supplémentaire prise en charge, mais pas une fonction principale.

TalkBack ou toute application d'accessibilité tierce n'a que la connaissance limitée exprimée par les balises d'accessibilité pour les champs qui se trouvent sur cet écran et n'a aucune connaissance de tout autre écran. Il n'existe pas d'API de cadre Android permettant à un développeur d'applications Android de dire à l'application d'accessibilité "si l'utilisateur dit xyz, faites foobar".

Qu'en est-il de l'intégration de la synthèse vocale directement dans l'application Android ?

La synthèse vocale est actuellement un service payant pour les applications tierces et est réalisée dans le nuage. Si la synthèse vocale est possible sur l'appareil, les développeurs d'applications peuvent se contenter d'un clavier personnalisé (GBoard, clavier OEM, etc.) pour gérer cet aspect. Par exemple, le champ de recherche de l'application YouTube pour Android permet de prononcer le sujet de la recherche en appuyant sur l'icône du microphone. L'application Facebook pour Android ne dispose pas d'un tel moyen dans l'application et dépend de l'application Clavier pour l'alimenter en texte. Il faut savoir que jusqu'à récemment, une reconnaissance vocale de bonne qualité nécessitait d'envoyer votre voix dans le nuage pour qu'elle soit analysée.

Mais si Android 10 et les versions ultérieures permettent l'accès partagé au microphone, il est possible d'intégrer d'autres fonctionnalités.

Oui, mais cela dépendrait du développeur de l'application d'accessibilité (Google ou une autre partie) et des centaines de milliers de développeurs d'applications tierces pour prendre en charge toute API, et à ma connaissance, il n'y a pas d'API pour cela dans le cadre d'Android.

0voto

Energetic Team Points 1

L'assistant Google peut ouvrir certains types d'applications, principalement celles qui sont directement liées à la musique, par exemple : YouTube Music, Maps et Calendar, mais aussi Messages et Phone. Cependant, lorsqu'il s'agit de jeux, il peut ne pas répondre de la même manière.

Cela dépend de la façon dont vous l'utilisez. Cela dépend de la question que vous posez. En général, vous devez être très précis, sinon il ne répondra pas comme vous le souhaitez. En d'autres termes, il n'agira probablement pas correctement et finira par vous donner quelque chose de complètement différent.

C'est pourquoi vous devez être aussi précis que possible lorsque vous posez une question ou donnez une réponse à un assistant, qu'il s'agisse de Google/Bixby/Cortana/Alexa/Siri, etc.

androidalle.com

AndroidAlle est une communauté de androiders où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X