Google Magic Pointer : la première révolution du curseur de souris.

Google DeepMind a dévoilé le Magic Pointer, un curseur propulsé par Gemini capable de comprendre ce qu’il survole. Ce dispositif, conçu par Adrien Baranes et Rob Marchant, intègre le modèle de langage Gemini directement dans le pointeur des nouveaux ordinateurs de Google, les Googlebook.

Le pointeur de souris, inchangé depuis plus de cinquante ans, a été totalement repensé. Google DeepMind a présenté le Magic Pointer, un curseur propulsé par Gemini capable de comprendre ce qu’il survole et d’agir en conséquence.

Depuis la démonstration historique de Doug Engelbart en 1968, le pointeur qui glisse sur nos écrans n’a pas vraiment évolué. Il transmettait des coordonnées, cliquait et faisait glisser, mais n’avait aucune conscience de ce qu’il touchait. Un tableau Excel, une adresse postale ou une photo de mobilier étaient, pour lui, de simples amas de pixels colorés, sans signification propre.

C’est ce paradigme que Google DeepMind, le laboratoire de recherche en intelligence artificielle d’Alphabet, la maison mère de Google, cherche à bouleverser avec le Magic Pointer, récemment annoncé lors de l’Android Show : I/O Edition. Conçu par les chercheurs Adrien Baranes et Rob Marchant, le dispositif intègre le modèle de langage Gemini directement dans le pointeur des nouveaux ordinateurs de Google, les Googlebook. Ainsi, le curseur ne se contente plus de localiser, il comprend et agit.

D’autres entreprises ont misé sur des fenêtres de chatbot séparées, obligeant l’utilisateur à copier-coller des contenus et à rédiger des prompts complexes. Google prend une approche radicalement différente : l’IA suit l’attention de l’utilisateur, résidant dans le pointeur lui-même. Bien que l’idée semble simple, elle marque un changement majeur dans la manière dont les humains interagiront avec les machines.

Le Magic Pointer repose sur quatre principes fondamentaux.

Le premier est le maintien du flux de travail. L’IA fonctionne directement dans toutes les applications, sans nécessiter de changer d’onglet ni d’ouvrir un outil externe, permettant ainsi de garder la concentration sur la tâche en cours. Le deuxième principe est le « show and tell » : le système capture automatiquement le contexte visuel et sémantique autour du pointeur, voyant ce que l’utilisateur désigne avant même qu’il ne l’énonce.

Le troisième principe utilise la puissance du langage naturel et des gestes. L’utilisateur peut dire « déplace ça là-bas » en pointant deux zones distinctes de l’écran, et le système interprète l’intention combinée du geste et de la parole. Enfin, le quatrième principe transforme les pixels en entités sur lesquelles on peut agir : une adresse devient un lien vers Maps, une date se transforme en événement de calendrier, une photo de meuble devient un élément à visualiser dans son propre salon, etc.

Les scénarios d’utilisation sont variés. Survoler un tableau de données d’un PDF et prononcer « transforme ça en graphique » suffit : le Magic Pointer délimite le tableau, analyse les données et génère la visualisation, sans copier-coller ni manipulation intermédiaire.

Pointer un bâtiment dans une vidéo YouTube et dire « montre-moi l’itinéraire » déclenche une recherche Maps ciblée sur le bâtiment reconnu dans la vidéo. Surligner une recette de cuisine et demander à doubler les quantités permet au pointeur de traiter le texte comme un objet structuré.

Cependant, pour comprendre ce que l’utilisateur désigne, le Magic Pointer doit analyser en continu l’intégralité de l’écran, ce qui soulève des préoccupations. Lors de son annonce, Google n’a pas précisé si les traitements s’effectuent localement grâce à l’unité de traitement neuronal (NPU) intégrée dans le Googlebook ou si les données sont traitées sur les serveurs de l’entreprise. La question de la rétention des données, c’est-à-dire si l’historique des actions du pointeur est conservé pour entraîner de futures versions de Gemini, n’a pas été abordée. La politique de confidentialité reste floue et nécessite des clarifications pour que chacun puisse l’accepter ou la refuser.

Cette fonctionnalité peut déjà être testée depuis cette page.

Google a également annoncé des modifications importantes dans toutes ses applications logicielles. Google Maps entame sa plus grande transformation avec une refonte en vue 3D et la fonction Immersive Navigation. Gemini continue de s’améliorer avec l’automatisation des tâches, notamment le remplissage automatique des formulaires. Concernant les téléphones, la compatibilité native Quick Share avec AirDrop sera déployée sur de nombreux smartphones, pendant qu’une série de nouveaux émojis fera son apparition.

Parmi les nouveaux produits compatibles Android, les Googlebook, nouveaux PC portables sous Android, sont à signaler, ainsi que le déploiement progressif de Gemini sur Android Auto dans plus de 250 millions de véhicules.

Cet Android Show 2026 a constitué une mise en bouche de la Google I/O2 2026, qui se tiendra le 19 mai. La conférence d’une quarantaine de minutes est disponible en vidéo.

Envie de retrouver les meilleurs articles de Frandroid sur Google News ? Vous pouvez suivre Frandroid sur Google News en un clic.