Des histoires de l'Alpha : la voiture qui brillait par son absence
2/10/2020
Traduction: Anne-Salomé Evéquoz
J'appuie sur le déclencheur pour prendre en photo une voiture de course qui passe à toute vitesse. L'IA me donne un panorama paisible, mais sans voiture de course... Bien que la photo soit inutile, elle donne un aperçu de la manière dont travaille un appareil photo de smartphone.
De temps en temps, je profite d'un logiciel qui est « presque au point ». Ce sont de très bons moments dans mon travail. Seul avec un logiciel inachevé, je peux jeter un œil derrière les coulisses. Malheureusement, les fabricants de smartphones semblent avoir honte des logiciels presque terminés ou pensent que personne ne voudra acheter les téléphones en sachant que certains logiciels ne seront pas au point tout de suite.
Je ne comprends pas, car, pour un geek comme moi, c'est super intéressant. On peut découvrir comment un téléphone fait certains trucs, ce que pense l'intelligence artificielle (IA) et pourquoi un fabricant a pris telle ou telle décision.
Les logiciels alpha ou bêta sont quelque chose que j'apprécie. De plus, chers fabricants, je suis sûr que mes lecteurs sont suffisamment malins pour savoir que le logiciel sur leur natel sera prêt à un moment donné.
Donc : Oppo.
Aujourd'hui, l'Oppo Reno 4 Pro est lancé sur le marché. J'en ai un depuis la semaine dernière et l'avais avec moi lors des 24 Heures du Nürburgring. C'était mouillé et vraiment cool.
Le cas de la voiture de course disparue
La nuit tombe. L'Oppo Reno 4 Pro est décrit comme un bon téléphone pour les prises de vue nocturnes, que ce soit pour les photos ou les vidéos. Il est temps de le tester. Je suis à droite de la ligne d'arrivée, j'entends le vrombissement d'un moteur au loin et vois les phares du véhicule. Vu qu'un smartphone a besoin de quelques dixièmes de seconde entre le moment où on appuie sur le déclencheur et la capture, j'appuie sur le bouton lorsque la voiture se trouve dans le tiers gauche de l'image.
Voici le résultat :
En réalité, une voiture de course se trouve sur la photo, mais l'IA l'a ignorée. Que s'est-il passé ?
Ce que je voulais, c'était plus ou moins ça (si j'ose vous le montrer avec mes mauvais talents de Photoshop) :
Étant donné que le logiciel de prévisualisation de mon Oppo n'est pas encore à 100 % compatible avec l'appareil photo, l'IA fait une erreur avec le matériel qu'elle reçoit de l'appareil.
L'anatomie d'une prise de vue sur smartphone
Une photo de smartphone n'est pas une photo au sens traditionnel du terme. En effet, un cliché est une photo assemblée par l'IA et constituée de deux ou plusieurs prises de vue. Pour l'exemple ici, je pars de trois prises, même si en général il s'agit de bien plus que ça.
Une photo de la perspective de l'utilisateur
J'appuie sur le déclencheur lorsque la voiture se trouve dans le premier tiers de l'image.
L'Oppo prend la photo lorsque la voiture se trouve au centre de l'image.
Au moment où la voiture atteint le bord droit de l'image, c'est trop tard.
Une photo de la perspective du smartphone
Le smartphone commence déjà à calculer dès le moment où l'application appareil photo est lancée. Il cherche des points fixes dans l'image et, en fonction de l'image qu'il détecte, il propose un mode tel que « nuit », « ciel bleu » ou « chat ».
Le téléphone reçoit ensuite l'instruction de l'utilisateur de prendre une photo.
Au cours des prochaines dixièmes de seconde, le smartphone enregistre autant de prises que possible.
À la fin de la phase d'enregistrement, la voiture de course se trouve probablement déjà hors cadre en raison de sa vitesse.
Lorsque la voiture se lance dans un nouveau tour, l'IA du smartphone est toujours au travail. Elle analyse le matériel de l'image, les trois photos ou plus, et bricole le tout en une seule photo avant de supprimer les données brutes. La photo finie produite par l'Oppo Reno 4 Pro pèse 10 905 Ko, ce qui est déjà considérable. S'il s'agit de trois plans, alors ce sont grosso modo 30 mégaoctets de données brutes. Pour 12 prises, cela ferait 120 Mo. Personne n'a besoin d'autant de déchets de données.
L'IA réfléchit donc à ce que l'utilisateur veut voir sur sa photo. Elle se souvient des réglages initiaux et pense que, dans notre exemple, j'aimerais une sorte de panorama de la tribune d'en face sans perturbation. Les images prises fournissent à l'IA suffisamment d'éléments pour travailler. Dans les trois à douze photos prises, il y en a suffisamment où la voiture n'est pas visible.
Une première photo ressemble à ça :
et une photo prise plus tard, à ça :
L'IA prend donc le tiers de gauche et le tiers de droite de la première photo et le milieu de la deuxième pour ensuite les assembler, optimiser les couleurs et créer le panorama nocturne paisible. L'idée de l'IA est claire : la voiture est considérée comme une perturbation qu'il faut éliminer de la photo. Trop rapide, trop petite, alors ciao. L'IA est fière comme un coq et le photographe au Nürburgring se marre.
D'autres essais montrent que l'IA est tout à fait capable de reproduire les phares de la voiture de course qui passe à toute vitesse, mais apparemment pas au centre de la photo.
Voilà, j'ai fini. Au fait, la mise à jour avec le logiciel amélioré de l'appareil photo est arrivée ce matin.
Journaliste. Auteur. Hackers. Je suis un conteur d'histoires à la recherche de limites, de secrets et de tabous. Je documente le monde noir sur blanc. Non pas parce que je peux, mais parce que je ne peux pas m'en empêcher.
Smartphone
Suivez les thèmes et restez informé dans les domaines qui vous intéressent.
6 commentaires
later