Geschichten aus der Alpha: Das Auto, das nicht da ist
2.10.2020
Ich knipse. Ein Foto von einem vorbeirasenden Rennauto soll es werden. Ein ruhiges Panorama gibt mir die AI – ohne Rennauto. Obwohl das Bild nutzlos ist, liefert es Einsicht zur Arbeitsweise einer Smartphone-Kamera.
Dann und wann komme ich in den Genuss von Software, die «fast fertig» ist. Das sind so richtig gute Momente in meinem Job. Nirgendwo kann ich besser hinter die Kulissen blicken als mit unfertiger Software. Leider scheint die fast fertige Software den Smartphone-Herstellern peinlich zu sein oder sowas. Oder sie denken, dass keiner die Phones kaufen will, wenn sie wissen, dass es mal unfertige Software gegeben hat.
Verstehe ich nicht. Denn für Tech-Nerds ist das hochinteressant. Wir können herausfinden, wie ein Phone gewisse Dinge macht, was sich die künstliche Intelligenz (AI) denkt und wieso ein Hersteller eine gewisse Entscheidung gefällt hat.
Alpha- oder Beta-Software ist etwas, das ich geniesse. Und, liebe Hersteller, ich bin mir sicher, dass meine Leser schlau genug sind, zu wissen, dass die Software auf ihrem Phone dann fertig sein wird.
Also dann: Oppo.
Heute kommt das Oppo Reno 4 Pro auf den Markt. Ich habe seit vergangener Woche eins und hatte es am 24-Stunden-Rennen auf dem Nürburgring dabei. Nass wars. Und verdammt cool.
Der Fall des verschwundenen Rennwagens
Es wird Nacht. Das Oppo Reno 4 Pro wird als gutes Phone für Aufnahmen bei Nacht beschrieben. Egal, ob Video oder Foto. Zeit, das auszuprobieren. Ich bin rechts von der Zielgerade. Ich höre einen Motor in der Distanz daherrasen, sehe die Lichter des Fahrzeugs. Da ein Smartphone einige Zehntelsekunden braucht zwischen meinem Druck auf den Auslöser und der Aufnahme drücke ich auf den Soft Button, wenn das Rennauto im linken Drittel des Bildes ist.
Das Resultat:
Da ist ein Rennauto im Bild. Eigentlich. Aber die AI hat es ignoriert. Was ist passiert?
Was ich wollte, war ungefähr das – wenn ich das mit meinen richtig schlechten Photoshop-Künsten darstellen darf:
Da jetzt aber die Preview-Software auf meinem Oppo noch nicht zu 100% mit der Kamera kompatibel zusammenarbeitet, macht die AI einen Denkfehler mit dem Material, das sie von der Kamera geliefert bekommt.
Anatomie einer Smartphone-Aufnahme
Ein Foto aus einem Smartphone ist nicht ein Foto im traditionellen Sinne. Ein Schnappschuss ist ein von der AI zusammengestückeltes Bild, das aus zwei oder mehreren Aufnahmen besteht. Für das Beispiel gehe ich von drei Aufnahmen aus, obwohl es in der Regel weit mehr sind.
Ein Foto aus der sicht des Users
Ich drücke ab, wenn das Auto im ersten Drittel des Bildes ist.
Das Oppo macht den Schnappschuss, wenn das Auto in der Mitte des Bildes ist.
Wenn das Auto am rechten Bildschirmrand ist, ist es zu spät.
Ein Foto aus der Sicht des Smartphones
Das Smartphone rechnet bereits mit, wenn die Kamera-App gestartet wird. Sie sucht sich Fixpunkte im Bild, schlägt vor, welche Art von Szene sie sieht. Darunter können «Nacht», «Blauer Himmel» oder «Katze» sein.
Das Phone bekommt den Input vom User, dass es ein Bild aufnehmen soll.
Im Laufe der nächsten paar Zehntelsekunden nimmt das Smartphone dann so viele Bilder auf, wie es kann.
Da ein Rennauto recht schnell ist, ist es eventuell am Ende der Aufnahmephase schon wieder aus dem Bild.
Wenn das Auto in eine neue Runde startet, ist die AI im Phone nach wie vor an der Arbeit. Es analysiert das Bildmaterial, die drei oder mehr Bilder, und stückelt dann etwas zusammen. Die Rohdaten löscht es dann. Ein fertiges Foto aus dem Oppo Reno 4 Pro ist 10 905 Kilobyte gross, was ziemlich gross ist. Wenn da jetzt drei Aufnahmen sind, dann sind da Handgelenk mal Pi 30 Megabyte Rohdaten. Bei 12 Aufnahmen wären das 120 MB. So viel Datenmüll braucht niemand.
Die AI denkt also nach, was der User auf dem Bild sehen möchte. Es erinnert sich an die Settings vom Anfang und denkt sich wahrscheinlich, dass im vorliegenden Fall eine Art Panorama der Tribüne ohne Störung gewünscht ist. Das Bildmaterial gibt der AI genug, um damit zu arbeiten. In den drei bis zwölf Bildern sind genug Bilder, dass jedes bitzli Strasse autofrei ist.
Ein frühes Bild sieht so aus
Ein späteres so:
Die AI nimmt also das linke und rechte Drittel aus der ersten Aufnahme und die Mitte aus der zweiten Aufnahme. Diese werden zusammengefügt, die Farben werden optimiert, und das ruhige Nachtpanorama entsteht. Denn der Gedanke der AI ist klar: Das Auto ist ein Störfaktor, der nicht wirklich da sein sollte. Zu schnell, zu klein, also weg damit. Die AI ist stolz auf sich, der Fotograf am Nürburgring muss lachen.
Weitere Versuche ergeben, dass die AI durchaus in der Lage ist, die Lichter des vorbeirasenden Rennwagens abzubilden, aber offensichtlich nicht in der Mitte des Bildes.
So. Fertig. Das Update mit verbesserter Kamerasoftware ist übrigens heute Morgen reingelaufen.
Journalist. Autor. Hacker. Ich bin Geschichtenerzähler und suche Grenzen, Geheimnisse und Tabus. Ich dokumentiere die Welt, schwarz auf weiss. Nicht, weil ich kann, sondern weil ich nicht anders kann.
Smartphone
Folge Themen und erhalte Updates zu deinen Interessen
6 Kommentare
later