Craig Federighi erklärt wie Apple Pencil Scribble entwickelt wurde

Der Informatiker und Senior Vice President für Software-Entwicklung bei Apple, Craig Federighi, erklärte in einem Interview mit dem Magazin Popular Mechanics, wie es zur Entwicklung der  Apple Pencil Funktion Scribble kam.

In iPadOS 14 können Anwender mit dem Apple Pencil handschriftlich verfasste Notizen in Text umwandeln lassen, indem Scribble mit seiner intelligenten Handschrifterkennung arbeitet.

Wie entstand Apple Pencil Scribble?

Die iPadOS 14 Scribble-Funktion erlaubt es Apple Pencil Nutzern handschriftliche Notizen in jedes Textfeld einzutragen, wie etwa in das Adressfeld von Safari oder Eingabefeld der Messenger-App. Das Handgeschriebene wird automatisch in Text umgewandelt, wodurch Anwender nicht zwischen der Tastatur und dem Apple Pencil für Eingaben wechseln müssen.

Wie Craig Federighi gegenüber Popular Mechanics erläuterte, ist die Basis für die Scribble Funktion die Datenerfassung. In der Entwicklungsphase fand Menschen rund um den Globus und ließ sie Dinge per Apple Pencil schreiben. Sie schrieben seinen Angaben zufolge langsam, mit einer Neigung und allen weiteren Variationen.

Diese Methode ist anders als die relativ einfache Idee zum Scannen und Analysieren vorhandener Handschriften. Laut Apples Softwareentwickler-Chef reichten für Apples Technologie statische Beispiele nicht aus und mussten Striche sehen, die jeden Buchstaben bildeten. Wenn Striche verstanden werden und wissen, wie diese geschrieben wurde, sei damit eine klare Definition möglich.

Verarbeitung auf iPad

Wie bei einem Großteil der Funktionen für maschinelles Lernen von Apple-Produkten findet die gesamte Verarbeitung auf dem Gerät statt und resultiert in zahlreichen Herausforderungen. Die Handschrifterkennung müsse in Echtzeit auf dem Gerät passieren, wenn der Apple Pencil in der Hand gehalten und damit geschrieben wird.

Im Ergebnis muss die Rechenleistung so stark sein, dass die Verarbeitung lokal ausgeführt werden kann. Per Apple Scribble lassen sich handschriftliche Notizen einfacher erstellen.