- Apple arbeitet schon seit Jahren offen an der...
Es wird allgemein erwartet, dass Apple sein lange gemunkeltes Mixed-Reality-Headset im Rahmen der WWDC 2023 vorstellen wird. Dies kommt für einige überraschend, da Apple spätestens seit der WWDC 2017 das Loblied auf Augmented Reality gesungen hat. Damals begann Apple, die Grundlagen für die im Headset verwendete Technologie durch Entwickler-Tools auf dem iPhone und iPad zu schaffen.
Damals stellte Apple erstmals sein ARKit-Framework für erweiterte Realität vor, das Entwicklern hilft, immersive Erlebnisse auf iPhones und iPads zu erstellen.
ARKit war in den folgenden Jahren ein solcher Schwerpunkt für Apple, dass das Unternehmen einen Großteil seiner letzten Live-Keynotes der Vorstellung und Demonstration neuer AR-Funktionen widmete. Wer könnte die kargen Holztischplatten vergessen, die auf der Bühne als Oberfläche für den Bau virtueller LEGO-Sets dienten?
Durch die Betonung dieser Tools vermittelte Apple die Bedeutung der Augmented-Reality-Technologie als Teil der Zukunft seiner Plattformen.
Nicht nur die Software von iPhone und iPad wurde für eine Mixed-Reality-Zukunft entwickelt. Auch die Hardware von iPhone und iPad wurde so ausgestattet, dass sie als tragbare Fenster in eine Augmented-Reality-Welt dienen kann.
Beginnend mit Face ID und Apples Animoji-Funktion (und später Memoji) begann Apple, das iPhone für AR-Funktionen zu optimieren. Intern hat Apple die Neural Engine des iPhones so angepasst, dass sie problemlos mit Augmented Reality umgehen kann.
Die Hauptkamera des iPhones wurde sogar mit einem speziellen LiDAR-Sensor ausgestattet, so wie Lunar Rover, die auf der Mondoberfläche navigieren, oder fahrerlose Autos, die ihre Umgebung erfassen.
Es gab sogar ein Hardware-Update für das iPad Pro, das sich fast ausschließlich auf die Hinzufügung eines LiDAR-Scanners in der Rückkamera konzentrierte.
Und warum? Sicher, er half bei der Fokussierung und Tiefenerkennung für Fotos im Porträtmodus, aber es gab auch spezielle iPad-Apps, mit denen man sein Zimmer mit virtuellen Möbeln einrichten oder eine Brille anprobieren konnte, ohne das Gestell tatsächlich zu besitzen.
Es war von Anfang an klar, dass ARKit nicht ausschließlich für immersive Erlebnisse auf dem iPhone und iPad gedacht war. Der Bildschirm des Telefons ist zu klein, um wirklich immersiv zu sein, und das Gewicht des Tablets ist zu schwer, um es über einen längeren Zeitraum zu nutzen.
Es gibt durchaus eine Verwendung für AR auf iPhones und iPads. Das Fangen von Taschenmonstern in der realen Welt ist in Pokémon GO eher eine Spielerei als in einer rein digitalen Umgebung. Das Sezieren einer virtuellen Kreatur in einem Klassenzimmer kann auch einladender sein als das Anfassen echter Eingeweide.
Dennoch ist für die immersivste Erfahrung, die dem Gehirn vorgaukelt, dass man tatsächlich von den digitalen Inhalten umgeben ist, eine Brille erforderlich.
Bedeutet das, dass sich jeder für AR und VR genug interessiert, um das Headset zu einem Hit zu machen? Die Reaktionen auf AR auf dem iPhone und iPad waren bisweilen so, dass Apple eine Lösung auf der Suche nach einem Problem anbietet.
Dennoch gibt es einige Augmented-Reality-Erlebnisse, die eindeutig reizvoll sind.
Möchten Sie jede Dimension des angekündigten, aber noch nicht veröffentlichten iPhone oder MacBook sehen? Mit AR haben wahrscheinlich viele Leute den Mac Pro und das Pro Display XDR zum ersten Mal erlebt.
Die Projektion einer virtuellen Weltraumrakete im Maßstab 1:1 in Ihrem Wohnzimmer vermittelt Ihnen ebenfalls einen guten Eindruck von den Dimensionen dieser Geräte. Auch ein virtueller Raketenstart, bei dem Sie wie ein Passagier auf die Erde zurückblicken können, kann sehr aufregend sein.
Augmented Reality war auch die beste Methode, um meinen Kindern Dinosaurier näher zu bringen, ohne eine Zeitreise zu riskieren und den T-Rex in die Gegenwart zurückzubringen.
Was ARKit betrifft, so hat Apple eine Reihe von Werkzeugen offengelegt, die ab nächsten Monat für die Entwicklung von Headset-Erfahrungen genutzt werden können.
Zunächst einmal wurde mit dem Framework eine Möglichkeit geschaffen, Entwicklern Werkzeuge, APIs und Bibliotheken zur Verfügung zu stellen, die für die Entwicklung von AR-Apps erforderlich sind. Bewegungsverfolgung, Szenenerkennung, Lichtsensorik und Kameraintegration sind allesamt notwendig, um AR-Apps einzuführen.
Die Verfolgung in der realen Welt ist ein weiterer wichtiger Faktor. Mit ARKit wurden die Tools eingeführt, die für die Verwendung von Hardwaresensoren wie Kamera, Gyroskop und Beschleunigungsmesser erforderlich sind, um die Position von virtuellen Objekten in einer realen Umgebung über Apple-Geräte genau zu verfolgen.
Und dann ist da noch die Gesichtsverfolgung. ARKit ermöglicht es Entwicklern, die gleichen Gesichtsverfolgungsfunktionen einzubinden, die Apple für Animoji und Memoji mit Gesichtsausdrucksspiegelung verwendet.
AR Quick Look ist eine weitere Technologie, auf die bereits hingewiesen wurde. AR-Erlebnisse nutzen diese Technologie, um virtuelle Objekte wie Produkte in der realen Umgebung zu platzieren. Die richtige Skalierung dieser Objekte und die Erinnerung an ihre Position relativ zu Ihrem Gerät helfen dabei, die Illusion zu erzeugen.
Neuere Versionen von ARKit haben sich auf die Unterstützung gemeinsam genutzter AR-Erlebnisse konzentriert, die zwischen verschiedenen Nutzungen bestehen bleiben können, sowie auf die Erkennung von Objekten in der Umgebung und das Verdecken von Personen in Szenen. Auch die Leistung wurde im Laufe der Jahre stetig verbessert, sodass die Kerntechnologie, die virtuelle und erweiterte Realitätserfahrungen im Headset ermöglicht, ziemlich solide sein sollte.
Wir erwarten unseren ersten offiziellen Blick auf Apples Headset am Montag, den 5. Juni, wenn Apple seine nächste Keynote abhält. 9to5Mac wird bei der Veranstaltung anwesend sein, also bleiben Sie dran für eine umfassende Berichterstattung aus nächster Nähe. Viel Glück für die HTC Vives und Meta-Headsets der Welt.
Damals stellte Apple erstmals sein ARKit-Framework für erweiterte Realität vor, das Entwicklern hilft, immersive Erlebnisse auf iPhones und iPads zu erstellen.
ARKit war in den folgenden Jahren ein solcher Schwerpunkt für Apple, dass das Unternehmen einen Großteil seiner letzten Live-Keynotes der Vorstellung und Demonstration neuer AR-Funktionen widmete. Wer könnte die kargen Holztischplatten vergessen, die auf der Bühne als Oberfläche für den Bau virtueller LEGO-Sets dienten?
Durch die Betonung dieser Tools vermittelte Apple die Bedeutung der Augmented-Reality-Technologie als Teil der Zukunft seiner Plattformen.
Nicht nur die Software von iPhone und iPad wurde für eine Mixed-Reality-Zukunft entwickelt. Auch die Hardware von iPhone und iPad wurde so ausgestattet, dass sie als tragbare Fenster in eine Augmented-Reality-Welt dienen kann.
Beginnend mit Face ID und Apples Animoji-Funktion (und später Memoji) begann Apple, das iPhone für AR-Funktionen zu optimieren. Intern hat Apple die Neural Engine des iPhones so angepasst, dass sie problemlos mit Augmented Reality umgehen kann.
Die Hauptkamera des iPhones wurde sogar mit einem speziellen LiDAR-Sensor ausgestattet, so wie Lunar Rover, die auf der Mondoberfläche navigieren, oder fahrerlose Autos, die ihre Umgebung erfassen.
Es gab sogar ein Hardware-Update für das iPad Pro, das sich fast ausschließlich auf die Hinzufügung eines LiDAR-Scanners in der Rückkamera konzentrierte.
Und warum? Sicher, er half bei der Fokussierung und Tiefenerkennung für Fotos im Porträtmodus, aber es gab auch spezielle iPad-Apps, mit denen man sein Zimmer mit virtuellen Möbeln einrichten oder eine Brille anprobieren konnte, ohne das Gestell tatsächlich zu besitzen.
Es war von Anfang an klar, dass ARKit nicht ausschließlich für immersive Erlebnisse auf dem iPhone und iPad gedacht war. Der Bildschirm des Telefons ist zu klein, um wirklich immersiv zu sein, und das Gewicht des Tablets ist zu schwer, um es über einen längeren Zeitraum zu nutzen.
Es gibt durchaus eine Verwendung für AR auf iPhones und iPads. Das Fangen von Taschenmonstern in der realen Welt ist in Pokémon GO eher eine Spielerei als in einer rein digitalen Umgebung. Das Sezieren einer virtuellen Kreatur in einem Klassenzimmer kann auch einladender sein als das Anfassen echter Eingeweide.
Dennoch ist für die immersivste Erfahrung, die dem Gehirn vorgaukelt, dass man tatsächlich von den digitalen Inhalten umgeben ist, eine Brille erforderlich.
Bedeutet das, dass sich jeder für AR und VR genug interessiert, um das Headset zu einem Hit zu machen? Die Reaktionen auf AR auf dem iPhone und iPad waren bisweilen so, dass Apple eine Lösung auf der Suche nach einem Problem anbietet.
Dennoch gibt es einige Augmented-Reality-Erlebnisse, die eindeutig reizvoll sind.
Möchten Sie jede Dimension des angekündigten, aber noch nicht veröffentlichten iPhone oder MacBook sehen? Mit AR haben wahrscheinlich viele Leute den Mac Pro und das Pro Display XDR zum ersten Mal erlebt.
Die Projektion einer virtuellen Weltraumrakete im Maßstab 1:1 in Ihrem Wohnzimmer vermittelt Ihnen ebenfalls einen guten Eindruck von den Dimensionen dieser Geräte. Auch ein virtueller Raketenstart, bei dem Sie wie ein Passagier auf die Erde zurückblicken können, kann sehr aufregend sein.
Augmented Reality war auch die beste Methode, um meinen Kindern Dinosaurier näher zu bringen, ohne eine Zeitreise zu riskieren und den T-Rex in die Gegenwart zurückzubringen.
Was ARKit betrifft, so hat Apple eine Reihe von Werkzeugen offengelegt, die ab nächsten Monat für die Entwicklung von Headset-Erfahrungen genutzt werden können.
Zunächst einmal wurde mit dem Framework eine Möglichkeit geschaffen, Entwicklern Werkzeuge, APIs und Bibliotheken zur Verfügung zu stellen, die für die Entwicklung von AR-Apps erforderlich sind. Bewegungsverfolgung, Szenenerkennung, Lichtsensorik und Kameraintegration sind allesamt notwendig, um AR-Apps einzuführen.
Die Verfolgung in der realen Welt ist ein weiterer wichtiger Faktor. Mit ARKit wurden die Tools eingeführt, die für die Verwendung von Hardwaresensoren wie Kamera, Gyroskop und Beschleunigungsmesser erforderlich sind, um die Position von virtuellen Objekten in einer realen Umgebung über Apple-Geräte genau zu verfolgen.
Und dann ist da noch die Gesichtsverfolgung. ARKit ermöglicht es Entwicklern, die gleichen Gesichtsverfolgungsfunktionen einzubinden, die Apple für Animoji und Memoji mit Gesichtsausdrucksspiegelung verwendet.
AR Quick Look ist eine weitere Technologie, auf die bereits hingewiesen wurde. AR-Erlebnisse nutzen diese Technologie, um virtuelle Objekte wie Produkte in der realen Umgebung zu platzieren. Die richtige Skalierung dieser Objekte und die Erinnerung an ihre Position relativ zu Ihrem Gerät helfen dabei, die Illusion zu erzeugen.
Neuere Versionen von ARKit haben sich auf die Unterstützung gemeinsam genutzter AR-Erlebnisse konzentriert, die zwischen verschiedenen Nutzungen bestehen bleiben können, sowie auf die Erkennung von Objekten in der Umgebung und das Verdecken von Personen in Szenen. Auch die Leistung wurde im Laufe der Jahre stetig verbessert, sodass die Kerntechnologie, die virtuelle und erweiterte Realitätserfahrungen im Headset ermöglicht, ziemlich solide sein sollte.
Wir erwarten unseren ersten offiziellen Blick auf Apples Headset am Montag, den 5. Juni, wenn Apple seine nächste Keynote abhält. 9to5Mac wird bei der Veranstaltung anwesend sein, also bleiben Sie dran für eine umfassende Berichterstattung aus nächster Nähe. Viel Glück für die HTC Vives und Meta-Headsets der Welt.