AI-algorithms on IoT devices

→ LOGIN

Fortschritte in der "Edge AI" sind für die Zukunft viel bedeutender als 5G

Als ich an der CeBIT-Konferenz in Hannover im Jahr 2016 war sie voll mit angeblich "intelligenten" Geräten, die mir nicht besonders intelligent erschienen. Der "smarte" Trend inspirierte viele verschiedene Geräte, die im Grunde nur mit dem Internet verbunden waren. In den meisten Fällen bedeutete ihre Konnektivität einen zusätzlichen, oft eng definierten Nutzen für den Nutzer.

An einige von ihnen kann ich mich noch erinnern:

Ein Rohrventil, dessen Stellung (offen/geschlossen) Sie aus der Ferne überwachen können
Ein Gerät zur Messung des Gasflusses, das heimlich in den Kraftstofftank eingebaut wird, um Kraftstoffdiebe zu identifizieren
Eine Steckdose, die über Wifi ein- und ausgeschaltet werden kann

Was mir von der CeBIT aber am meisten in Erinnerung geblieben ist, ist die Präsentation der IBM Entwicklungslabordie meine Vorstellungen von der Verbreitung künstlicher Intelligenz verändert hat. IBM stellte auf der Messe sein Projekt Synapse vor, einen KI-Chip namens "TrueNorth", der bei einem Energieverbrauch von nur 73 mW die Rechenleistung eines Ameisenhirns erbringen kann. Der einzige offensichtliche Nachteil war, dass der Prozessor damals etwa $1 Million kostete.

Dieses Beispiel bewies jedoch, dass die Ausführung von KI-Algorithmen auf Endgeräten (Edge Computing) möglich sein wird. Es war auch klar, dass das Mooresche Gesetz den Preis innerhalb weniger Jahre senken und die Rechenleistung zugänglicher machen würde. Die Frage war, wie schnell dies geschehen würde und wie viele ähnliche Lösungen auf den Markt kommen würden. Zu diesem Zeitpunkt hatte Neuron Soundware bereits damit begonnen, diese IoT-Strategie zu verfolgen - eine eigene KI-optimierte IoT-Lösung zu entwickeln, d.h. Algorithmen für die Überwachung von Audiomaschinen würden direkt auf den IoT-Endgeräten arbeiten.

Die Zukunft des Edge Computing

Einige Monate später erstellte ich eine Grafik, die das Verhältnis zwischen Energieverbrauch und Intelligenz in Abhängigkeit von der Rechenleistung, die IoT-Hardware liefern kann, zeigt.

Im Jahr 2016 konnte fast keine Intelligenz zu einem vernünftigen Preis mit nur wenigen mW erreicht werden.
Schmal AIwie die Fähigkeit, ein Auto zu fahren, bräuchte einen Computer mit einer Leistungsaufnahme im zweistelligen oder dreistelligen Wattbereich. Die Analyse von Kameraeingaben etwa zehnmal pro Sekunde erfordert beispielsweise etwa 4 TFLOPS (4 Billionen Gleitkommaoperationen pro Sekunde - FLOPS, flops oder flop/s - ist ein Maß für die Computerleistung).

Übertragen auf das, was wir bei Neuron Soundware tun: Wir können mit der gleichen Rechenleistung entweder ein Auto fahren oder den Klang von Maschinen analysieren, um einen bevorstehenden mechanischen Defekt zu erkennen. Beides würde eine Rechenleistung erfordern, die dem Gehirn einer Ameise entspricht. Und IBM hat mir gezeigt, dass diese Leistung in einem einzigen Ultra-Low-Energy-Chip steckt.

Der Aufstieg des Edge Computing

Die Fähigkeit zum Edge Computing ist seitdem auf dem Vormarsch. Es lohnt sich, einen Blick auf verschiedene Projekte zu werfen, die Chips zur Hardwarebeschleunigung für künstliche Intelligenz beinhalten.

Im Jahr 2017Movidius hat den Neural Compute Stick vorgestellt, der 0,1 TFLOPS für weniger als $100 und etwa 0,5 W Stromverbrauch liefern kann. Er wurde entwickelt, um die Leistung kleinerer Computerplatinen wie dem Raspberry Pi mit einer etwa 10-fachen Steigerung der Rechenleistung zu verbessern.

Im Jahr 2018stellte Huawei seinen Kirin 980-Prozessor mit 0,1 W und fast 0,5 TFLOPS vor. Andere Hersteller waren nicht weit dahinter. Google kündigte seine Edge-TPU-Einheiten an und Rockchip zeigte seinen RK3399-Chip, der mit einer Neural Processing Unit ausgestattet ist. Beide bieten eine Leistung von etwa 3 TFLOPS und kosten etwa $100.

Im Jahr 2019Spezielle Mikrocomputer mit Hardware-Beschleunigern für KI-Technologien (insbesondere neuronale Netze) werden allgemein für den Einsatz in kommerziellen Projekten verfügbar. Alle wichtigen HW-Akteure haben Edge-optimierte Versionen des KI-Software-Stacks herausgebracht, die die Leistung weiter steigern. Zu den allgemein verfügbaren KI-Boards gehört Googles Edge TPU, ein speziell für KI entwickelter ASIC-Chip. Der Jetson Nano von Nvidia bringt 128 CUDA-Kerne für weniger als $100 zum Einsatz. Das RK3399 Pro von ToyBrick ist eines der ersten Entwicklungsboards mit einer speziellen Neural Processing Unit, die sogar den Nvidia Jetson leicht übertrifft.

In den Jahren 2020 und 2021, Tesla, ein bekannter Hersteller von Elektroautos, präsentierte seinen selbstfahrenden Computer mit einer Leistung von 36 TFLOPS, während Hailo AI eine Leistung von 26 TFLOPS in einem einzigen Chip für etwa $100 und einen Verbrauch von nur einigen Watt bietet.

Dieser rasante Fortschritt in der IoT-Technologie ermöglichte es uns bei Neuron Soundware, die nBox zu entwickeln - ein spezialisiertes Gerät für die Aufnahme und Verarbeitung von Ton, das nicht nur hochwertiges Audio mit bis zu 12 Kanälen aufnehmen, sondern auch Daten lokal mit KI-Algorithmen auswerten kann. Edge Computing erlaubt es uns, nur wenige Prozesse in der Cloud (zentrale Plattform) laufen zu lassen und den Großteil der Daten mit KI-Algorithmen im Endgerät zu verarbeiten.

IntelDie Bedeutung des Edge Computing wurde beispielsweise durch die Übernahme von Movidius für geschätzte $400 Millionen und von Mobileye, einem Hersteller von Chips für selbstfahrende Autos, für über $15 Milliarden bestätigt. Ich war fasziniert von der Tesla Motoren Online-Präsentation seiner spezialisierten KI, die für seine selbstfahrenden Autos entwickelt wurde. Sie kann mehr als 2000 hochauflösende Kamerabilder pro Sekunde verarbeiten, und Tesla glaubt, dass dies genug Leistung für vollständige Autonomie bietet.

Ich sehe die vier wichtigsten Vorteile des Edge Computing wie folgt:

Sicherheit: Alle verarbeiteten Daten können lokal gespeichert und je nach Bedarf sicher aufbewahrt werden.
Geschwindigkeit: KI kann Daten in Millisekunden verarbeiten, was eine minimale Latenzzeit bedeutet.
Effizienz: Leistungsstarke Mikrocomputer mit geringem Stromverbrauch sind zu vernünftigen Preisen erhältlich.
Offline: Der KI-Algorithmus kann auch in Gebieten mit begrenztem Internetzugang eingesetzt werden.

Die Vorteile von Edge Computing gegenüber 5G

Warum sollte man sich die Mühe machen, spezielle IoT-Hardware zu verwenden, fragen Sie sich? Warum nicht auf die 5G-Netze warten und die hoch entwickelte Cloud-Infrastruktur nutzen? Es gibt mehrere Gründe, warum "Abwarten" möglicherweise nicht die beste IoT-Strategie ist.

Stellen Sie sich vor, Sie sitzen in einem selbstfahrenden Auto, das plötzlich sein 5G-Signal verliert. Das Auto wird nicht nur nicht in der Lage sein, die Umgebung wahrzunehmen, sondern es wird buchstäblich sein Gehirn, seine Entscheidungsfähigkeit, verlieren. Warum sollte man dieses Risiko eingehen, wenn die für eine Hochgeschwindigkeitskommunikation mit geringer Latenz erforderliche Rechenleistung praktisch dasselbe kosten kann wie eine zusätzliche neuronale Verarbeitungseinheit? Der Einsatz spezialisierter KI würde auch weniger Energie verbrauchen.
Die Anbieter von mobilem Internet wollen sicherstellen, dass sich ihre Investitionen in die Entwicklung und Nutzung von 5G-Netzen rentieren. Unbegrenzte Datentarife sind zwar theoretisch möglich, werden aber in naher Zukunft möglicherweise nicht wirtschaftlich rentabel sein. Unsere nBox verfügt beispielsweise über 12 akustische Sensoren und kann bis zu 1 TB Audiodaten pro Monat produzieren. Bei den derzeitigen Preisen für ein GB an Daten in LTE wäre die Übertragung dieser Datenmenge in die Cloud finanziell nicht tragbar.
Und schließlich wird die 5G-Abdeckung vor allem in Städten verfügbar sein, und viele Orte werden außerhalb der 5G-Reichweite liegen. Edge-IoT-Geräte können sofort und überall eingesetzt werden, wobei die Anschaffungs- und Betriebskosten überschaubar sind und die Gesamtkosten von IoT-Lösungen in der Regel nicht wesentlich steigen.

KI-Edge-Computing kann riesige Datenmengen an dem Ort oder in der Nähe des Ortes verarbeiten, an dem die Daten erzeugt wurden. Die zusätzlichen Kosten für Hardware-Beschleuniger sind bereits marginal. Die Rechenleistung für neuronale Netze steigt sprunghaft an und verzehnfacht sich jedes Jahr. Dieser Trend verlangsamt sich nicht, da die Daten parallel verarbeitet werden können und damit die Grenzen des herkömmlichen Prozessordesigns überwunden werden.

Die Zukunft vor Augen

Der Einsatz von Edge Computing in Anwendungen wie selbstfahrenden Autos, Gesichtserkennung und vorausschauender Wartung ist erst der Anfang. Bald werden wir genug Rechenleistung haben, um wirklich autonom arbeitende Maschinen zu bauen. Irgendwann werden sie in der Lage sein, sich sicher in Städten und Fabriken zu bewegen und ihre Aufgaben fast so gut zu erfüllen wie Menschen. Es ist unglaublich, dass jemand dies vor fast 100 Jahren vorhersehen konnte. Letztes Jahr, im Jahr 2020, war es 100 Jahre her, dass das Wort "Roboter" geprägt wurde. In seinem Science-Fiction-Stück R.U.R. stellte sich Karel Čapek humanoide Roboter vor, die ein Bewusstsein erlangen und lernen, Gefühle wie Liebe zu empfinden. Diese Vision und das Wort "Roboter" verbreiteten sich schnell in der ganzen Welt. In Anbetracht der Geschwindigkeit, mit der die Rechenleistung und die Verbesserungen im Internet der Dinge zunehmen, kann ich mich des Eindrucks nicht erwehren, dass Čapeks Vision viel schneller Realität werden könnte, als wir denken.