AI-algorithms on IoT devices

→ PŘIHLÁSIT SE

Pokrok v oblasti "edge AI" je pro budoucnost mnohem významnější než 5G

Když jsem se účastnil Konference CeBIT v Hannoveru v roce 2016, byla plná údajně "chytrých" zařízení, která mi nepřipadala nijak zvlášť chytrá. Trend "smart" inspiroval mnoho různých zařízení, která byla v podstatě jen připojena k internetu. Ve většině případů jejich připojení znamenalo pro uživatele nějaký další, často úzce vymezený přínos.

Některé z nich si stále pamatuji:

Potrubní ventil, který umožňuje vzdáleně sledovat jeho polohu (otevřeno/zavřeno).
Zařízení pro měření průtoku plynu, tajně instalované v palivové nádrži k identifikaci zlodějů paliva.
Elektrická zásuvka, kterou lze zapínat a vypínat přes wifi.

Z veletrhu CeBIT si však nejvíce pamatuji prezentaci Vývojové laboratoře IBM, která změnila můj pohled na to, jak by mohla být umělá inteligence distribuována. IBM představila na veletrhu v rámci projektu Synapse čip umělé inteligence nazvaný "TrueNorth", který by mohl poskytnout výpočetní výkon odpovídající mravenčímu mozku při spotřebě pouhých 73 mW energie. Jedinou zjevnou nevýhodou bylo, že procesor stál v té době přibližně 1 milion dolarů.

Tento příklad však dokázal, že provozování algoritmů AI na koncových zařízeních (edge computing) bude možné. Bylo také jasné, že Moorův zákon během několika let sníží cenu a zpřístupní výpočetní výkon. Otázkou bylo, jak rychle se tak stane a kolik dalších podobných řešení se na trhu objeví. V té době již společnost Neuron Soundware začala sledovat IoT strategii - vyvinout vlastní řešení IoT optimalizované pro umělou inteligenci, což znamená, že algoritmy pro monitorování zvuku strojů budou pracovat přímo na koncových zařízeních IoT.

Budoucnost edge computingu

O několik měsíců později jsem vytvořil graf znázorňující vztah mezi spotřebou energie a inteligencí v závislosti na výpočetním výkonu, který může IoT hardware poskytovat.

V roce 2016 nebylo možné dosáhnout téměř žádné inteligence za rozumnou cenu s pouhými několika mW.
Úzce zaměřená AI, jako je schopnost řídit automobil, by vyžadovala hadrware se spotřebou v desítkách až stovkách wattů. Například analýza vstupu z kamery přibližně desetkrát za sekundu vyžaduje přibližně 4 TFLOPS (4 biliony operací s plovoucí desetinnou čárkou za sekundu - FLOPS, flops nebo flop/s - je měřítko výkonu počítače).

Z hlediska toho, co děláme ve společnosti Neuron Soundware: Stejný výpočetní výkon můžeme použít buď k řízení auta, nebo k analýze zvuku strojů, abychom odhalili blížící se mechanickou poruchu. V obou případech by to vyžadovalo výpočetní výkon odpovídající mozku mravence. A IBM mě přesvědčila, že tento výkon se nachází v jediném čipu s velmi nízkou spotřebou energie.

Vzestup edge computingu

Od té doby mají možnosti edge computingu vzestupnou tendenci. Stojí za to podívat se na několik projektů týkajících se čipů specializovaných na hardwarové zrychlení pro umělou inteligenci.

V roce 2017- společnost Movidius představila Neural Compute Stick, který dokázal dosáhnout výkonu 0,1 TFLOPS, stál méně než 100 dolarů a měl spotřebu energie přibližně 0,5 W. Byl navržen tak, aby zlepšil výkon menších výpočetních desek jako je Raspberry Pi s přibližně desetinásobným zvýšením výpočetního výkonu.

V roce 2018- Huawei představil procesor Kirin 980 s příkonem 0,1 W a výkonem téměř 0,5 TFLOPS. Ostatní výrobci nezůstali pozadu. Google ohlásil vznik své jednotky Edge TPU a Rockchip předvedl svůj čip RK3399 vybavený jednotkou pro neuronové zpracování. Oba poskytují výkon kolem 3 TFLOPS a stojí kolem 100 USD.

V roce 2019- specifické mikropočítače s hardwarovými akcelerátory technologií umělé inteligence (konkrétně neuronových sítí) budou všeobecně dostupné pro použití v komerčních projektech. Všichni klíčoví hráči na poli hardwaru vydali edgově optimalizované verze softwarového balíku AI, což dále zvyšuje výkon. Mezi obecně dostupné desky pro AI patří Edge TPU společnosti Google, vyvinutý speciálně pro umělou inteligenci. Jetson Nano od společnosti Nvidia přivádí do akce 128 jader CUDA za méně než 100 USD. ToyBrick RK3399 Pro je jednou z prvních vývojových desek se specializovanou jednotkou pro neuronové zpracování, která dokonce mírně překonává Nvidia Jetson.

V letech 2020 a 2021 - Tesla, známý výrobce elektromobilů, představila svůj samořídící počítač s výkonem 36 TFLOPS, zatímco Hailo AI nabízí výkon 26 TFLOPS v jediném čipu za přibližně 100 USD a se spotřebou jen několik wattů.

Tento rychlý pokrok v technologii internetu věcí nám ve společnosti Neuron Soundware umožnil vyvinout nBox - specializované zařízení pro záznam a zpracování zvuku, které dokáže nejen zaznamenávat vysoce kvalitní zvuk s až 12 kanály, ale také lokálně vyhodnocovat data pomocí algoritmů umělé inteligence. Edge computing nám umožňuje spustit pouze několik procesů v cloudu (centrální platformě) a většinu dat zpracovat pomocí algoritmů AI v koncovém zařízení.

Význam edge computingu například potvrdila i společnost Intel, když koupila Movidius za odhadovanou částku $400 milionů, stejně jako společnost Mobileye, výrobce čipů pro samořídící automobily, za více než $15 miliard. Byl jsem fascinován, když jsem viděl online prezentaci specializované umělé inteligence Tesla Motors vyvinuté pro samořídící vozy. Dokáže zpracovat více než 2 000 snímků z kamery s vysokým rozlišením za sekundu a Tesla věří, že to je dostatečný výkon pro úplnou autonomii.

Za čtyři hlavní výhody edge computingu považuji tyto:

Zabezpečení: Všechna zpracovávaná data lze ukládat lokálně a podle potřeby je zabezpečit.
Rychlost: Umělá inteligence dokáže zpracovávat data v řádu milisekund, což znamená minimální latenci.
Efektivita: Výkonné mikropočítače s nízkou spotřebou energie jsou k dispozici za rozumné ceny.
Offline: Algoritmus AI lze provozovat i v oblastech s omezeným přístupem k internetu.

Výhody edge computingu oproti 5G

Ptáte se, proč se namáhat s použitím specializovaného hardwaru pro IoT? Proč nepočkat na sítě 5G a nevyužít vysoce rozvinutou cloudovou infrastrukturu? Existuje několik důvodů, proč "čekání" nemusí být tou nejlepší strategií IoT.

Představte si, že sedíte v samořiditelném autě, které náhle ztratí 5G signál. Auto nejenže nebude schopné vnímat, co je kolem něj, ale doslova ztratí mozek, schopnost rozhodování. Proč to riskovat, když výpočetní výkon potřebný pro vysokorychlostní komunikaci s nízkou latencí může stát prakticky stejně jako další neuronová výpočetní jednotka? Použití specializované umělé inteligence také spotřebuje méně energie.
Poskytovatelé mobilního internetu chtějí zajistit návratnost svých investic do vývoje a využívání sítí 5G. Neomezené datové tarify jsou sice teoreticky možné, ale v blízké budoucnosti nemusí být komerčně životaschopné. Například naše zařízení nBox má 12 akustických senzorů a dokáže vyprodukovat až 1 TB zvukových dat za měsíc. Při současné ceně za GB dat v síti LTE by přenos takového objemu dat do cloudu nebyl finančně výhodný.
A konečně, pokrytí 5G bude dostupné především ve městech a mnoho míst bude mimo dosah 5G. Zařízení Edge IoT lze okamžitě nasadit kdekoli, přičemž jsou jasné počáteční a provozní náklady, které obvykle výrazně nezvyšují celkové náklady na řešení IoT.

AI edge computing dokáže zpracovávat obrovské objemy dat v místě jejich vzniku nebo v jeho blízkosti. Dodatečné náklady na hardwarové akcelerátory jsou již marginální. Výpočetní výkon neuronových sítí roste mílovými kroky, každý rok je desetkrát výkonnější. Tento trend se nezpomaluje, protože data lze zpracovávat paralelně, čímž se překonávají limity konvenční konstrukce procesorů.

Budoucnost na dosah

Využití edge computingu v aplikacích, jako jsou samořízená auta, rozpoznávání obličeje a prediktivní údržba, je jen začátek. Brzy budeme mít dostatek výpočetního výkonu k vytvoření skutečně autonomně pracujících strojů. Nakonec se budou moci bezpečně pohybovat ve městech a továrnách a stanou se téměř stejně kompetentními ve své práci jako lidé. Je neuvěřitelné, že to někdo mohl předvídat už téměř před 100 lety. V loňském roce 2020 uplynulo 100 let od vzniku slova "robot". Karel Čapek si ve své sci-fi hře R.U.R. představoval humanoidní roboty, kteří získávají vědomí a učí se cítit emoce, například lásku. Tato vize a slovo "robot" se rychle rozšířily po celém světě. Vzhledem k rychlosti, s jakou roste výpočetní výkon a zdokonaluje se internet věcí, si nemohu pomoci, ale Čapkova vize by se mohla stát skutečností mnohem dříve, než si myslíme.