Jak funguje umělá inteligence společnosti Neuron Soundware

Mnoho zákazníků se nás ptá, jak funguje umělá inteligence při detekci zvukových anomálií. Připravili jsme článek s názorným příkladem. monitorování pohyblivých schodů.

Odvětví technické diagnostiky se potýká s nedostatkem odborníků. Díky technologickému pokroku lze lidské zdroje nahradit umělou inteligencí, která je schopna zpracovat obrovské množství dat v relativně krátkém čase.

Na začátku je digitalizace zvuku

Neuron Soundware pomáhá digitalizovat data ze strojů a následně jim porozumět. V tomto případě nejprve převádí lidský poslech do vizuální podoby. Na základě grafických hodnot pak systém vyhledává anomálie v datech a na jejich základě posílá zákazníkům chytrá upozornění. 

Funguje to podobně jako kontrolky v autě, když dochází olej, jsou otevřené dveře nebo nejsou za jízdy zapnuté bezpečnostní pásy.

Totéž potřebuje obsluha eskalátorů. Potřebuje zjistit, v jakém stavu je každé zařízení a zda se u něj neobjevují nežádoucí příznaky, které by mohly signalizovat blížící se poruchu.

artificial intelligence detecting anomalies

Sběr zvuků ze strojů se provádí ve třech krocích

  1. Nejprve nainstalujeme snímače na ty části stroje, kde očekáváme největší poruchovost. 
  2. Senzory vysílají zvukové signály do nEdge (Internet věcí) prostřednictvím kabelu. To je buď připojeno k internetu, nebo zpracovává zvukové signály přímo v místě provozu stroje, tzv. on-edge. 
  3. Zvukové signály jsou zpracovány do digitální podoby, tj. do počítačem zpracovatelného jazyka, v zařízení nEdge. Zařízení IoT. Současně jsou tato zvuková data vyhodnocována algoritmy strojového učení v mikropočítači uloženém v "krabičce" nEdge.
Neuron Soundware all.in.one solution for predictive maintenance-artificial intelligence detecting anomalies
Na základě porovnání zdravých a aktuálních dat stroje pak softwarová aplikace nGuard zobrazuje informace, které lze využít při údržbě stroje. Jsou to právě kontrolky, které známe z palubní desky automobilu. Buď je v pořádku, nebo je s ním něco v nepořádku. Například je třeba promazat nebo vyměnit nějaký díl. Toto vyhodnocení provádějí chytré algoritmy založené na obecných mechanických znalostech stroje, znalosti historie jeho provozu a nominálních zvuků nashromážděných při provozu bez poruchy. Kromě toho jakákoli zpětná vazba z chodu stroje, kterou obsluha poskytne specialistům Neuron Soundware, pomůže tyto algoritmy zpřesnit.

Jak funguje digitalizace zvuku

Základním vstupem pro zpracování zvuku stroje jsou digitalizovaná data. Ta je třeba ze zvukových projevů zpracovat a připravit pro umělou inteligenci.

Základní měřenou veličinou je energie zvukových vln vycházejících z měřeného objektu. Energie zvuku (vibrace) je znázorněna grafem, kde osa y ukazuje množství energie (velikost signálu/hlučnost) a osa x ukazuje čas, ve kterém se energie/hlučnost/vibrace mění. U rotujících strojů se signál nejčastěji projevuje jako periodicky se opakující. Zjednodušeně si jej lze představit jako sinusový průběh.

artificial intelligence detecting anomalies - sound wave graph

Například v případě konkrétního projevu na eskalátoru zobrazíme zvuk jako akustický tlak takto:

artificial intelligence detecting anomalies: display of sound as acoustic pressure

Následně jsou tyto zvukové signály matematicky převedeny na tzv. frekvenční spektrum. Frekvenční spektra jsou pro podrobnější analýzu za použití umělé inteligence vhodnější než samotné údaje o časovém průběhu. Frekvenční spektrum po převodu z časové osy vypadá na eskalátoru takto:

artificial intelligence detecting anomalies: sound signals converted frequency spectrum

Převod z časové osy na frekvenční spektrum

 

Různé části zařízení mají různé zvukové a vibrační charakteristiky. Ty jsou generovány mechanickým pohybem jednotlivých součástí. Výsledný zvukový vzorek lze pak díky rozmanitosti frekvenčních projevů těchto poruch rozdělit a oddělit jednotlivé mechanické poruchy pomocí hlubší frekvenční analýzy.

Tyto projevy jsou ilustrovány sinusovými zvuky. Každá ze složek "zní" trochu jinak, protože různé poruchy se projevují na různých frekvencích.

Vzhledem k tomu, že stroje jsou složité, jsou naměřené signály velmi vzdálené od idealizované sinusovky. Proto je nutné naměřený vzorek zvuku rozložit na jednotlivé dílčí signály a k tomu se nejlépe hodí rychlá Fourierova transformace (FFT). 

Fourierova transformace rozkládá signál na jednotlivé sinusoidy a převádí je na frekvenční spektrum. Díky tomu můžeme na grafu zobrazit pouze malé "zuby" frekvenčního spektra. S těmito zuby se mnohem lépe pracuje.

Frekvenční analýza nám umožňuje provádět technickou diagnostiku zvuku

Když se však podíváme na reálný stroj, zjistíme, že generovaný signál není během jeho provozu ideálně pravidelný. Proto také používáme metodu výpočtu velkého počtu rychlých Fourierových transformací. K analýze jejich časového průběhu používáme speciální metodu zobrazení zvanou spektrogram.

Spectrogram - combines frequenscy analysis and time

Jednotlivé barvy na obrázku označují intenzitu (amplitudu) signálu. Osa y označuje frekvenci a osa x vývoj v čase. Tím je zvuk převeden do vizuální a datové podoby. Pohledem můžeme lépe sledovat změny zvukových a vibračních projevů stroje v čase. 

Zpracování zvuku od projevu v časovém vzorku až po frekvenční spektrum vypadá v jednoduchosti takto:

Nebo v případě eskalátorů:

Jak AI zpracovává a vyhodnocuje data

Umělá inteligence v našem pojetí znamená chytré algoritmy, které hledají vzory v datech a vyhodnocují je. 

Ve skutečnosti to zjednodušeně řečeno vypadá asi takto: algoritmy rozdělí spektrogram na jednotlivé části a porovnají je se vzorky zvuku a vibrací v existujícími databázi. Například s nominálními projevy stroje (když stroj pracuje srávně) nebo se známými tzv. knihovnami poruch.

Díky takovému porovnání dat pak můžeme rozpoznat, zda na součásti stroje vzniká zvukový nebo vibrační projev, který je projevem nežádoucím nebo poruchovým. To je vidět na následujícím obrázku, který ukazuje příklady definovaných frekvencí pro různé typy poruch.

Ve skutečnosti to zjednodušeně řečeno vypadá asi takto: algoritmy rozdělí spektrogram na jednotlivé části a porovnají je se vzorky zvuku a vibrací v existujícími databázi. Například s nominálními projevy stroje (když stroj pracuje srávně) nebo se známými tzv. knihovnami poruch.

V příkladu porouchaného elektromotoru pohánějícího eskalátor by to vypadalo takto: 

  • Zvukové projevy jsou vidět na prvním obrázku.
  • Na druhém obrázku je spektrogram. 
  • Třetí obrázek ukazuje anomální skóre na portálu nGuard.

Na prvních dvou obrázcích vidíme výraznou změnu na konci trendu. Ta je pak v programu nGuard graficky znázorněna překročením anomálního skóre, tj. míry odchylky zvuků od normálu, kterou umělá inteligence vyhodnotí jako anomální, tj. odchýlenou od normálu.

Pro ilustraci uvádíme zpracování dat umělou inteligencí na následujícím schématu, které představuje umělou inteligenci z pohledu samořídících automobilů. 

Ty také potřebují shromažďovat obrovské množství dat. Jak vypadá dopravní značka, jak vypadá semafor, jak vypadá odbočka atd. Totéž platí pro stroje pro sledování umělé inteligence. Čím více "zvukových" dat o strojích má, tím lépe může vyhodnotit skutečný zvuk, který stroj vydává.

K vyhodnocení stavu strojů používáme miliony anonymizovaných záznamů strojů z celého světa. Kromě toho shromažďujeme údaje o konkrétním stroji a jeho součástech.

Jak fungují modely umělé inteligence pro detekci anomálií

Umělá inteligence nám pomáhá vyjádřit zvuk matematicky ve formě vektoru. Právě číselné vyjádření zvuku ve formě vektoru je zdaleka nejobtížnější disciplínou zvukové analýzy. Vektorový prostor z níže uvedené vizualizace si můžeme představit jako "prostor se šipkami". 

Tento "prostor šípů", vektorově vyjádřenou množinu všech možných zvuků strojů, konstruujeme na základě databáze zvuků strojů, databáze specifických zvuků strojů a zvuků jednotlivých komponent. Viz obrázek níže:

Při vyhodnocování zvuku stroje se matematickým výpočtem vždy porovnává aktuální vektor zvuku s množinou možných zvuků a vyhodnocuje se, zda je zvuk stroje stejný jako nominální zvuk nebo zda se jedná o jiný vektor a zvuk se tedy liší.

Následující obrázky pak ukazují příklad od sběru zvukové energie až po porovnání a vyhodnocení anomálního skóre. 

V každém řádku vidíme: 

  1. Grafické znázornění zaznamenaného zvuku stroje a jeho hlasitosti v čase
  2. Spektrogram, který graficky zobrazuje zvuk jako frekvenční spektrum.
  3. Jednotlivé části časové osy převedené do matematického vyjádření ve vektorech
  4. Anomální skóre - tj. graf, který zobrazuje odchylku zvuku od jeho nominální hodnoty v čase

Vývoj zvuku v čase (zleva doprava) pak můžeme sledovat takto:

  1. Obrázek: nominální (normální) zvuk stroje
  2. Obrázek: nominální zvuk stroje při zatížení
  3. Obrázek: vychýlená dráha řetězu
  4. Obrázek: poškození řetězové dráhy
  5. Obrázek: zvuk řetězové dráhy po opravě

Poslední graf anomálního skóre udává ve vektorovém prostoru vzdálenost od nominálního stavu. Pro naše účely použijeme hodnotu 0,5 jako standardní vzdálenost od nominálního zvuku. Tedy vše, co se nachází v rozmezí 0,5, je v zelené obálce (v malé vzdálenosti od zelené = nominální šipky). Hodnota 0,5 je hranicí zelené obálky. Cokoli nad hodnotou 0,5 je mimo obálku a znamená tedy anomální stav.

Na tomto obrázku tedy vidíme, jak vypadá analýza anomálního skóre.

Rozdíl mezi detekcí závad pomocí umělé inteligence a tradiční vibrodiagnostikou

Tradiční vibrodiagnostika vytváří ze zvuků frekvenční spektrum a následně vyhodnocuje jednotlivé frekvence. Na základě mechanických znalostí a projevů vibrací jednotlivých strojů pak může vibrodiagnostika odhadnout přibližnou příčinu vibrací. 

Diagnostika pomocí umělé inteligence jde dále a vyjadřuje frekvenční spektrum matematicky pomocí pouhých číselných vektorů. Následná analýza mezi těmito vektory umožňuje jemnější a podrobnější analýzu zvuků a má širší využití. Jde například o detekci zvuků u nerotujících strojů a dále pak zvuků, které jsou pomocí vibrodiagnostiky obtížně identifikovatelné (vrzání, šustění apod.).

Společnost Neuron Soundware získala za tuto metodu ocenění v soutěžích po celém světě

Společnost Neuron Soundware se umístila mezi pěti nejlepšími v kategorii DCASE soutěž. DCASE je celosvětová soutěž v analýze zvuku pomocí umělé inteligence. Soutěžící získávají zvuky strojů bez jakéhokoli rušení. Na nich pak trénují model (tj. výpočetní algoritmus, který se zvuky pracuje). Týmy pak dostanou zvuky s poruchou a bez poruchy a cílem je tyto zvuky od sebe odlišit.

Kvalita výsledků se od sebe, a tedy od konkurenčních týmů, liší tím, jak která skupina inženýrů strojového učení získá vektor, který reprezentuje zvuk. Tedy jak dokáže zvuk převést na číselnou reprezentaci

Tým Neuron Soundware se v mezinárodní soutěži DCASE 2020 v oblasti aplikace umělé inteligence pro prediktivní údržbu strojů umístil mezi pěti nejlepšími týmy na světě. V roce 2021 tým Neuron Soundware toto umístění obhájil.

Závěr

Umělou inteligenci v případě Neuron Soundware si tak lze představit jako soubor algoritmů porovnávajících zvukové a vibrační projevy strojů v čase. Díky bohatým znalostem projevů strojů a jejich součástí dokáže umělá inteligence vyhodnotit, o jaký typ závady se jedná a co je třeba udělat pro její odstranění.