Cómo funciona la inteligencia artificial de Neuron Soundware

Muchos clientes nos preguntan cómo funciona la inteligencia artificial en la detección de anomalías de audio. Hemos preparado un artículo con un ejemplo ilustrativo de control de escaleras mecánicas.

La industria del diagnóstico técnico se enfrenta a una escasez de expertos humanos. Gracias a los avances tecnológicos, los expertos humanos pueden ser sustituidos por inteligencia artificial capaz de procesar incluso cantidades excesivas de datos en un tiempo relativamente corto.

Al principio está la digitalización del sonido

Neuron Soundware ayuda a digitalizar los datos de las máquinas y luego a comprenderlos. En este caso, primero convierte la escucha humana en una forma visual. A partir de los valores gráficos, el sistema busca condiciones anómalas en los datos y envía alertas inteligentes a los clientes en función de ellas. 

Funciona de forma similar a las luces de un coche cuando el aceite está bajo, o las puertas están abiertas o los cinturones de seguridad no están abrochados mientras se conduce.

Un operador de escaleras mecánicas necesita lo mismo. Necesita ver en qué estado se encuentra cada pieza del equipo y si hay algún síntoma no deseado que pueda indicar una avería inminente.

artificial intelligence detecting anomalies

La recogida de sonidos de las máquinas se realiza en 3 pasos

  1. En primer lugar, instalamos los sensores en los lugares correspondientes de la máquina. Allí donde esperamos la mayor tasa de fallos del componente de la máquina. 
  2. Los sensores envían señales acústicas al nEdge (Internet de las cosas) a través de un cable. Este se conecta a Internet o procesa las señales de audio justo en el punto de funcionamiento de la máquina, lo que se denomina on-edge. 
  3. Las señales sonoras se procesan en forma digital, es decir, un lenguaje procesable por ordenador, en el nEdge Dispositivo IoT. Al mismo tiempo, estos datos de audio se evalúan mediante algoritmos de aprendizaje automático en un microordenador almacenado en la "caja" nEdge.
Neuron Soundware all.in.one solution for predictive maintenance-artificial intelligence detecting anomalies
Al comparar los datos de la máquina en buen estado y los actuales, la aplicación de software nGuard muestra información procesable para el mantenimiento de la máquina. Son las luces que conocemos del salpicadero de un coche. O está bien, o tiene algún problema. Por ejemplo, una pieza necesita lubricación o sustitución. Esta evaluación la realizan algoritmos inteligentes basados en el conocimiento mecánico general de la máquina, el conocimiento de su historial de funcionamiento y sus ruidos nominales acumulados cuando funciona sin fallos. Además, cualquier información sobre el funcionamiento de la máquina proporcionada por el operario a los especialistas de Neuron Soundware ayudará a perfeccionar estos algoritmos.

Cómo funciona la digitalización de audio: más detalles

La entrada básica para el procesamiento del audio de la máquina son los datos digitalizados. Hay que procesarlos a partir de los discursos sonoros y prepararlos para la inteligencia artificial.

La magnitud básica que se mide es la energía de las ondas sonoras procedentes del objeto medido. La energía sonora (vibración) se representa mediante un gráfico, en el que el eje y muestra la cantidad de energía (magnitud/ruido de la señal) y el eje x muestra el tiempo en el que cambia la energía/ruido/vibración. En las máquinas rotativas, la señal suele repetirse periódicamente. Se puede imaginar de forma simplista como una forma de onda sinusoidal.

artificial intelligence detecting anomalies - sound wave graph

En el caso del discurso de una escalera mecánica concreta, por ejemplo, mostramos el sonido como presión acústica de la siguiente manera:

artificial intelligence detecting anomalies: display of sound as acoustic pressure

Posteriormente, estas señales sonoras se convierten matemáticamente en el denominado espectro de frecuencias. Los espectros de frecuencia son más adecuados para la tarea más detallada del análisis de la IA que los datos del curso temporal por sí solos. El espectro de frecuencias tras la conversión a partir de la línea temporal tiene este aspecto en la escalera mecánica:

artificial intelligence detecting anomalies: sound signals converted frequency spectrum

Conversión de línea de tiempo a espectro de frecuencias

 

Las distintas partes del aparato tienen diferentes características de sonido y vibración. Éstas son generadas por el movimiento mecánico de los componentes individuales. La muestra de sonido resultante puede dividirse y separarse en perturbaciones mecánicas individuales mediante un análisis de frecuencia más profundo debido a la variedad de manifestaciones de frecuencia de estas perturbaciones.

Estas manifestaciones se ilustran mediante sonidos sinusoidales. Cada uno de los componentes "suena" ligeramente diferente, ya que los distintos fallos se manifiestan a frecuencias diferentes.

Como las máquinas son complejas, las señales medidas distan mucho de la onda sinusoidal idealizada. Por lo tanto, es necesario descomponer la muestra de sonido medida en subseñales individuales y aquí es donde la Transformada Rápida de Fourier (FFT) es la más adecuada. 

La transformada de Fourier descompone la señal en sinusoides individuales y las traduce en un espectro de frecuencias. Esto nos permite mostrar en el gráfico sólo pequeños "dientes" en el espectro de frecuencias. Estos dientes son mucho más fáciles de trabajar.

El análisis de frecuencias nos permite realizar diagnósticos técnicos de sonido

Sin embargo, cuando observamos una máquina del mundo real nos damos cuenta de que la señal generada no es idealmente regular durante su funcionamiento. Por lo tanto, también utilizamos un método para calcular un gran número de transformadas rápidas de Fourier. Para analizar su evolución temporal, utilizamos un método de visualización especial denominado espectrograma.

Spectrogram - combines frequenscy analysis and time

Los distintos colores de la figura indican la intensidad de la señal (amplitud). El eje y indica la frecuencia y el eje x la evolución en el tiempo. Esto pone el sonido en forma visual y de datos. Así podemos ver mejor los cambios en las manifestaciones sonoras y vibratorias de la máquina a lo largo del tiempo. 

El procesamiento del sonido desde la manifestación en la muestra temporal hasta el espectro de frecuencias tiene este aspecto simplificado:

O en el caso de las escaleras mecánicas:

Cómo procesa y evalúa los datos la IA

La inteligencia artificial, en nuestros términos, significa algoritmos inteligentes que buscan patrones en los datos y los evalúan. 

En realidad, en términos sencillos, es algo parecido a esto: Los algoritmos descomponen el espectrograma en sus partes individuales y las comparan con las muestras de sonido y vibración existentes en la base de datos. Por ejemplo, con las manifestaciones nominales de la máquina (cuando la máquina funciona bien), o con las denominadas bibliotecas de averías conocidas.

Gracias a esta comparación de datos, podemos reconocer si en un componente de la máquina se está desarrollando una manifestación sonora o de vibración, que es una manifestación indeseable o de mal funcionamiento. Esto puede verse en la figura siguiente, que muestra ejemplos de frecuencias definidas para distintos tipos de averías.

En realidad, en términos sencillos, es algo parecido a esto: Los algoritmos descomponen el espectrograma en sus partes individuales y las comparan con las muestras de sonido y vibración existentes en la base de datos. Por ejemplo, con las manifestaciones nominales de la máquina (cuando la máquina funciona bien), o con las denominadas bibliotecas de averías conocidas.

En el ejemplo de un motor eléctrico averiado que acciona la escalera mecánica, sería así: 

  • Las manifestaciones sonoras pueden verse en la primera imagen.
  • La segunda imagen muestra un espectrograma. 
  • La tercera imagen muestra la puntuación anómala en el portal nGuard.

En las dos primeras figuras vemos un cambio claro al final de la tendencia. Esto se representa gráficamente en nGuard superando la puntuación anómala, es decir, el nivel de desviación de los sonidos respecto a lo normal que la IA evalúa como anómalo, es decir, desviado de lo normal.

Para ilustrarlo, presentamos el tratamiento de datos por la inteligencia artificial en el siguiente diagrama, que presenta la inteligencia artificial, por ejemplo, desde la perspectiva de los coches autoconducidos. 

Estos también necesitan recopilar una enorme cantidad de datos. Cómo es una señal de tráfico, cómo es un semáforo, cómo es un giro, etc. Lo mismo ocurre con la inteligencia artificial que controla las máquinas. Cuantos más datos "sonoros" tenga sobre las máquinas, mejor podrá evaluar el sonido real que emite la máquina.

Utilizamos millones de grabaciones anonimizadas de máquinas de todo el mundo para evaluar su estado. Además, recopilamos datos de una máquina concreta y sus componentes.

Cómo funcionan los modelos de inteligencia artificial para la detección de anomalías

La inteligencia artificial nos ayuda a expresar matemáticamente el sonido en forma de vector. La expresión numérica del sonido en forma vectorial es, con diferencia, la disciplina más difícil del análisis sonoro. Podemos imaginar el espacio vectorial a partir de la visualización siguiente como un "espacio con flechas". 

Construimos este "espacio de flechas", un conjunto expresado vectorialmente de todos los sonidos posibles de la máquina, a partir de una base de datos de sonidos de la máquina, una base de datos de sonidos específicos de la máquina y los sonidos de los componentes individuales. Véase la figura siguiente:

Al evaluar el sonido de la máquina, un cálculo matemático compara siempre el vector de sonido actual con el conjunto de sonidos posibles y evalúa si el sonido de la máquina es el mismo que el sonido nominal o si se trata de un vector diferente y, por tanto, el sonido difiere.

A continuación, las figuras siguientes muestran un ejemplo que va desde la recogida de energía sonora hasta la comparación y evaluación de la puntuación anómala. 

En cada línea vemos: 

  1. Una representación gráfica del sonido grabado de la máquina y su intensidad a lo largo del tiempo
  2. Un espectrograma que muestra gráficamente el sonido como un espectro de frecuencias.
  3. Las partes individuales de la línea de tiempo convertidas en expresión matemática en vectores
  4. Puntuación anómala: gráfico que muestra la desviación del sonido respecto a su valor nominal a lo largo del tiempo.

A continuación, podemos trazar la evolución del sonido a lo largo del tiempo (de izquierda a derecha) de la siguiente manera:

  1. Figura: sonido nominal (normal) de la máquina
  2. Figura: sonido nominal de la máquina bajo carga
  3. Figura: cadena desviada
  4. Foto: daños en la cadena
  5. Imagen: sonido de la cadena después de la reparación

El último gráfico de la puntuación anómala indica, en el espacio vectorial, la distancia con respecto al estado nominal. Para nuestros fines, utilizamos un valor de 0,5 como distancia estándar respecto al sonido nominal. Así, todo lo que esté dentro de 0,5 se encuentra dentro de la envolvente verde (dentro de una pequeña distancia de la flecha verde = nominal). 0,5 es el límite de la envolvente verde. Cualquier valor por encima de 0,5 está fuera de la envolvente y, por tanto, indica una condición anómala.

En esta figura podemos ver cómo es el análisis de una puntuación anómala.

Diferencia entre la detección de fallos por IA y el vibrodiagnóstico tradicional

El vibrodiagnóstico tradicional genera un espectro de frecuencias a partir de los sonidos y luego evalúa las frecuencias individuales. A partir de los conocimientos mecánicos y las manifestaciones de vibración de cada máquina, el vibrodiagnóstico puede estimar la causa aproximada de la vibración. 

El diagnóstico por IA va más allá y expresa matemáticamente el espectro de frecuencias utilizando sólo vectores numéricos. El análisis posterior entre estos vectores permite un análisis más fino y detallado de los sonidos y tiene aplicaciones más amplias. Por ejemplo, la detección de sonidos en máquinas que no giran y, a continuación, sonidos difíciles de identificar mediante el vibrodiagnóstico (crujidos, crujidos, etc.).

Neuron Soundware ha ganado premios por este método en concursos de todo el mundo

Neuron Soundware se situó entre los 5 primeros del DCASE concurso. DCASE es una competición mundial de análisis de sonido mediante inteligencia artificial. Los concursantes obtienen los sonidos de las máquinas sin ninguna perturbación. Sobre ellos entrenan un modelo (es decir, un algoritmo computacional que trabaja con los sonidos). A continuación, los equipos reciben sonidos con y sin avería y el objetivo es distinguir estos sonidos entre sí.

La calidad de los resultados difiere entre sí, y por tanto entre los equipos competidores, en cómo obtiene el vector que representa el sonido cada grupo de ingenieros de aprendizaje automático. Th. cómo puede traducir el sonido en una representación numérica.

El equipo Neuron Soundware se clasificó entre los 5 mejores equipos del mundo en la competición internacional DCASE 2020 en la aplicación de la inteligencia artificial al mantenimiento predictivo de máquinas. En 2021, el equipo Neuron Soundware defendió esta clasificación.

Conclusión

La inteligencia artificial en el caso de Neuron Soundware puede imaginarse, por tanto, como un conjunto de algoritmos que comparan las manifestaciones sonoras y vibratorias de las máquinas a lo largo del tiempo. Gracias a su rico conocimiento de las manifestaciones de las máquinas y sus componentes, la IA puede evaluar de qué tipo de avería se trata y qué hay que hacer para solucionarla.