• Author / Uploaded
• erick mtz

Citation preview

Abstracto: En este documento se encuentra un ejemplo práctico de la aplicación de un reconocimiento de voz offline, que requiere bajos recursos del procesador y que aparte es independiente del hablante. Para esta aplicación se pretendía implementar un control por voz de vocabulario limitado para controlar un brazo mecánico tipo Jaco, el cual sirve como apoyo de actividades diarias a personas con impedimentos motrices. Se presentan algunas alternativas de sistemas que cumplen dichas características, y se logra implementar un sistema con 90% de detección en idioma inglés y un 75% para el idioma francés, su implementación en el brazo robótico aún queda pendiente. Introducción: El reconocimiento de voz es una herramienta muy utilizada para múltiples propósitos. Para la mayoría de nosotros no es anormal utilizarlo en el día a día al manejar o para acceder rápidamente a un contacto o aplicación desde el celular. A pesar de que el reconocimiento de voz ha existido desde mitad del siglo XX, no había sido utilizado debido a su falta precisión y su limitado vocabulario había hecho impráctico su uso.

El primer sistema de

reconocimiento de voz se creó en 1952 bajo el nombre de Audrey; era un sistema de reconocimiento dependiente del hablante que podía reconocer 10 dígitos. No se hicieron avances significativos hasta los años 70s el Departamento de Defensa de Estados Unidos (DARPA) desarrollo un sistema con capacidades mejoradas con posibilidad de implementar un vocabulario de hasta 1,000 palabras (SONIX). Este tipo de procesamiento se basaba en detectar los patrones del sonido para hacer una comparación exhaustiva a una base datos, lo que requería un gran poder de procesamiento y almacenamiento para todas las combinaciones del vocabulario. Debido a eso todos los esfuerzos se centraban en crear una síntesis de sonido digital más parecido e intuitivo como el del ser humano. No fue hasta la introducción del modelo estadístico de “Hidden Markov” que el procesamiento de las señales analógicas pudo crear sistemas más flexibles, con mayor robustez. A la par del mejoramiento de los modelos estadísticos, los sistemas de adquisición de señales y sistemas de procesamiento se perfeccionaron de igual forma. Para este proyecto se pretendió crear un sistema de reconcomiendo de voz capaz de reconocer un vocabulario que comprende comandos de posición. Este sistema se pretendía implementar en un sistema robótico de apoyo para personas con problemas motrices parciales, enfocado

para dar soporte dinámico en tareas diarias. Debido a que este sistema robótico estaría funcionando esporádicamente todo el día y se requiere la mayor portabilidad posible, esto quiere decir que el sistema no debe depender de estar conectado a internet, debe ser un sistema que demande bajos recursos energéticos y de procesamiento. A pesar que, actualmente existen muchos de sistemas reconocimiento de voz, la gran mayoría de estos hacen procesamiento en la nube y algunos de los sistemas offline requieren de hardware especifico o no tienen la precisión adecuada para esta aplicación. Es importante recalcar que debido al corto tiempo para desarrollar el proyecto, se evitó implementar un sistema desde cero. Y finalmente, debido a que se pretendía probar en la Ciudad de Quebec, se pretendió crear modelos personalizados en inglés y francés. Se seleccionaron dos distintos sistemas de detección: TIesr Speech Recognition System y CMUSphinx. Cada uno de estos representa una opción viable con sus respectivas ventajas y desventajas que se analizaran a lo largo de este documento. Además, es muy importante resaltar que gran parte del material audiovisual utilizado en este reporte proviene de una serie de tutoriales realizados por el propio investigador y estudiante Erick Martínez Blas como apoyo al departamento de Ingeniería Mecánica. En estos tutoriales se explica más a detalle todos los pasos para lograr instalar y programar las aplicaciones, debido a que cada tutorial requirió de la aplicación de más 30 pasos por sistema de reconocimiento, se decidió dejar algunos pasos como apoyo para el reporte, pero la demás información se deja fuera de la extensión de este documento. Marco Teórico El reconocimiento de voz sigue siendo todo un reto para los investigadores. El problema recae en la naturaleza de la señal y que en muchas ocasiones se requiere de un cierto grado de comprensión para que ciertas palabras puedan tener significado. Como ya se ha mencionado anteriormente, el modelo más utilizado para estas aplicaciones es el llamado Hidden Markov, el cual utiliza ciertos algoritmos estocásticos de redes neuronales, en donde una vez que se obtiene una señal se compara con un árbol de decisiones que el cual toma la secuencia de palabras que tengan más sentido en un cierto contexto. Como otras redes neuronales este modelo tiene que ser entrenado por una serie datos de referencia. Que, para esta aplicación comúnmente se utilizan tres diferentes niveles: se utiliza un modelo de lenguaje acústico, diccionario fonético, y diccionario escrito o se puede modificar directamente un árbol de decisiones.

A pesar de que estos programas utilizan el modelo Hidden Markov de diferentes maneras y en diferentes niveles, se puede observar cierta similitud. El modelo de Markov viene de las Cadenas de Markov, que en un principio es fácil de comprender y que en bajos niveles es muy sencillo de aplicar, pero mientras vaya aumentando la cantidad de elementos a considerar en la cadena de decisiones su complejidad aumentara en la misma medida. Este modelo como su nombre lo indica y explicada de una manera simplificada se basa en la demostración y comparación de una serie de eventos estadísticos para los cuales se tiene que definir una serie de probabilidades y esas probabilidades se plasman en el árbol de decisiones entonces existen distintas probabilidades para todas las posibles combinaciones en el árbol de decisiones. Entonces, en el Hidden Markov Model reconoce los patrones probabilísticos en para ser reconocidos en el proceso estocástico comprendida por una o más cadenas de Markov. Las características de estos modelos es que las cadenas deben de ser finitas y también así el conjunto de distribución de probabilidad de resultados. Entonces cuando se aplica al reconocimiento de voz, la mayoría de las veces se obtiene mediante un algoritmo de retroactivo que asigna una probabilidad para un vector futuro de un estado de Cadena de Markov. Cuando se entrena un modelo por medio del algoritmo Viterbi, se construye un árbol de decisiones con la información del diccionario fonético con la cual se construirían los nuevos vectores. Así se encuentra la combinación más probable al comparar el modelo con la señal de entrada y se fuerza a esa posibilidad. En cuanto al modelo acústico, se pueden grabar muestras de las palabras o de los fonemas a replicar, el número de muestras puede variar dependiendo si se requiere que sea dependiendo o independiente del hablante. Para algunos sistemas de reconocimiento de voz se necesitan alrededor de 500 muestras para una sola palabra para poder crear un modelo independiente del hablante. Y existen algunos proyectos de código abierto en donde se pretende crear una colección de palabras para lenguajes completos. Cuando se procede a crear el diccionario fonético, se pretende reducir un conjunto de palabras a sus mínimas silabas fonéticas que finalmente construyen la pronunciación de una palabra; existen algunos modelos que permiten introducir diferentes pronunciaciones para estas palabras. Cuando se crea el modelo de lenguaje o árbol de decisiones, se basa en las entradas para el diccionario fonético, en esta se establecen diferentes niveles de interacciones entre cada una de las palabras. Esto puede ser a nivel monófona, bífona, o trífona, generalmente se establece solo hasta trífona puesto que si se considera un nivel más de interacción el modelo se vuelve demasiado grande como para

ser practico. Cuando se habla del nivel de monófonos se establecen las probabilidades que aparezca una sola palabra en cualquier contexto, por ejemplo si se trabajara con un amplio modelo del español, existiría una mayor probabilidad generalmente que si se dice la palabra “Él” (ya que es un pronombre muy usado en el idioma) a una palabra como “elefante” que se utiliza en menos contextos. Se podría decir que solo se considera, para este nivel, la sola probabilidad de aparición de una palabra más que una interacción. En el nivel de bífonos se establece la probabilidad de interacción entre dos palabras del diccionario, también se consideran el silencio antes o después de una palabra. Y en el último nivel se pueden establecer las interacciones entre dos o tres palabras (contemplando un silaba de silencio). La voz es una señal análoga que se propaga por medio de ondas causada por vibraciones a diferentes frecuencias, el límite de audición se encuentre aproximadamente desde los 20 Hz hasta 20KHz. Esta señal se encuentra formada elementalmente por senos y cosenos aunque su construcción llega a ser muy compleja. Dentro de las características de la señal de voz se pueden observar algunos comportamientos estadísticos, estos son: la función de densidad de probabilidad, estacionariedad y ergocidad. La función de densidad se puede estimar mediante un histograma de las amplitudes sobre un numero suficientemente grande representativo de la señal, que pueden ser por distribuciones laplaciana o distribución gama. Aunque para la señal de voz depende mucho los intervalos de tiempo en los que se analice la señal. Si los intervalos ese encuentran entre los 20 y 60 ms se procede más típicamente al uso del modelo ergodico. Para simplificar la obtención de señales de voz, se supone entonces que la señal es casi estacionaria y con ergodicidad solo en intervalos largo puede cambiar esta condición. Desarrollo: El primer sistema de desarrollo se trata del producido por Texas Instruments, este sistema requiere de un hardware especializado para poder implementarse, se trata del DSP (Procesador de Señal Digital) de la familia C5000, que justamente son procesadores diseñados para aplicaciones de baja energía, y que debido a sus especificaciones permite un paralelismo para ejecutar los algoritmos de redes neuronales para generar las coincidencia. Este mismo procesador está presente en diversos productos electrónicos como grabadoras y micrófonos. Por lo que la primera aproximación se logró por medio del kit de desarrollo C5535 eZdsp el cual incluye el DSP C5000. Este procesador ocupa una librería específica para la implementación del reconocimiento de voz desarrollado por la propia empresa Texas

Instruments bajo el nombre de TIesr Speech Recognition. El sistema de biblioteca TIesr es el kit de herramientas que permite a los dispositivos DSP C5535 y C5545 ejecutar comandos de activación por voz que imprime una palabra clave pre programada en la pantalla OLED de la placa, basada en la palabra clave. Además, este diseño también permite la creación de frases de activación personalizadas y varias otras aplicaciones, como modulación de voz, detección de tonos, etc.

Ilustración 1:C5535

Ilustración 2: C5545

Para lograr este cometido hay que entender que para desarrollar una aplicación utilizando un dispositivo de la familia Texas Instrumentas se deben instalar todos los toolkits para funcionar a la par de Code Composer Studio (plataforma de desarrollo para programación de la familia TI). En este desarrollo se utilizó la versión 7.4 ya que la versión más reciente 8.1 mostró varias veces problemas de compatibilidad con algunas herramientas de la librería, además que continuamente se presentaba error de conexión de tipo puerto serial. Una vez cargado CCS, se deben actualizar e instalar algunas librerías que se muestran a continuación:

Ilustración 3: Actualización importantes

Para comprobar una buena instalación, se procede a cargar el Demo que contiene una sola frase de activación y que puede estar corriendo de forma continua. Existen algunos otros proyectos de demostración, pero todos estos proyectos deben estar optimizados para el chipset adecuado (en este caso C5535) y compatible con las versiones de 2013-2015 ya que el desarrollo de esta librería empezó en esos años y algunas funciones no están habilitados para versiones más recientes tanto de BIOS como de CCS. Algunas imágenes de los proyectos y de configuraciones de compatibilidad se muestran a continuación:

Ilustración 5: Demo de proyectos Ilustración 4: Navegación de Proyectos

Ilustración 6: Compatibilidad Bios Ilustración 7: Compatibilidad en programa

Una vez compilado y cargados estos proyectos en la placa, se puede proceder a conectar un micrófono al eZdsp C5535 y se puede comprobar su funcionamiento diciendo la palabra de activación “t i voice trigger” la palabra se presenta en la pantalla OLED como se muestra en la siguiente figura:

Ilustración 8: Ejemplo de activación

Para desarrollar un programa y aplicación propios se encontró con el inconveniente que para crear modelos de Hidden Markov, se debía bajar herramientas de terceros con el nombre de HTK Speech Recognition y para crear un árbol de decisiones (necesario para crear vocabularios específicos para nuevos lenguajes). A pesar de que se sigue utilizando la familia de los C5000 la aplicación de reconocimiento de voz casi no tiene soporte, y al final eso dificultó en gran medida la capacidad de completar un diccionario personalizado. Es por eso que se decidió utilizar CMUSphinx. CMUSphinx CMUSphinx es un ambiente de desarrollo especializado en reconocimiento de voz de código abierto. Actualmente este sistema tiene versiones especializadas para dispositivos móviles con Android, esto quiere decir que no depende de hardware específico para poder correrlo. A pesar de eso, se recomienda la plataforma de desarrollo de Rasberry Pi debido a que el código para esta aplicación, a diferencia del TIesr Speech Recognition, se encuentra escrito totalmente en Python. Y puede ser desarrollado y probado con la ayuda de una laptop, lo que facilita enormemente, sin mencionar que existe mucha más información en internet para desarrolladores sin tener que pasar por foros o chats de alguna empresa. También cabe mencionar que es recomendable desarrollar en el sistema operativo Linux Ubuntu 14.04 ya que evita problemas de compilación. Antes de empezar el desarrollo de estas aplicaciones se necesitan instalar ciertas dependencias en Ubuntu. Existe mucha documentación al respecto pero aquí se muestran los más importantes:

Ilustración 9: Instalación en Ubuntu

Ilustración 10: Lista de dependencias

La versión a instalar para la aplicación prevista se denomina sphinxbase. Sphinxbase es una versión optimizada para sistemas de bajos recursos, con alta velocidad de respuesta y que ya tiene integrados todas las herramientas para entrenar un nuevo modelo, implementar un diccionario propio y correrlo para más aplicaciones. Este sistema ya incluye una opción de reconocimiento de voz independiente del hablante, pero debido a que tiene un muy amplio vocabulario, no era práctico para una aplicación con un vocabulario limitado a 15 diferentes comandos. Este sistema resulto tener una interfaz más intuitiva para el desarrollador ya que tanto el diccionario fonético como el de lenguaje o árbol de decisiones podía ser editado mediante un script, y el modelo acústico podía ser entrenado en base a grabaciones de audio a menos de 16 MHz con la posibilidad de ser entrenado varias veces bajo el mismo modelo. Esto, aunado al hecho que se podían ocupar entradas de micrófono de la laptop para hacer las pruebas, hizo que la experimentación fuera un proceso más fluido, que se podía acceder mediante el command window bajo un sencillo argumento. Otra de las grandes ventajas de Pocketsphinx es que existe una gran comunidad de desarrolladores y documentación para diferentes aplicaciones. Por ejemplo, a pesar que el modelo acústico del idioma inglés viene predefinido, para crear un modelo acústico del francés con sus diferentes pronunciaciones propias de la región de Quebec, hubiese requerido

al menos 20 horas de grabaciones para un vocabulario muy reducido. Cuya obtención habría requerido de al menos dos semanas para catalogar e implementar en el entrenamiento de las redes neuronales. En vez de eso fue posible descargar un modelo acústico francés, que se adecuo en cierta medida a nuestra aplicación. Algunas imágenes del sistema se muestran a continuación:

Ilustración 11: Reconocimiento predefinido

Ilustración 12: Programa en funcionamiento

Resultados: A pesar que el programa de detección predefinido utilizado por Pocketsphinx reunía todas las características demandadas por el sistema, la detección de palabras dejaba mucho que desear. Se hicieron algunas pruebas utilizando el diccionario que incluye dicho sistema predeterminado y se encontró que no detectaba la palabra deseada en la mayoría de los casos mostrando una fiabilidad del 22%, misma que no podía ser aceptada bajo los términos del proyecto. La razón de esta disparidad es que al ocupar el programa determinado de detección de palabras en idioma inglés, se utiliza todo el vocabulario que se ha entrenado en esa red neuronal para intentar reconocer las palabras.

Aunque cabe mencionar que existía la

posibilidad de un error por una deficiente obtención de audio debido al micrófono o una mala pronunciación del investigador, se descartó dicho error al probar el sistema con algunos angloparlantes y diferentes sistemas de grabación. Logrando aumentar la fiabilidad del sistema hasta un 45%, lo que sigue siendo un rendimiento bajo si se pretende dar órdenes a un robot que potencialmente podría representar un peligro no solo para las personas alrededor sino para el propio usuario. A continuación se muestran algunas pruebas utilizando la palabra “backward”, que es parte de una serie de 12 diferentes comandos que se tomaron como referencia para crear un vocabulario:

Ilustración 13: Prueba "backward" 1

Ilustración 14: Prueba "backward" 2

Como se observa, a pesar que se pretendió detectar backward, se detectaron palabras que carecían de sentido en este contexto. Además que el programa, realmente no cumplía con las demás necesidades de simplicidad para poder ser ocupado por un usuario. Por lo que se procedió a la creación de un programa propio con un árbol de decisiones, entrenado mediante prueba y error y un diccionario propio. El código se muestra a continuación:

Ilustración 15: Muestra programa final

Ilustración 16: Muestra vocabulario final

Al disminuir el tamaño del vocabulario se logró aumentar la fiabilidad de detección hasta un 90% teniendo solamente un confusión de palabras en la presentación final. Cabe destacar que

no se puede mostrar el árbol de decisiones no solo por lo extenso, sino porque el formato es incompatible con los programas de visualización de Windows (recordando que se desarrolló en Ubuntu). Además se logró generar el mismo vocabulario en francés, con una menor fiabilidad que se supone se debe a que el modelo acústico en francés no esta tan detalladamente desarrollado como el de inglés. Y para eliminar cualquier anomalía o activación en falso, se logró implementar una palabra de activación que servía como referencia para el programa y el usuario permitiendo mayor libertad sin restricciones a por ejemplo decir forward o backward en medio de una conversación sin miedo que se activara el brazo. A pesar que se logró un gran avance, debido al tiempo de la estadía no fue posible terminar por completa la implementación con el brazo robótico como se pretendía. Pero se lograron las bases para que se pudiera empezar a implementar los algoritmos de posición y movimiento por medio de comandos de voz. Logrando así, cumplir con el propósito de la estadía.

Conclusión: El reconocimiento de voz es un complejo sistema que requiere que muchos procesos funcionen al mismo tiempo para poder interpretar algo que para la mayoría de nosotros es muy normal. Aunque no lo parezca a simple vista, el modelo matemático y estadístico detrás de esta clase de sistemas requiere un procesamiento y algoritmos muy optimizados y que a pesar que se utilizan redes neuronales, el usuario es quien a final de cuentas tiene la capacidad de entrenar a estos sistemas con fines específicos. Este proyecto requirió de características muy específicas por las cuales se decidió utilizar dichos sistemas, pero hoy en día podemos encontrar esta clase de sistemas en todos lados, al alcance de nuestra mano muy probablemente tenemos uno. Pero eso no significa que el reconocimiento de voz este totalmente desarrollado. Siguen existiendo muchos esfuerzos para mejorar y hacer más accesible esta clase de tecnología para todos y en todos los idiomas. Justamente, el propósito de mi proyecto se centraba en encontrar otra forma de facilitar el día a día a una persona discapacitada motrizmente, lo cual aumenta el grado de responsabilidad a este sistema. Analizando más a fondo, también es importante hacer la observación que muchas veces el desarrollo de las aplicaciones no van a la par del desarrollo de sistemas operativos o de descubrimientos tecnológicos y que fácilmente un proyecto puede ser incompatible y traer

muchos problemas al intentar desarrollar en dicha aplicación. Aparte de estos resultados se obtuvieron otras comparativas que tuvieron que ser dejadas al margen para no desviar el motivo de este reporte, pero que son igualmente importantes. Como la aplicación de otros modelos más modernos que incluyen un grado de Deep learning el cual se encuentra aún en grado experimental para poder implementarlo correctamente. Y también existe mucha área de oportunidad para seguir mejorando el sistema creado y hacerlo más robusto y seguro para el usuario, aunque se requeriría al menos otros tres meses para llegar a un estado en el que pueda ser implementado de forma segura con un usuario. Fuentes: http://www.ti.com/product/TMS320C5535 https://www.happyscribe.co/blog/history-voice-recognition/ https://web.stanford.edu/~jurafsky/slp3/ed3book.pdf https://www.fceia.unr.edu.ar/prodivoz/banco_filtros_bw.pdf https://cmusphinx.github.io/ http://www.ti.com/lit/ug/tidubj5a/tidubj5a.pdf https://www.hearinglink.org/living/loops-equipment/speech-recognition-systems/ https://en.wikipedia.org/wiki/Code_Composer_Studio http://htk.eng.cam.ac.uk/ https://sonix.ai/history-of-speech-recognition https://mi.eng.cam.ac.uk/~mjfg/mjfg_NOW.pdf