Repositorio
Institucional

Molina, Carlos

Becerra Yoma, Nestor

Huenupan, Fernando

Garreton, Claudio

Wuth, Jorge

Maximum Entropy-Based Reinforcement Learning Using a Confidence Measure in Speech Recognition for Telephone Speech

IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC

IEEE TRANSACTIONS ON AUDIO SPEECH AND LANGUAGE PROCESSING

en

En este artículo, se propone un novedoso esquema de aprendizaje por refuerzo (RL) basado en la confianza para corregir las verosimilitudes logarítmicas de las observaciones y abordar el problema de la compensación no supervisada con datos de estimación limitados. Se presenta una decodificación de Viterbi en dos pasos que estima un factor de corrección para las verosimilitudes logarítmicas de las observaciones, lo que hace que los HMM reconocidos y vecinos sean más o menos probables mediante el uso de una puntuación de confianza. Si las regiones en la salida proporcionada por el reconocedor presentan puntuaciones de confianza bajas, la segunda decodificación de Viterbi tenderá a enfocar la búsqueda en los modelos vecinos. Por el contrario, si las regiones reconocidas presentan puntuaciones de confianza altas, la segunda decodificación de Viterbi tenderá a mantener la salida de reconocimiento obtenida en el primer paso. El mecanismo de RL propuesto se modela como la combinación lineal de dos métricas o fuentes de información: la verosimilitud logarítmica del modelo acústico y el logaritmo de una métrica de confianza. También se presenta un criterio basado en la maximización incremental de la entropía condicional para optimizar una combinación lineal de métricas o fuentes de información en línea. El método requiere una sola enunciación, de tan solo 0,7 s, y puede generar reducciones significativas en la tasa de error de palabras (WER) de entre el 3 % y el 18 %, según la tarea, las condiciones de entrenamiento y prueba, y el método utilizado para optimizar el esquema de aprendizaje por refuerzo propuesto. A diferencia de los métodos convencionales de compensación de características y adaptación de parámetros del modelo, el método de aprendizaje por refuerzo basado en la confianza se desarrolla en el dominio de la verosimilitud logarítmica. Por consiguiente, como se muestra en los resultados presentados, complementa las técnicas de compensación de características y adaptación de modelos.#In this paper, a novel confidence-based reinforcement learning (RL) scheme to correct observation log-likelihoods and to address the problem of unsupervised compensation with limited estimation data is proposed. A two-step Viterbi decoding is presented which estimates a correction factor for the observation log-likelihoods that makes the recognized and neighboring HMMs more or less likely by using a confidence score. If regions in the output delivered by the recognizer exhibit low confidence scores, the second Viterbi decoding will tend to focus the search on neighboring models. In contrast, if recognized regions exhibit high confidence scores, the second Viterbi decoding will tend to retain the recognition output obtained at the first step. The proposed RL mechanism is modeled as the linear combination of two metrics or information sources: the acoustic model log-likelihood and the logarithm of a confidence metric. A criterion based on incremental conditional entropy maximization to optimize a linear combination of metrics or information sources online is also presented. The method requires only one utterance, as short as 0.7 s, and can lead to significant reductions in word error rate (WER) between 3% and 18%, depending on the task, training-testing conditions, and method used to optimize the proposed RL scheme. In contrast to ordinary feature compensation and model parameter adaptation methods, the confidence-based RL method takes place in the frame log-likelihood domain. Consequently, as shown in the results presented here, it is complementary to feature compensation and to model adaptation techniques.

Artículo original

Este trabajo fue financiado por Conicyt-Chile mediante las subvenciones Fondecyt No. 1070382 y Fondef No. D05I-10243.

10.1109/TASL.2009.2032618

pdf

Confidence measure

incremental conditional entropy

reinforcement learning

robust automatic speech recognition

telephone speech

SPEAKER ADAPTATION

TRANSFORMATION

REGRESSION

Medida de confianza

entropía condicional incremental

aprendizaje por refuerzo

reconocimiento automático de voz robusto

habla telefónica

ADAPTACIÓN DEL ALTAVOZ

TRANSFORMACIÓN

REGRESIÓN

Confidence measure

incremental conditional entropy

reinforcement learning

robust automatic speech recognition

telephone speech

SPEAKER ADAPTATION

TRANSFORMATION

REGRESSION

Medida de confianza

entropía condicional incremental

aprendizaje por refuerzo

reconocimiento automático de voz robusto

habla telefónica

ADAPTACIÓN DEL ALTAVOZ

TRANSFORMACIÓN

REGRESIÓN

Maximum Entropy-Based Reinforcement Learning Using a Confidence Measure in Speech Recognition for Telephone Speech

IEEE TRANSACTIONS ON AUDIO SPEECH AND LANGUAGE PROCESSING

hibrida#verde

restringido

restringido

en

Artículo original

versión publicada

ANID CONICYT FONDECYT 1070382#ANID CONICYT FONDEF D05I-10243

ANID CONICYT FONDECYT 1070382#ANID CONICYT FONDEF D05I-10243

IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC

1558-7916

1041

1052

Acústica

Ingeniería eléctrica y electrónica

Acoustics

Engineering, Electrical & Electronic

pdf

WOS:000278814600013