Elsevier

Speech Communication

Volume 9, Issue 4, August 1990, Pages 337-347
Speech Communication

Testing the effective vocabulary capacity method of evaluating speech recognizers

https://doi.org/10.1016/0167-6393(90)90009-XGet rights and content

Abstract

The performance of isolated-word speech recognizers is typically measured using error rates. To obtain reliable error rate estimates for good recognizers can require many thousands of subject utterances, and, the better the recognizer, the more sensitive the error rate is to the actual challenge vocabulary and the skill of the talker. The Effective Vocabulary Capacity (EVC) is the maximum vocabulary that a recognizer can in principle handle at a given error rate. It relies on measures that are relatively independent of the challenge vocabulary and that require only tens or hundreds of test utterances. The EVC algorithm is tested with both synthetic and real recognizer data.

Zusammenfassung

Die Leistungsfähigkeit von Spracherkennungssystemen für isolierte Wörter wird üblicherweise mit Hilfe der Fehlerrate gemessen. Um verläßliche Schätzwerte für die Fehlerrate hochwertiger Spracherkennungssysteme zu erhalten, werden möglicherweise viele tausend Einzeläußerungen benötigt; je besser das Spracherkennungssystem ist, desto empfindlicher ist die Fehlerrate in bezug auf den aktuell im Einsatz befindlichen Wortschatz und die Eigenschaften des jeweiligen Sprechers. Die effective Kapazität (EVC) ist definiert als der maximale Wortschatz, den ein Spracherkennungssystem grundsätzlich bei gegebener Fehlerrate verarbeiten kann. Dies benötigt Fehlermaße, die von dem verwendeten Vokabular weithin unabhängig sind, und die nur einige zehn oder hundert Testäußerungen zur Evaluierung des Systems benötigen. Hierzu wurde ein spezieller Algorithmus, der EVC-Algorithmus, entwickelt, dieser wird anhand synthetischer und realer Spracherkennungsdaten getestet.

Résumé

Les performances des systèmes de reconnaissance de mots isolés sont généralement mesurées en fonction du taux d'erreurs. L'estimation fiable du taux d'erreurs pour des systèmes de reconnaissance de bonne qualité peut nécessiter plusieurs milliers d'énoncés. Plus le système de reconnaissance est performant, plus le taux d'erreurs est sensible au vocabulaire testé et aux caractéristiques du locuteur. L'Effective Vocabulary Capacity (EVC) est le vocabulaire maximum qu'un système de reconnaissance peut traiter pour un taux d'erreurs donné. Il se base sur des mesures relativement indépendantes du vocabulaire testé et ne demandant que quelques dizaines ou centaines d'énoncés-tests. L'algorithme EVC est testé sur des données synthétiques et réeles de systèmes de reconnaissance.

References (8)

  • H. Schiffman et al.

    The organization of stimuli and sensory neurons

    Physiology and Behavior

    (1968)
  • Bureau of Management Consulting

    Robust measurement of Effective Vocabulary Capacity of automatic speech recognizers

    BMC Report, Project 3-5806

    (1987)
  • M.E. Gold

    Metric unfolding: Data requirement for unique solution & clarification of Schönemann's algorithm

    Psychometrika

    (1973)
  • R.K. Moore

    Evaluating speech recognizers

    IEEE Acoustics, Speech and Signal Processing

    (1977)
There are more references available in the full text version of this article.

Cited by (0)

View full text