Practicum ASR spelen

Die spraakherkenningssystemen die nu te koop zijn, wat kunnen ze eigenlijk? Een misschien nog interessantere vraag,wat kunnen ze nu eigenlijk niet en waar ligt dat aan? Dit zijn vragen die we tijdens de twee practica waarmee we met deze software werken naar voren laten komen.
De eerste week gaan we bezig met wat het systeem allemaal wel kan, in het tweede practicum ligt het accent op wat het systeem nu niet kan.

De vorm van dit practicum is als volgt:

  • voorbereiding: theorie hoorcollege, Word documenten meenemen (5-10)
  • practicum: trainen gebruikers, testen, extra trainen, testen
  • individuele opdrachten

trainen en testen
Je werkt hier wederom in koppels. Iedereen moet het systeem trainen en testen. Door middel van gebruiker 1 en 2 wordt aangegeven wat ieder moet doen, waarna de rollen omgedraaid worden. De vragen van deze week en volgende week moeten volgende week direct na het practicum ingeleverd worden.

Tips:

  • Print alle teksten van tevoren even uit.
  • Bij het dicteren: lees regel voor regel voor. Begin pas met de volgende regel zodra de huidige regel herkent en gecorrigeerd is.

Gebruiker 1 spreekt en gebruiker 2 corrigeert.

Nieuwe gebruiker maken + trainen:

  • Zet je Word bestanden in 'mijn documenten'.
  • Maak een nieuwe gebruiker aan. Volg de instructies die Dragon geeft (zie ook handleiding).

Testen gebruiker:

  • Open een leeg Word document, en zorg dat de cursor in het document staat.
  • Neem de tijd op, vanaf het moment dat je begint te dicteren.
  • Gebruiker 1: Dicteer tekst 1, corrigeer iedere fout (zie handleiding).
  • Gebruiker 2: Streep aan welke woorden fout gingen, en schrijf het foute woord bij het correcte woord in correctieblad van tekst 1
  • idem voor tekst 2 (correctieblad tekst 2)

Herhaal het voorgaande, wissel nu van gebruiker.

Trainen gebruiker:

  • Train verder (35 min) met de tekst "Koningsbron". Ga hiervoor naar het Nauwkeurigheidscentrum onder het menu Extra en kies Aanvullende leerfase uitvoeren.
  • Gebruiker 2: tijdens het verder trainen van gebruiker 1 kun je met de opdrachten beginnen.

Testen gebruiker:

Herhaal het voorgaande, wissel weer van gebruiker.

Leeg lexicon:

  • Maak een nieuwe gebruiker aan.
  • In scherm van Gebruiker maken -> Geavanceerd..., kies Leeg lexicon.
  • Volg de instructies op zoals eerder.
  • Dicteer tekst 1.

Individuele opdrachten

  1. Hoelang deed je over het dicteren van tekst 1, 2, 3 en 4?
  2. Hoeveel fouten zitten in tekst 1, 2, 3 en 4?
  3. Kun je de fouten in groepen indelen?
    Zo ja, welke overeenkomsten vind je en waarom?
    Zo nee, waardoor denk je dat dit komt? Licht je antwoord goed toe.
  4. Construeer een aantal niet-grammaticale zinnen en dicteer deze. Wat gebeurt er en wat is je verklaring hiervoor?
  5. Beantwoord vraag 4 nu voor niet bestaande woorden.
  6. Bekijk de lijst met de volgende woorden: lijst
    Maak met zoveel mogelijk hoog frequente(> 200), laag frequente(< 30) en midden frequente woorden twee grammaticale zinnen (dus twee zinnen voor elke categorie, is zes zinnen). Wat is het herkenningsresultaat?
  7. Welke fouten vind je begrijpelijk en welke niet? Licht je antwoord toe en betrek menselijke fouten ook in je antwoord.
  8. Hoe wordt de herkenning beïnvloed door het verschil klinkers/medeklinkers? Probeer het uit.
  9. Beantwoord dezelfde vraag voor verschillende medeklinkers.
  10. Geef aan hoe het leeg lexicon werkt en verklaar de resultaten.
  11. Wat is jouw algemene indruk? (Verwerk in je antwoord: leersnelheid, prestatie voor en na extra trainen, wat je zelf verwacht had.)
  12. Open het "nauwkeurigheidscentrum" en bekijk de opties. Teken een overzicht van de functionele delen van een ASR-system en geef voor elke optie aan waar dit het systeem past. Leg van de opties "akoestiek" en "lexicon verbeteren" een mogelijk relatie met het trainen van HMM's en het werken met statistische taalmodellen.

Contact

postadres
Auditory Cognition Group
Kunstmatige Intelligentie
Rijksuniversiteit Groningen
Postbus 407
9700 AK Groningen

bezoekadres
Bernoulliborg
Nijenborgh 9
9747 AG Groningen

How to reach us