Workflow in DAKODA

Auf dieser Seite stellen wir die Grundlagen der Verbstellungsanalyse im DAKODA‑Projekt dar. Details zu den einzelnen Verfahren zur Qualitätsprüfung und zu den technischen Schritten finden Sie in den verlinkten Referenzen.

Erwerbsstufenannotationen in DAKODA

Um die DAKODA‑Daten für projektinterne Analysen und die spätere Bereitstellung in der Korpus‑Infrastruktur zu annotieren, wurde folgender Workflow verwendet:

1. Harmonisierung der DAKODA‑Datenbasis in geeignete Formate.
2. Übernahme der bereits bestehenden Zielhypothesen aus den Quellkorpora und Metadaten.
3. Erstellung automatischer Zielhypothesen sowie Parsen und Taggen der Lernertexte und zugehöriger Zielhypothesen. Jeder Text wurde sowohl mit SyntaxDot nach dem DU‑Schema als auch mit spaCy nach dem TiGer‑Schema für das Deutsche geparst.
4. Automatische regelbasierte Annotation von Verbstellungstypen auf finiten Verben.
5. Kompilierung der originalen Korpusdaten (Texte, Metadaten, ggf. Zielhypothesen) und des DAKODA‑Annotationslayers im CAS‑Format in XMI‑Dateien.
6. Bereitstellung der unterschiedlichen Dateiformate zum Download. Mehr zu den einzelnen Downloadformaten finden Sie hier.

Manuelle Annotation mit Stufentags

Zur Überprüfung der automatischen Zuweisung der Erwerbsstufen annotierten Mitarbeiter:innen des DAKODA‑Projekts in mehreren Annotationsexperimenten die unterschiedlichen Verbstellungstypen gemäß der im Projekt erarbeiteten DAKODA‑Spezifikationen auf einer Datenauswahl der Lernerkorpora MERLIN (Winiewski et al. 2013) und (Wisniewski et al. 2022) mit anschließender Überprüfung des Inter‑Annotator Agreements.

Die Annotationsexperimente dienten zunächst dazu, zu messen, inwieweit menschliche Annotator:innen in der Analyse von Verbstellung übereinstimmten. Da Lernersprache oft ambig oder unterspezifiziert ist, wurden bei der Annotation von Verbstufen durch menschliche Annotator:innen jeweils auch minimale Zielhypothesen erstellt, um auf Grundlage der auf der Lernerspur annotierten Erwerbsstufe als Interpretationsebene transparent zu machen.

Weiterhin dienten die manuellen Annotationen als Goldstandard für die Beurteilung der Qualität der explorierten Verfahren.

Automatisierte Erwerbsstufenannotation

Die Konzeption der automatisierten Erwerbsstufenannotationen besteht aus einem regelbasierten Verfahren mit Merkmalen automatischer Dependenzparses, um finiten Verben im lernersprachlichen Datenmaterial einen oder mehrere Stellungstypen zuzuweisen. Mit den manuell erstellten Regeln wurden die Daten im nächsten Schritt automatisch mit syntaktischen Dependenzen annotiert, die geparsten Teil‑Sätze regelbasiert in das topologische Satzmodell einsortiert und auf diesem nach den DAKODA‑Spezifikationen den Erwerbsstufen zugeordnet.

Annotationen von lernersprachlichen Daten

Um ein automatisiertes Erwerbsstufenannotationsverfahren zu entwickeln, wurden im Projektverlauf mehrere Ansätze verfolgt. Die grundlegende Herausforderung besteht darin, dass lernersprachliche Daten von Zielsprachdaten abweichen, sodass bestehende Analyse‑Instrumente (z. B. automatische Parser oder POS‑Tagger) nicht zuverlässig auf Lernerdaten anwendbar sind. Oft werden in Einzelstudien aufwändige manuelle Verfahren für POS‑Tagging oder Parsing eingesetzt.

Zunächst wurden unterschiedliche minimale Zielhypothesen generiert. Die in DAKODA erstellten Zielhypothesen basieren auf verschiedenen Verfahren: Die mit mBART generierte Zielhypothese wird durch eine KI‑basierte automatische Übersetzungsmethode erzeugt, bei der vorhandene Abweichungen in wohlgeformte Teil‑Sätze korrigiert werden (GEC = Grammatical Error Correction). Eine zweite Zielhypothese wird durch TransGEC generiert und eine dritte Zielhypothese basiert auf dem Mistral‑Modell.

Ein Ansatz kombinierte die Ausgaben mehrerer Parser (transkit, syntaxdot, stanza, udpipe 1, udpipe 2) für die Lernerspur, um zu einer robusteren Analyse zu kommen. Ein zweiter Ansatz verglich den syntaxdot‑Parse der Lernerspur mit dem syntaxdot‑Parse einer automatisch erstellten Zielhypothese, um insbesondere den Stellungstyp ADV (mehrfach besetztes Vorfeld) zu erkennen.

Beide Ansätze erwiesen sich in der Praxis nicht deutlich besser als eine direkte Analyse auf der Lernerspur. Die DAKODA‑Daten enthalten dennoch die amalgamierten Parses und die generierten Zielhypothesen zu Dokumentationszwecken und ermöglichen weitere Analysen. Die Zielhypothesen stellen zudem eine orthographisch korrekte Normalisierungsebene dar. Da sie mit dem gleichen regelbasierten Verfahren wie die Lernerspur in Hinsicht auf Erwerbsstufen annotiert wurden, ermöglichen sie einen Vergleich der erkannten Verbstellung zwischen finiten Verbtokens auf der Lernerspur und der Zielhypothese.

Hinweis: Die in den DAKODA‑Annotationen und im Dashboard angezeigten Erwerbsstufenannotationen sind das Ergebnis der oben skizzierten explorativen Erschließung und können weiterhin Fehler enthalten.