C-Tests werden zur integrativen Messung allgemeiner Sprachkompetenz eingesetzt (Grotjahn/Drackert 2022). Sie operationalisieren das Prinzip der reduzierten sprachlichen Redundanz: Sprachkompetente Personen können durch antizipatorische Verarbeitung auch wenig redundante Mitteilungen entschlüsseln (Klein-Braley 1994). Für die Rekonstruktion der Lücken ist eine integrierte Anwendung sprachlicher Wissensbestände und Fertigkeiten in Schriftform erforderlich (Hastings 2002), wobei die Verarbeitung auf allen Ebenen vom Buchstaben bis zum Text erfolgt (Sigott 2004) und Strategien einschließt (Harsch/Schröder 2007).

Lernende müssen das partiell getilgte Wort im mentalen Lexikon haben, es kontextbasiert identifizieren und grammatikalisch sowie orthographisch korrekt rekonstruieren (Drackert/Timukova 2020). Dabei wird sowohl deklaratives (z.B. Wortschatz, explizite Regeln) als auch prozedurales (z.B. syntaktische Verarbeitung, Rechtschreibung) Wissen aktiviert1.

Raatz (2002) zeigt in einer Faktorenanalyse hohe Ladungen auf den Faktor verbal intelligence für Deutsch als Erstsprache und erklärt die C-Test-Lösung durch eine konzeptgesteuerte Verarbeitung. Dabei bildet die Analyse des vorhandenen sprachlichen Materials die Basis für Hypothesen zu fehlenden Wortteilen, während größeres Sprachwissen eine schnellere und effizientere Verarbeitung ermöglicht.

Zahlreiche empirische Befunde belegen die Übereinstimmungsvalidität (konkurrente Validität) von C-Tests, verstanden als der Grad der Übereinstimmung mit den Ergebnissen etablierter Sprachtestverfahren. McKay et al. (2021) analysierten Korrelationen zwischen C-Tests in verschiedenen Sprachen und anderen Sprachtests aus 239 Studien und kamen zum Schluss, dass das Konstrukt des C-Tests allgemeine Sprachkompetenz umfasst, die aus mehreren Komponenten besteht. Auch Faktorenanalysen stützen diese Annahme (z.B. Eckes/Grotjahn 2006).

Studien zu den kognitiven Prozessen beim Lösen von C-Tests sind seltener und ihre Ergebnisse uneinheitlich. Während die Komplexität der notwendigen Sprachverarbeitung eine Synthese verschiedener Verarbeitungsprozesse nahelegt, wird weiterhin diskutiert, ob sich Testpersonen primär auf mikro- oder makrostrukturelle Prozesse konzentrieren. Die Tiefe der Verarbeitung hängt zudem von Textschwierigkeit und Sprachkompetenz der Testpersonen ab – ein Merkmal, das Sigott (2004) als fluid construct bezeichnet (für mögliche Ausprägungen von diesem Merkmal im Kontext der herkunftssprachlichen Sprachkompetenz siehe z.B. Drackert/Timukova 2020). Da Verarbeitungsprozesse im Fokus der Untersuchung stehen, werden sie in Kap. 2.3 näher erläutert.

Die zeitreduzierte Variante des C-Tests wurde ursprünglich in Intelligenzstudien zur Messung der Sprachkompetenz in der Erstsprache verwendet, um Deckeneffekte bei Muttersprachler*innen zu vermeiden (Raatz 2002; Wockenfuß 2008). Aguado, Grotjahn und Schlak (2005) setzten einen zeitlimitierten C-Test für Deutsch als Fremdsprache (L2) bei weit fortgeschrittenen Sprachlernenden ein, um ihr deklaratives Sprachwissen und dessen Prozeduralisierungsgrad integriert zu messen.

Erste Erkenntnisse zum Konstrukt zeitreduzierter C-Tests in der L2-Forschung zeigen, dass diese neben Sprachwissen auch Automatisierung sowie Verarbeitungseffizienz messen können. Zimmermann (2019) prüfte Grotjahns (2010) Hypothese, dass zeitreduzierte C-Tests stärker mit mündlichen Fertigkeiten zusammenhängen. Sie korrelierte die Punktwerte aus kanonischen und zeitreduzierten C-Tests mit den Ergebnissen aus Prüfungsteilen Hörverstehen und Sprechen des Goethe-Zertifikats bei DaF-Lernenden (B2-Niveau). Die Ergebnisse stützen Grotjahns Annahme teilweise: Die Korrelationen fielen etwas – jedoch nicht signifikant – höher für den zeitreduzierten C-Test aus.

Timukova et al. (im Druck) untersuchten Testergebnisse von über 400 Studierenden mit L2 Englisch oder Deutsch in computerbasierten C-Tests unter zwei Zeitbedingungen. Zeitlimitierte Tests erwiesen sich in beiden Sprachen als signifikant schwieriger und sensibel für das Sprachniveau der Lernenden sowie die Textschwierigkeit (im Deutschen). Sie korrelierten etwas stärker mit dem Oral Elicited Imitation Test2 und sagten dessen Ergebnisse besser voraus. Die Autorinnen interpretieren diese Befunde als Hinweis auf einen höheren Anteil automatisierter Sprachfähigkeiten im zeitlimitierten Konstrukt, betonen jedoch die Notwendigkeit, das Antwortverhalten zu untersuchen.

Zu den Verarbeitungsprozessen bei zeitreduzierten C-Tests gibt es bislang nur erste, vorläufige Ergebnisse, die auf dem berichteten Verhalten der Testteilnehmenden basieren. In Zimmermanns Studie (2019) beantworteten 120 Proband*innen nach der Bearbeitung beider Testversionen (kanonisch und zeitreduziert) eine Einzelfrage zu ihrem Lösungsverhalten anhand vorgegebener Antwortoptionen. Weniger als die Hälfte gab an, die Lücken linear (d.h. in der Reihenfolge ihres Auftretens im Text) bearbeitet zu haben, unabhängig von der Zeit, während Rückwärtsbewegungen (Backtracking) im kanonischen C-Test häufiger als im zeitreduzierten vorkamen. Zimmermann schloss daraus, dass der Zeitfaktor das Lösungsverhalten zwar beeinflusst, die Methode jedoch keine eindeutigen Rückschlüsse auf zugrunde liegende Prozesse zulässt.

Diese Forschungslücke steht im Mittelpunkt der vorliegenden Studie. Da bereits Untersuchungen zu Verarbeitungsprozessen im kanonischen C-Test existieren, werden diese im folgenden Kapitel vorgestellt.

Bisher liegen keine Erkenntnisse zu den Verarbeitungsprozessen in zeitlimitierten C-Tests vor (vgl. Zimmermann 2019). Daraus ergibt sich die Notwendigkeit einer theoretischen und empirischen Klärung hinsichtlich der Prozessvalidität – und damit auch die Begründung für unsere Studie. Da bestehende Studien zu Prozessen im kanonischen C-Test uneinheitliche Definitionen und teils vage Kategorisierungen verwenden (Kap. 2.3.1), präzisieren wir zunächst den Untersuchungsrahmen, definieren den Gegenstand unserer Analyse und erläutern die Beziehungen zwischen den Untersuchungsebenen.

Der Gegenstand unserer Untersuchung sind Bearbeitungsprozesse (response processes) nach Hubley und Zumbo (2017: 2): „the mechanisms that underlie what people do, think, or feel when interacting with, and responding to, the item or task and are responsible for generating observed test score variation.“ Diese Definition umfasst neben kognitiven Prozessen auch das Verhalten sowie Motivation und Emotionen. Die Untersuchung der Bearbeitungsprozesse liefert über die Analyse der Testpunktwerte hinaus wertvolle Einblicke in das zugrunde liegende Konstrukt und trägt somit wesentlich zur Validierung bei.

Um diese Bearbeitungsprozesse empirisch zugänglich zu machen, verfolgen wir das Bearbeitungsverhalten, in dem sie sich manifestieren. Diese Methode ermöglicht einen direkteren Zugang zu den Prozessen im Vergleich zu einer Fehleranalyse. Gleichzeitig ist sie weniger intrusiv als das Verbalisieren mentaler Vorgänge und umgeht einige Einschränkungen introspektiver Methoden, wie etwa die Möglichkeit, nur bewusst ablaufende Prozesse zu verbalisieren, und den potenziellen Einfluss der Verbalisierung auf das Verhalten3 (Germann/Grotjahn 1994). Das beobachtbare Bearbeitungsverhalten wird durch Bildschirmaufnahmen der Testpersonen in Form von Videos dokumentiert. Da die Bearbeitung durch die Videoaufnahme in ihrem zeitlichen Ablauf erfasst wird, beseitigt diese Methode eine wichtige Einschränkung früherer Studien (vgl. Germann/Grotjahn 1994; Stemmer 1991).

Eine relativ homogene Stichprobe von Teilnehmenden mit Deutschkompetenz auf B2-C1-Niveau des Gemeinsamen europäischen Referenzrahmens für Sprachen (GeR; Europarat 2020) wurde gewählt, um den Einfluss der Sprachkompetenz auf die genannten Prozesse zu kontrollieren. Der Einfluss der Lückeneigenschaften auf die Verarbeitungsprozesse wird durch eine Klassifikation der Lücken nach dem minimal erforderlichen Lösungskontext berücksichtigt: Die Unterscheidung zwischen Mikro- und Makrolücken (s. Kap. 4.2) fließt in unsere Forschungsfragen ein.

Der C-Test elizitiert realitätsnahe Sprachverarbeitung: Umfangreicheres linguistisches Wissen führt zu besserem Umgang mit reduzierter Redundanz und schnellerer Verarbeitung (Kap. 2.1). Wir erwarten, dass hochkompetente Sprachnutzer*innen die meisten Lücken durch automatischen Abruf ihres Sprachwissens lösen. Manche Lösungen werden (schnell) evaluiert, während komplexe und zeitaufwendige Lösungssuchprozesse selten auftreten – etwa bei kontextabhängigen Lücken oder schwierigen Texten. Problemlösungsstrategien und strategisches Antwortverhalten (test wiseness) spielen nur in Ausnahmefällen eine Rolle. Mit abnehmender Sprachkompetenz verändert sich die Verteilung der Testlösungsprozesse: Geringeres und weniger prozeduralisiertes Sprachwissen erschwert und verlangsamt die Verarbeitung, die dann stärker auf deklarativem, nicht-automatisiertem Wissen basiert und häufiger Evaluations- und Suchprozesse erfordert.

Bei der C-Testbearbeitung werden niedrigere kognitive Prozesse der Worterkennung und der syntaktischen Analyse durch höhere Prozesse der Hypothesenbildung und Textverknüpfung ergänzt, um Redundanzverluste auszugleichen. Je nach Lückenart erfolgt die Wiederherstellung eines getilgten Wortteils automatisch über das mentale Lexikon oder erfordert eine syntaktische Verarbeitung der Umgebung (in Echtzeit oder verzögert). Lösungsevaluation und -suche können lokal durch syntaktische Analyse auf Teilsatzebene oder global durch Inferenzbildung auf Textebene ablaufen. Somit nähert sich die C-Testbearbeitung auf dem Kontinuum zwischen Leseverstehensaufgaben und language-in-use tasks4 tendenziell eher Letzteren an.

Aus diesem Grund und aufgrund der Kürze der Texte schlagen wir vor, zwischen der automatisierten Beseitigung reduzierter Redundanz und der aufmerksamen, zeit- sowie kognitiv anspruchsvolleren Verarbeitung zu unterscheiden. Diese Unterscheidung erscheint uns zielführender als eine Einteilung in hierarchieniedrige und -hohe Ebenen. Daher untersuchen wir in unserer Studie zwei Arten von Verarbeitungsprozessen beim Lösen eines C-Tests:

Welche Prozesse dominieren, hängt von Faktoren wie der Lernendenkompetenz, den Lücken- und Texteigenschaften sowie der Bearbeitungszeit ab. Die Bearbeitung von Mikrolücken fördert automatisierte Prozesse, während Makrolücken eine bewusste und zeitintensive Verarbeitung begünstigen. Eine automatisierte Verarbeitung dominiert bei hoher Sprachkompetenz und nimmt mit geringerer Kompetenz ab, während Zeitreduktion automatisierte Prozesse verstärkt aktiviert.

Daraus ergeben sich folgende Forschungsfragen:

Hypothese: Der zeitreduzierte C-Test wird vorwiegend linear bearbeitet, mit wenig Überspringen und Zurückkehren. Beim kanonischen C-Test findet häufiger eine nicht-lineare Bearbeitung statt.

Hypothese: Die zügige, lineare erfolgreiche Bearbeitung der Mikrolücken wird im zeitreduzierten C-Test und im kanonischen C-Test vergleichbar häufig vorkommen.

Hypothese: Im kanonischen C-Test wird die nicht-lineare sowie verzögerte erfolgreiche Bearbeitung der Makrolücken häufiger vorkommen als im zeitreduzierten C-Test.

An der Studie nahmen 16 ausländische Studierende (9 weiblich, 7 männlich; Alter zwischen 19 und 31 Jahren (M = 22,75 Jahre); unterschiedliche L1s) einer großen Universität in Deutschland teil, die ihre Deutschkenntnisse auf B2 (10 Personen) oder C1-Niveau (sechs Personen) des GeR einschätzten.

Um die Sprachkompetenz der Testpersonen zu kontrollieren, setzten wir die neue Variante der Elicited Imitation Task in schriftlicher Form ein. Der WEIT (Written Elicited Imitation Task)5 ist ein Messverfahren, das prozedurales Sprachwissen erfasst, welches sich im Umgang mit schriftsprachlichen Mustern entwickelt und bei der Bearbeitung der Testaufgaben in schriftlicher Form weitgehend automatisiert aktiviert wird. Die WEIT-Ergebnisse betrugen zwischen 17 und 67 Punkten (M = 45,8; SD = 13,7 auf einer Skala von 80 Punkten).

Die eingesetzten C-Tests bestanden jeweils aus vier unterschiedlichen Texten mit je 20 Lücken. Insgesamt wurden also acht Texte aus der Datenbank des Online-Spracheinstufungstests (onSET)6 ausgewählt und nach aufsteigender Schwierigkeit angeordnet, sodass sich zwei parallele Testversionen mit vergleichbarem Schwierigkeitsgrad und thematischer Vielfalt ergaben. Mit „Schwierigkeit“ ist hier die Rasch-Itemschwierigkeit gemeint: Die Texte werden auf einer gemeinsamen Logit-Skala angeordnet, auf der schwierigere Texte niedrigere erwartete Punktwerte bei Personen mit derselben Ausprägung auf dem zugrunde liegenden Fähigkeitskontinuum hervorrufen (Eckes, 2011). Linguistische Merkmale (z.B. Satzlänge, lexikalische Diversität, Worthäufigkeit) sind mögliche Quellen dieser empirisch bestimmten Schwierigkeit (vgl. Beinborn et al. 2014; Kaufmann 2016).

Alle Testteilnehmenden haben alle acht Texte in den beiden Testversionen bearbeitet. Für die Analyse wurden Bildschirmaufnahmen der Texte 2 und 4 sowohl aus der kanonischen als auch aus der zeitreduzierten Testversion herangezogen. Text 1 diente als Icebreaker und zur Familiarisierung sowohl mit dem C-Testformat als auch mit dem Aufnahme-Tool. Der mittelschwere Text 3 wurde ausgeschlossen, um einen deutlicheren Kontrast in Bezug auf die Schwierigkeit zu erzielen.

Die Bearbeitungszeit war textspezifisch festgelegt: jeweils 5 Minuten für die Texte der kanonischen Testversion und zwischen 1:30 und 2:00 Minuten für die Texte der zeitreduzierten Version (1:40 Minuten für Text 2; 2:00 Minuten für Text 4)7. Eine vorzeitige Abgabe war möglich, sodass die durchschnittlichen Bearbeitungszeiten in der kanonischen Version bei 3:17 Minuten (SA = 0,93) für Text 2 und 3:51 Minuten (SA = 0,94) für Text 4 lagen. In der zeitreduzierten Version betrugen sie 1:38 Minuten (SA = 0,16) für Text 2 und 1:58 Minuten (SA = 0,07) für Text 4. Die Reihenfolge der Texte war innerhalb einer Testversion fixiert.

Die Datenerhebung fand in einem Computerraum der Universität statt und dauerte eine Stunde. Nach einer Einführung in den Zweck der Studie und die Nutzung des Screen-Recorders bearbeiteten die Teilnehmenden die Tests auf der Moodle-Plattform. Die Bildschirme wurden bei der Bearbeitung mit dem vorinstallierten frei zugänglichen Screen-Recorder DemoAir (Wondershare; Wondershare n.d.) aufgenommen.

Alle Lücken in den vier analysierten C-Test-Texten wurden in die Kategorien „Mikro-“ und „Makrolücken“ unterteilt. Die Zuordnung erfolgte basierend auf dem minimalen Kontext, den hochkompetente Sprachnutzer*innen zur Lösung der Lücke benötigen. Mikrolücken können mithilfe des Mikrokontextes gelöst werden, während Makrolücken einen breiteren Kontext erfordern. Abweichend von Beinborn et al. (2014) definieren wir Mikrokontext als die Lücke selbst plus bis zu zwei Wörter davor und danach; alles darüber hinaus gilt als Makrokontext. Die Erweiterung des Mikrokontexts auf bis zu zwei Wörter vor und nach der Lücke ergibt sich aus der von den Autorinnen durchgeführten Lückenanalyse. Diese zeigte, dass viele Lücken zwar ein etwas weiter entferntes als das unmittelbar angrenzende Wort für die Rekonstruktion erfordern, dennoch lokal lösbar sind und nicht als Makrolücken (im Sinne textübergreifender, kontextuell komplexer Lücken; vgl. Beinborn et al. 2014) bezeichnet werden können.8

Der minimal erforderliche Kontext wurde durch Triangulation verschiedener Datenquellen bestimmt. Die Analyse der Lernendenantworten9 lieferte Schwierigkeitsindizes und häufige Antworten. Die Untersuchung jedes getilgten Wortes und seiner Position im Text zeigte, welche alternativen Fortsetzungen lokal möglich wären und welche durch den Kontext ausgeschlossen werden (vgl. Sigott 2004). Auf dieser Grundlage erfolgte die Zuordnung in Mikro- vs. Makrolücken sowie die Bestimmung der linguistischen Wissensbestände für das erfolgreiche Ausfüllen. Tabelle 1 veranschaulicht die analysierten Daten und die resultierende Zuordnung anhand von vier Lücken eines Textes.

Die Ergebnisse der Lückenklassifikation in Tabelle 2 zeigen, dass Makrolücken etwa ein Drittel aller Lücken (14 von 40) in den analysierten Texten in beiden Testversionen ausmachen, wobei es in den schwierigeren Texten (Text 4) mehr Makrolücken gibt (jeweils acht) als in den einfacheren Texten (Text 2, jeweils sechs). Makrolücken waren im Durchschnitt schwieriger als Mikrolücken, wie die niedrigeren Schwierigkeitsindices10 verdeutlichen (M_makro = 39,1 vs. M_mikro = 51,2; ≈ 24 % niedriger).

Das Bearbeitungsverhalten der Teilnehmenden wurde in den Bildschirmaufnahmen anhand folgender Daten dokumentiert11: Cursorbewegung im Text; Entwicklung und Änderungen einer Antwort (z.B. Korrekturen, Löschen) und temporale Daten (Verweildauer in einer Lücke, Bearbeitungszeiten).

Das Kodierschema zur Erfassung des Bearbeitungsverhaltens wurde iterativ auf Grundlage bestehender Theorien und vorliegender Daten entwickelt. Die Hauptkategorien „Lineare Bearbeitung“, „Überspringen“ u.Ä. wurden a priori festgelegt (Germann/Grotjahn 1994; Zimmermann 2019). Nach der ersten Anwendung auf die Daten (fünf Aufnahmen) durch drei Autorinnen und eine weitere Kodierperson wurde das vorläufige Schema in einem Treffen diskutiert und verfeinert. So entstand z.B. die Unterkategorie „Direkte Revision“ in der Kategorie „Lineare Bearbeitung“. Verhaltensweisen wie „Verschlimmbesserungen“ (disimprovement) und längeres Verweilen in einer Lücke vor der Eingabe einer Antwort wurden ebenso als Beobachtungskategorien definiert.

Anschließend kodierten zwei Personen die restlichen der 64 Aufnahmen. Die beiden Kodierenden machten sich im Vorfeld mit dem Kodierschema vertraut und trafen sich während des Verfahrens mehrfach, um eine einheitliche Kodierung zu gewährleisten. Tabelle 3 veranschaulicht das Kodierschema.

Zusätzlich zu den in Tabelle 3 dargestellten Bearbeitungsvorgängen wurden temporale Daten erfasst. Ermittelt wurde die Verweilzeit in einer Lücke gemessen als Zeitspanne zwischen dem Aufleuchten des Lückenkästchens und der Eingabe der Antwort, sofern diese mehr als 3 Sekunden betrug. Diese Daten wurden in die Analysen einbezogen, um zwischen zügigen und verzögerten Verarbeitungsprozessen zu unterscheiden. Verzögerte Verarbeitung wurde weiter unterteilt in „schnelle“ (bis 6 Sekunden) und „langsame“ (ab 7 Sekunden) Bearbeitungsvorgänge12.

Die Häufigkeiten der verschiedenen Kategorien des Bearbeitungsverhaltens wurden berechnet und in Excel erfasst. Die statistischen Auswertungen (Durchschnittswerte, Standardabweichungen, t-Tests) erfolgten in Excel oder R.

Tabelle 4 gibt einen Überblick über die unterschiedlichen Bearbeitungsvorgänge nach Testversion, die als Referenzwerte dienen.

Die lineare Bearbeitung dominiert in beiden Testformen mit knapp 70 – 80 % aller Bearbeitungsvorgänge (Abb. 1). Im kanonischen C-Test tritt nicht-lineare Bearbeitung häufiger als im zeitreduzierten C-Test auf: Der Unterschied beträgt rund 9 % und ist laut t-Test für abhängige Stichproben signifikant mit einem großen Effekt: t(15) = 2,67, p = ,017, d = 0,67.

Beim Vergleich der Kategorien nicht-linearer Bearbeitung zwischen den Testformen (Abb. 2) zeigt sich, dass Teilnehmende in der kanonischen Form häufiger Lücken überspringen und zu ihnen zurückkehren. Der Unterschied im „Nachträglichen Ausfüllen“ ist statistisch signifikant mit einer großen Effektstärke: t(15) = 3,51, p < ,005, d = 0,88. Hingegen unterscheiden sich die Testformen wenig in der Häufigkeit nachträglicher Revision bereits ausgefüllter Lücken, die insgesamt selten auftritt. Im kanonischen C-Test zeigt sich das nachträgliche Ausfüllen von Lücken häufiger als das Überspringen, da übersprungene Lücken beim Backtracking mehr als einmal wieder bearbeitet werden.

Für diese Analyse wurden nur Bearbeitungsvorgänge gezählt, die zu einer korrekten Antwort führten. In beiden Testformen werden Mikrolücken überwiegend linear ausgefüllt (über 95 %, Abb. 3). Eine zügige lineare Bearbeitung mit korrektem Ergebnis tritt im zeitreduzierten C-Test etwas häufiger auf (89 % vs. 83 % der Fälle), wobei der Unterschied nicht signifikant ist mit einer mittleren Effektgröße: t(15) = 1,91, p = ,080, d = 0,48.

Beim Bearbeiten von Lücken, die einen breiteren Kontext für die Lösung erfordern, zeigten sich keine signifikanten Unterschiede im linearen Vorgehen zwischen den C-Testformen, obwohl ein kleiner bis mittlerer Effekt erkennbar war (t(15) = –1,26, p = ,228, d = 0,32). In der Häufigkeit der nicht-linearen Bearbeitung (vgl. Abb. 4) hingegen zeigte sich nicht nur ein signifikanter Unterschied zugunsten des kanonischen C-Tests (26 % vs. 10 %), sondern auch eine mittlere bis starke Effektgröße (t(15) = 2,42, p = ,029, d = 0,61). In die Analyse gingen nur korrekt ausgefüllte Lücken ein.

Rücksprünge zu Makrolücken treten im kanonischen C-Test etwa 2,5-mal so häufig auf wie im zeitreduzierten Format (74 vs. 29 Bearbeitungsvorgänge; vgl. Abb. 5). Dieser Unterschied ist statistisch signifikant mit großem Effekt: t(15) = 4,58, p < ,001, d = 1,10. Solche Rücksprünge erfolgen entweder zur Revision einer bereits bearbeiteten Lücke oder zum nachträglichen Ausfüllen einer bislang unbeantworteten Lücke und können als erfolgreich (richtige Lösung) oder erfolglos (falsche oder keine Lösung) klassifiziert werden. Unabhängig vom Testformat liegt die Erfolgsquote dieser nachträglichen Bearbeitungsvorgänge deutlich unterhalb der 50 %-Marke – bei 43,2 % im kanonischen und 41,4 % im zeitreduzierten C-Test.

Wird die rückläufige Bearbeitung der Makrolücken nach Verweildauer in „schnell“ (bis zu 6 Sekunden) und „langsam“ (ab 7 Sekunden) unterteilt, zeigt sich eine tendenzielle Präferenz für die langsame Bearbeitung im kanonischen C-Test (45 vs. 29 Vorgänge), t(15) = 2,03, p = ,060, d = 0,51. Dabei sinkt die Erfolgsrate leicht von 48 % bei schneller auf 40 % bei langsamer Bearbeitung (Abb. 6), ohne signifikanten Unterschied (t(15) = 0,94, p = ,360, d = 0,23).

Bei Zeitreduktion treten „schnelle“ und „langsame“ Bearbeitungen der Makrolücken in etwa gleich häufig auf (13 vs. 16 Vorgänge), t(15) = 0,53, p = ,610, d = 0,13. Die Erfolgsrate sinkt mit zunehmender Verweildauer deutlich – von 62 % bei kürzerer auf nur 25 % bei längerer Verweildauer in der Lücke (Abb. 6). Dieser Unterschied ist statistisch jedoch nicht signifikant, t(15) = –1,07, p = ,300, d = –0,27.

Deutsche C-Tests mit und ohne Zeitbegrenzung werden von relativ fortgeschrittenen DaF-Lernenden überwiegend linear rekonstruiert: Rund 70 – 80 % aller Bearbeitungsvorgänge erfolgen linear, bei Mikrolücken sogar über 95%. Lineares Vorgehen ist somit die dominante Bearbeitungsform, die unabhängig von den Zeitbedingungen stabil bleibt. Dieses Ergebnis widerspricht den Befunden von Zimmermann (2019) und spricht für die Konstruktvalidität des C-Testformats: Offenbar wird das Format von den Testteilnehmenden mit fortgeschrittenen Sprachkenntnissen primär als kohärenter Text und nicht als Sprachrätsel wahrgenommen und bearbeitet. Die Dominanz linearer Bearbeitung dürfte auch mit den Texteigenschaften zusammenhängen, da etwa zwei Drittel der Lücken in den analysierten Texten Mikrolücken darstellen, die nur minimalen Kontext erfordern und lokal rekonstruierbar sind.

Gleichzeitig zeigen die Daten, dass Zeitbedingungen bestimmte Bearbeitungsweisen im C-Test beeinflussen, was auf Unterschiede in den zugrunde liegenden kognitiven Verarbeitungsprozessen hindeuten kann. Im zeitreduzierten C-Test werden Lücken seltener übersprungen oder nachträglich bearbeitet, was wiederum die Hypothese von Zimmermann (2019) stützt. Bereits bearbeitete Lücken werden dagegen nur selten revidiert, selbst wenn mehr Zeit zur Verfügung steht, was möglicherweise darauf zurückzuführen ist, dass Erstlösungen häufig auf automatisierten, prozeduralen Prozessen beruhen und der zusätzliche kognitive Aufwand die Wahrscheinlichkeit einer Revision reduziert. Insgesamt scheint die längere verfügbare Bearbeitungszeit im kanonischen Format flexiblere Bearbeitungsmuster zu ermöglichen, die exploratives Ergänzen offener Lücken begünstigen und dabei einen vermeintlichen Zugriff auf deklaratives Wissen nahelegen.

Bei Mikrolücken, die in beiden Formaten fast ausschließlich linear bearbeitet werden, scheint die Verarbeitung unabhängig von Zeitdruck stark automatisiert abzulaufen. Der geringe, nicht signifikante Unterschied zwischen kanonischer und zeitreduzierter Form legt nahe, dass diese lokal gebundenen Lücken vor allem routinisierte sprachliche Prozesse aktivieren, die gegenüber Zeitrestriktionen vergleichsweise robust sind.

Ein anderes Bild ergibt sich bei Makrolücken, die einen breiteren Kontext für die Lösung erfordern. Zwar dominiert auch hier die lineare Bearbeitung (75 % im kanonischen vs. knapp 90 % im zeitreduzierten C-Test)13, doch zeigen sich im kanonischen Format signifikant häufiger nicht lineare Bearbeitungen, bei denen Teilnehmende Lücken überspringen und später nacharbeiten. Dies könnte darauf hindeuten, dass das kanonische Format eher bewusst-strategisches Vorgehen bei diesen anspruchsvolleren Lücken begünstigt, das möglicherweise stärker auf deklarativem Wissen basiert.

Die vorwiegend lineare Bearbeitungsweise der Makrolücken im zeitreduzierten C-Test-Format könnte mehrere Ursachen haben. Denkbar ist, dass Zeitdruck voreilige Eingaben begünstigt, bevor der notwendige Kontext berücksichtigt wird (early closure), oder Raten als konstruktirrelevante Bearbeitungsstrategie provoziert. Dagegen spricht jedoch die vernachlässigbar geringe Differenz in der Gesamtzahl korrekt gelöster Makrolücken: 121 im kanonischen vs. 119 im zeitreduzierten C-Test. Naheliegender erscheint daher, dass Zeitrestriktion zu einem schnelleren, lineareren Bearbeitungsstil zwingt, der stärker automatisierte Prozesse und prozeduralisiertes Wissen aktiviert und dadurch eine schnelle antizipatorische Verarbeitung ermöglicht.

Obwohl Teilnehmende im kanonischen C-Test häufiger zu leeren oder bereits ausgefüllten Makrolücken zurückkehren, bleibt die Erfolgsrate beim Backtracking in beiden Testformen vergleichbar niedrig (ca. 43 % im kanonischen vs. ca. 41 % im zeitreduzierten C-Test). Zudem verweilen die Proband*innen im kanonischen C-Tests tendenziell länger in den Makrolücken, wenngleich der Unterschied nicht signifikant ist. Eine längere Verweildauer führt jedoch nicht zu mehr richtigen Antworten, und zwar in den beiden Testformen. Im Gegenteil: Es zeigt sich ein negativer Zusammenhang (längere Verweildauer – geringere Erfolgsrate), besonders unter erhöhtem Zeitdruck. Im zeitreduzierten C-Test führte eine Verweildauer von weniger als 7 Sekunden in 62 % der Fälle zu einer richtigen Antwort, während beim längeren Verweilen die betroffene Makrolücke in 75 % der Fälle leer oder falsch ausgefüllt blieb. Zwar erreichte auch dieser Unterschied keine statistische Signifikanz, dennoch könnte der Befund darauf hindeuten, dass längeres Verweilen in einer Lücke weniger mit gründlicher Bearbeitung als mit Lösungsschwierigkeiten zusammenhängt. Dies könnte wiederum darauf hinweisen, dass das kanonische Format eher mühevolle, auf deklarativem Wissen basierende Prozesse fördert, während Zeitdruck stärker automatisierte Prozesse begünstigt, ohne dabei den Abruf notwendigen Wissens zu behindern – vorausgesetzt, dieses Wissen ist vorhanden und automatisiert.

Eine exemplarische Analyse der Lernendenantworten illustriert dies. Für die korrekte Lösung der Makrolücke „a[uf]“ im zeitreduzierten C-Test-Text 4 muss die Phrase „d___ Gehirn a___ die akust___ Signale vorbe___“ bis zum Verb „vorbereiten“ rekonstruiert werden, welches die Präposition „auf“ regiert. Auffällig ist jedoch, dass die Hälfte der Teilnehmenden „an“ einsetzte, obwohl fünf von diesen acht Personen „vorbereiten“ korrekt rekonstruierten. In diesem Fall verhinderte eher fehlendes grammatikalisches Wissen die richtige Lösung als die für das Erfassen des notwendigen Kontexts mangelnde Zeit. Zudem können Interdependenzen der Lücken und fehlende oder falsche Antworten in den benachbarten Lücken die Lösung erschweren (vgl. Beinborn et al. 2014).

Unsere Ergebnisse stützen auch die Beobachtung von Stemmer (1991), dass Verarbeitung des breiteren Kontexts vor allem als problemlösende Strategie eingesetzt wird. Backtracking (insbesondere mit längerem Verweilen) tritt auch bei schwierigen Lücken auf, die eigentlich nur die Berücksichtigung des Mikrokontexts erfordern – etwa wenn das gesuchte Wort vermutlich nicht direkt aus dem mentalen Lexikon abrufbar (z.B. Vielf[alt], tieri[scher]) oder das notwendige grammatikalische Wissen nicht prozeduralisiert bzw. nicht vorhanden war (wie im Beispiel oben mit „auf“).

Schließlich verdeutlicht die Kategorie der „Verschlimmbesserungen“ (korrekt gelöste Lücken, die nachträglich falsch korrigiert wurden), dass zusätzliche Bearbeitungszeit nicht automatisch zu besseren Ergebnissen führt. Im kanonischen Test traten sieben solcher Fälle auf, im zeitreduzierten nur einer – auch wenn insgesamt im Durchschnitt mehr richtige Antworten ohne Zeitdruck produziert wurden.

Unsere Studie analysierte das Bearbeitungsverhalten von 16 Proband*innen anhand von vier deutschsprachigen C-Test-Texten. Replikationen mit anderen Texten, mehr Teilnehmenden unterschiedlicher Kompetenz und in weiteren Sprachen wären sinnvoll. Zudem könnten weitere Datenanalysen erfolgen oder ergänzende Methoden wie retrospektive Interviews eingesetzt werden.

Weitere Beobachtungen und Daten würden eine präzisere Differenzierung in der Lückenklassifikation ermöglichen. Besonders relevant wäre eine separate Analyse von ausgefüllten Makrolücken, welche die Berücksichtigung des vorangehenden und nachfolgenden Kontexts erfordern, sowie die Einführung von Unterkategorien für Mikro- und insbesondere für Makrolücken (z. B. auf Satzteil-, Satz- oder Textebene). Darüber hinaus wäre es sinnvoll, zwischen Lücken zu unterscheiden, die gezielte Aufmerksamkeit auf sprachliche Form und deren Manipulation erfordern, und solchen, die es nicht tun.

Auch die Sprachkompetenz sollte in zukünftigen Studien stärker berücksichtigt werden. Unsere Annahmen beruhen auf der Vorstellung einer Testperson mit einer vollständig ausgebildeten Kompetenz in Deutsch als Fremdsprache, wie sie beispielsweise bei gebildeten Muttersprachler*innen vorhanden ist. Allerdings entsprach unsere Stichprobe – trotz der Selbsteinschätzung auf B2-C1-Niveau – nur teilweise diesem Maßstab (vgl. WEIT-Ergebnisse in Kap. 4.1). Eine Analyse der C-Testbearbeitung durch gebildete Muttersprachler*innen könnte als wertvolle Referenz dienen. Zudem wäre ein Vergleich des Bearbeitungsverhaltens von sehr fortgeschrittenen Lernenden (C1-C2) und wenig kompetenten Lernenden (A2-B1) sinnvoll.

Weitere Analysen könnten das Korrekturverhalten untersuchen, etwa wie oft und wann (direkte vs. nachträgliche Revision) sowie was (Inhalt vs. Form) bevorzugt korrigiert wird, und welche Lückentypen dabei betroffen sind. Zudem ist zu klären, ob sich die Bearbeitung von bereits ausgefüllten Lücken und noch nicht ausgefüllten Lücken chronologisch unterscheidet. So könnte es beispielsweise sein, dass nachträgliche Korrekturen häufiger im ersten Bearbeitungsdurchgang erfolgen, während das Ausfüllen leerer Lücken eher nach Abschluss des ersten Durchgangs stattfindet, wenn mehr Kontext zur Verfügung steht.

Diese Analysen des Korrekturverhaltens sollten mit systematischen Antwortanalysen kombiniert werden, die zusätzlichen Aufschluss über die eingesetzten und fehlenden Wissensbestände geben können. Dadurch ließe sich genauer untersuchen, welche Aspekte sprachlicher Fähigkeiten und Kenntnisse der C-Test im Allgemeinen und unter Zeitdruck erfasst.

Zukünftige Studien sollten ein theoretisches Modell anstreben, das das Bearbeitungsverhalten systematisch mit den zugrunde liegenden Verarbeitungsprozessen und den dabei aktivierten linguistischen Wissensbeständen verknüpft und eine feinere Beschreibung der Verarbeitungsprozesse ermöglicht, anstelle der bisherigen dichotomen Unterscheidung in automatisierte vs. nicht-automatisierte Bearbeitung. Dazu sind neben der Beobachtung des Bearbeitungsverhaltens auch introspektive Verfahren wie stimulated recall erforderlich. Der Einsatz solcher Verfahren würde zudem ermöglichen, den Einfluss personenspezifischer Merkmale wie Bearbeitungspräferenzen auf die Verarbeitungsprozesse zu untersuchen.

Die Studie belegt die prozessbezogene Validität des C-Testformats, indem sie eine vorwiegend lineare Rekonstruktion der deutschen Texte durch eine kleine Stichprobe relativ fortgeschrittener Lernender als kohärente sprachliche Einheiten und nicht als Sprachrätsel nachweist. Abweichungen von der linearen Bearbeitung treten vor allem dann auf, wenn einzelne Lücken nur unter Einbezug eines breiteren Kontexts geschlossen werden können oder die lokale, serielle Wiederherstellung scheitert.

Je nach Zeitbedingung rücken bestimmte Verarbeitungsprozesse und Wissensbestände unterschiedlich stark in den Vordergrund. Im kanonischen Format treten signifikant häufiger nicht-lineare Bearbeitungen auf, was auf inferentielles, wissensgeleitetes Vorgehen verweist – besonders, aber nicht ausschließlich bei Makrolücken. Während hier auch weniger automatisierte, deklarative Wissensbestände stärker genutzt werden, sind diese unter Zeitdruck nur eingeschränkt zugänglich, sodass automatisierte Prozesse und prozeduralisiertes Wissen eine größere Rolle übernehmen. Der zeitreduzierte und der kanonische C-Test erfassen damit ein stark überlappendes Kernkonstrukt, aktivieren jedoch automatisierte bzw. deklarative Verarbeitungsprozesse in unterschiedlichem Ausmaß. Die höheren Punktwerte im kanonischen C-Test erklären sich daher weniger durch den bloßen Zeitvorteil, sondern durch den stärkeren Einbezug deklarativen Sprachwissens, das unter Zeitrestriktion nur begrenzt zugänglich ist. Dies stützt den Befund von Timukova et al. (im Druck), dass zeitlimitierte C-Tests einen etwas größeren Anteil automatisierter Sprachfähigkeiten im Konstrukt abbilden als das kanonische Format.

Diese Erkenntnisse haben auch praktische Implikationen. Der Einsatz zeitreduzierter C-Tests zur Einstufung und in der Forschung kann nicht nur Zeit sparen, sondern auch Ergebnisse liefern, die das automatisierte und prozeduralisierte Sprachwissen der Teilnehmenden besser abbilden und damit genauere Aussagen über deren abrufbereite Sprachkompetenz ermöglichen.