ERaB
Entwicklung von Rechenanwendungen in der Bruchrechnung (ERaB)
Ziel der ERaB-Studie ist die Aufzeichnung und Analyse der Entwicklung korrekter wie fehlerhafter Vorstellungen und Rechenanwendungen innerhalb der Bruchrechnung in verschiedenen Schulformen im Laufe der Schulzeit. Um die objektive und gleichmäßige Erfassung und später darauf aufbauende Analyse zu ermöglichen, erfolgt die Erfassung mit Hilfe eines fehlerdiagnostischen Computerprogramms BUGFIX, welches basierend auf Voruntersuchungen und bereits bekannten Studien eine erste Fehlerdiagnose erstellt und die einzelnen Aufgaben und Lösungen mittels so genannter Rechengraphen darstellt.
Die ERaB-Studie ist als Pseudo-Längsschnittstudie konzipiert. Kern der Studie ist ein Schülerbogen mit einer Mischung aus Aufgaben zum Verständnis der Bruchrechnung und kalkülorientierten Aufgaben. Das Testdesign sieht vor, dass in allen Schuljahrgängen und Schulformen die identischen Schülerbogen zum Einsatz kommen. Der Zeitrahmen von einer Schulstunde ist so bemessen, dass auch leistungsschwächere Schülerinnen und Schüler niedriger Schuljahrgänge den Schülerbogen möglichst vollständig bearbeiten konnten.
Der Schülerbogen wurde im Juni 2006 von 7.403 Schülerinnen und Schülern aus 355 Klassen von 42 niedersächsischen Schulen bearbeitet. Zur Erfassung allgemeiner Merkmale der jeweiligen Klassen wurde ein Lehrerbogen von den Lehrpersonen ausgefüllt. Im Oktober 2006 haben ergänzend zu der Schulstudie 593 Studierende der Universität Hildesheim den Schülerbogen bearbeitet. Konzeption der Studie und Datenerfassung erfolgte in Kooperation mit K. Winter.
Zurzeit befindet sich die Studie in der Auswertungsphase.
Ziehung der Stichprobe
Die angestrebte Zielpopulation der ERaB-Studie sind Schülerinnen und Schüler niedersächsischer Gymnasien, Realschulen, Hauptschulen, Integrierter Gesamtschulen und Förderschulen mit Schwerpunkt Lernen. Das Untersuchungsdesign sieht eine Unterteilung der Stichprobe in Schuljahrgänge vor, wobei an Gymnasien die Schuljahrgänge 6 bis 12 und an allen anderen Schulformen die Schuljahrgänge 6 bis 10 zur Zielpopulation gezählt werden (Pseudo-Längsschnitt). Aus organisatorischen Gründen wurde der Erfassungsraum regional auf die Postleitregionen 30, 31 und 38 beschränkt. Diese Region zwischen Harz und Heide beinhaltet neben ländlichen Gebieten auch die Großstädte Hannover, Braunschweig, Wolfsburg, Salzgitter und Hildesheim. Die Verteilung der Schülerinnen und Schüler auf die Schulformen des Erfassungsraums ähnelt daher eher dem Bundesdurchschnitt als dem des Landes Niedersachsens. Regulär nahmen gut 5 % der Schülerinnen und Schüler des Erfassungsraums an der Studie teil.
Testdesign
Der in allen Schulformen und Schuljahrgängen eingesetzte Schülerbogen der ERaB-Studie besteht aus zwei Aufgabenblöcken, einem mit allgemeinen, verständnisorientierten Aufgaben zur Bruchrechnung und einem kalkülorientierten Aufgaben. Letztere enthält 20 Rechenaufgaben, je 5 zu den vier Grundrechenarten. Er ist mit einem neutralen „Berechne“ eingeleitet. Durch die Aufgabenstellung ist damit explizit nicht vorgegeben, ob Ergebnisse gekürzt oder in eine gemischte Schreibweise umgewandelt werden sollen. In den Aufgaben treten neben echten Brüchen, Brüche in gemischter Schreibweise (gemischte Zahlen), natürliche Zahlen und vereinzelte unechte Brüche auf.
Paralleltestaufbau
Der Test verfügt über einen Paralleltestaufbau (A und B-Bogen) mit paarweise vergleichbaren Aufgaben. Um derartige Aufgabenpaare zu bilden werden meist Ergebnisse von Voruntersuchungen verwendet. Aufgrund der Analysedaten werden dann Aufgabenpaare mit möglichst gleichen Schwierigkeiten und möglichst gleichen Trennschärfen gebildet. Für die Rechenwegdiagnostik der ERaB-Studie wurde jedoch zudem inhaltliche Vergleichbarkeit der Aufgaben eines Aufgabenpaars als wünschenswert angesehen. Die Aufgabenpaare sind daher so konstruiert, dass sie bzgl. der Bruchrechnung möglichst identische Schwierigkeitsfaktoren aufweisen. Dieser Ansatz folgt der Modellannahme, dass identische Schwierigkeitsfaktoren ähnliche Schwierigkeitsindizes erwarten lassen. Diese Annahme erfüllt sich erfreulich gut. Für kalkülorientierte Aufgaben beschreiben Lörcher (1982) bzw. Padberg (2002, S. 99 f.) als relevante Schwierigkeitsfaktoren für die Bruchrechnung unter anderem die Operation und die Operanden, die Beziehung der Nenner zueinander, die Kürzbarkeit des Ergebnisses und die Form des Ergebnisses.
Permutationsdesign
Empfehlungen wie denen von Lienert und Raatz (1998, S. 140) folgend werden in vielen Tests Aufgabenreihungen mit ansteigender Schwierigkeit gewählt. Die Idee hinter dieser Empfehlung ist, dass durch diese Aufgabenreihung die Chancen für eine normalverteilte Testpunktverteilung verbessert werden. Gleichzeitig kann der Einstieg über leichten „Eisbrecheraufgaben“ motivierende Wirkung haben und damit helfen, den Anteil der Antwortverweigerungen zu senken.
Die Reihung der Aufgaben eines Tests beeinflusst aber auch deren Bearbeitung auf vielfältige Art. So weisen Lienert und Raatz (1998, S. 140f) darauf hin, bei zwei aufeinander folgenden Aufgaben mit demselben Lösungsschema die zweite Aufgabe leichter zu lösen ist als die erste, während sich die beiden Aufgaben bei einem größeren Abstand nicht oder kaum beeinflussen. Bereits seit 1942 Forschungsergebnisse von Luchins (1965) zu dieser Fragestellung sehr bekannt geworden. Luchins konnte nachweisen, dass beim Lösen einer Serie gleichartiger Probleme ein Einstellungseffekt auftritt, der bewirkt, dass die Probanden unabhängig von der Zweckmäßigkeit auch bei Folgeaufgaben starr am eingestellten Lösungsverfahren festhalten. In Fortsetzung dieser Arbeiten beobachtete Weis (1970), dass „beim Lösen einer Serie gleichartiger mathematischer Aufgaben […] sich in den Schülern eine Tendenz zur Mechanisierung [bildet], die bewirkt, dass a) einfachere Lösungsmöglichkeiten übersehen werden, und dass b) sogar Lösungswege eingeschlagen werden, die der Problemstellung nicht angemessen sind und zu falschen Ergebnissen führen.“ Weis konnte auch zeigen, dass die Bildung dieser Tendenz vermieden oder zumindest erschwert werden kann, „indem man […] Aufgaben verschiedenen Typs in gemischter Folge stellt.“
Laut Lienert und Raatz hat dieser Effekt jedoch „im Großen und Ganzen gesehen […] nur eine geringe praktische Bedeutung“. Sofern es um die Konstruktion eines Tests mit einer normalverteilten Testpunktverteilung geht, mag diese Einschätzung richtig sein, bei der Betrachtung einzelner Aufgaben zeigen die Studien von Luchins und Weis jedoch deutlich die Existenz bedeutsamer Einflüsse auf das Lösungsverhalten. Neben Einstellungseffekten im Sinne von Luchins sind aus eigenen Vorstudien auf aufgabenübergreifende Perseverationsfehler bekannt. Für die Rechenwegdiagnostik in der ERaB-Studie sind daher Maßnahmen zur Relativierung bzw. zur Identifikation derartiger Effekte vorgesehen. So existieren von den beiden Parallelbögen der ERaB-Studie jeweils 20 Varianten. Dieses Designprinzip wird als Permutationsdesign bezeichnet.
Erfassung
Bei den 20 Rechenaufgaben des Testbogens handelt es sich um offene Frageformen, d. h. die Schülerinnen und Schüler lösen die Aufgaben wie beispielsweise in einer Klassenarbeit. Der Standardweg für die Verarbeitung solcher Daten ist die Kodierung der Rechnungen der Schülerinnen und Schüler (z. B. 01 = richtig; 02 = richtig, aber unvollständig vereinfacht; 03 = fehlerhaft). Der mit dieser Form der Erfassung verbundene Informationsverlust ist enorm und verhindert in der Regel differenzierte Auswertungen. So gehen beispielsweise Informationen, welche Rechenwege die Schülerinnen und Schüler verwenden, vollständig verloren. Mit zunehmender Differenzierung des Kodierungssystems steigt zudem die Anfälligkeit gegenüber Kodierungsfehlern. Anders als die Antworten vieler anderer offener Fragenformen unterliegen Rechenwege weitestgehend einer Form, die bereits beim gegenwärtigen Stand der Technik computerbasiert analysiert werden könnte (vgl. Hennecke 1999, 2003). Damit liegt eigentlich kein Grund mehr für eine Kodierung vor – von mangelnder Unterstützung durch die üblichen Statistikpakete einmal abgesehen. Im Rahmen der ERaB-Studie wurde daher auf eigene Entwicklungen zurückgegriffen, z. B. das Diagnosemodul BugFix, bzw. wird mit dem Programm BugPiria ein neues Werkzeug entwickelt. Die Rechenwege der Schülerinnen und Schüler wurden bei der Erfassung daher nicht im oben genannten Sinn kodiert, sondern nur „abgetippt“. Insgesamt wurden so für die Schülerstichprobe knapp 319.000 Rechenschritte erfasst.
