ChatGPT und die Folgen für universitäre Prüfungen

Künstliche Intelligenz (KI) ist das aktuelle Schlagwort der Digitalisierung, und die generative KI zur Erstellung von Texten (z.B. ChatGPT), Bildern (z.B. DALL-E) erzeugt die einprägsamsten Ergebnisse für ein breites Publikum. Wie immer bei Software-Innovationen hat die schon länger bestehende Entwicklung der Middleware (OpenAI) mit ihren Data Science-Algorithmen nicht die gleiche mediale Resonanz erfahren, weil sie halt schlechter zu verstehen und zu bebildern ist. Bei generativer KI ist das einfacher, und damit startet die Hypekurve -- von übersteigerten Erwartungen bis hin zu enttäuschten Illusionen.

Für das Bildungswesen stellen die Fähigkeiten der generativen KI, insbesondere bei der Texterstellung, sowohl Risiko als auch Chance dar.  Die Spanne der Unterstützung durch KI ist dabei breit gefächert. Wohl niemand hätte etwas gegen Unterstützung bei der Erstellung einer Gliederung, eines Abstracts, Hilfe bei der Übersetzung in die englische Sprache oder bei der grammatikalischen Fehlerfreiheit eines Textes einzuwenden. Probleme haben wir damit, dass bei der Anfertigung einer Prüfungsleistung (insbesonders als Text: Klausur, Hausarbeit) die Leistung der KI so umfassend ist, dass sie die Eigenleistung des menschlichen Prüflings in den Hintergrund stellt. Wir möchten ja gerne die Einzelleistung des Probanden messen und bewerten!

Solange wir die Leistung des Menschen in einer Kategorie messen, die auch von der Maschine erledigt werden kann, sind wir aber auch selber schuld. Es hat schon seinen Grund, dass wir nach dem Aufkommen des Taschenrechners in den Matheprüfungen der Schule kein Kopfrechnen mehr abfragen. Sowohl in der Vermittlung des Wissens als auch in der Leistungsmessung müssen wir realistisch feststellen, dass sich die Umweltbedingungen geändert haben und eine neue Technologie auf Dauer zur Verfügung steht.

Um es möglichst realistisch und praxisnah zu machen, bereiten wir Studierende in einer Prüfung auf eine reale Situation einer Aufgabenlösung unter Zeitdruck vor: 

• 1980er: "Meier, kommen Sie bitte fix mal zum Chef und erklären Sie, warum die Buchung so durchgeführt wurde. Sie haben das doch gelernt.". Die logische Prüfungsform dafür ist eine "Closed Book"-Klausur, bei der man ohne Hilfsmittel und nur mit Papier und Bleistift etwas auswendig Gelerntes wiedergeben muss. Warum? Eben weil die Praxis später genau solche Fragen stellt, wie wir sie in der Klausur abfragen.

• 2000er: "Meier, in zwei Stunden ist die Präsentation beim Vorstand und wir brauchen schnell eine Zusammenstellung mit dem Vorschlag und der Begründung. Schmeissen Sie mal das Internet an und suchen Sie ein paar Quellen." Das ist natürlich eine "Open Book"-Klausur, bei der alle Hilfsmittel zur Verfügung stehen, aber die Lösung aus einer Vielzahl relevanter und irrelevanter Informationen aggregiert, prägnant zusammengefasst und präsentiert werden muss. (Wenn über diese Zusammenstellung hinaus und mit etwas mehr Zeit alle verfügbaren Informationen gesichtet werden und auf dieser Basis eine eigene Idee entwickelt werden soll, sind wir bei der Prüfungsleistung der schriftlichen Hausarbeit oder Abschlussarbeit. Die ist ohnehin schon "open book".)

Wir können vermutlich davon ausgehen, dass ab 2023 nicht mehr nur "das Internet angeschmissen" wird, sondern Herr oder Frau Meier in der betriebswirtschaftlichen Realität der Zukunft eine generative, texterstellende KI wie ChatGPT zur Problemlösung einsetzen wird. Folgerichtig werden wir auch unsere universitären Prüfungen entsprechend anpassen müssen. Nur verbieten führt uns auf jeden Fall nicht in die Zukunft.

The future of exams according to ChatGPT

 Artificial Intelligence (AI) is the current buzzword of digitization, and generative AI for creating texts (e.g. ChatGPT), images (e.g. DALL-E) produces the most memorable results for a wide audience. As is always the case with software innovation, the longer-standing development of middleware (OpenAI) with its data science algorithms has not received the same media response, simply because it is harder to understand and image. With generative AI, it's easier, and that starts the hype curve -- from inflated expectations to disappointed illusions.

For education, the capabilities of generative AI, especially in text creation, represent both risk and opportunity. The range of AI support in this regard is broad. Arguably, no one would object to assistance in creating an outline, an abstract, help with translation into English, or making sure a text is grammatically correct. We have problems with the fact that in the preparation of an examination performance (especially as a text: exam, term paper) the performance of the AI is so comprehensive that it eclipses the individual performance of the human examinee. We would like to measure and evaluate the individual performance of the examinee!

As long as we measure the performance of the human in a category that can also be done by the machine, we have only ourselves to blame. There is a reason that after the advent of the pocket calculator we no longer ask for mental arithmetic in school math exams. Both in the teaching of knowledge and in the measurement of performance, we have to be realistic about the fact that environmental conditions have changed and a new technology is available for the long term.

To make it as realistic and practical as possible, we prepare students in an exam for a real situation of a task solution under time pressure:

1980er: "Meier, please come quickly to the boss and explain why the booking was done this way. You have learned that, haven't you?". The logical form of examination for this is a "closed book" exam, in which you have to reproduce something you have learned by heart without any aids and with only paper and pencil. Why? Precisely because the practice later asks exactly the same questions as we ask in the exam.

2000er: "Meier, in two hours the presentation will be at the board and we need a quick compilation with the proposal and the reasoning. Fire up the Internet and find some sources." This is, of course, an "open book" retreat, where all the tools are available, but the solution must be aggregated, concisely summarized, and presented from a variety of relevant and irrelevant information. (If, beyond this compilation and with a little more time, all available information is sifted and an own idea is to be developed on this basis, we are at the examination performance of the written term paper or thesis. This is already "open book" anyway).

We can presumably assume that from 2023 onwards, it will no longer be just "the Internet that is switched on", but Mr. or Mrs. Meier will use a generative, text-creating AI such as ChatGPT to solve problems in the business reality of the future. Consequently, we will also have to adapt our university examinations accordingly. In any case, prohibiting AI will not lead us into the future.

Translated with DeepL