Digitale Souveränität - einige Kommentare zu den Empfehlungen des Wissenschaftsrats

Im Herbst 2023 hat eine Arbeitsgruppe des Wissenschaftsrates ein Papier mit Empfehlungen zur Souveränität und Sicherheit der Wissenschaft im digitalen Raum veröffentlicht. Da das Thema Digitale Souveränität schon seit einiger Zeit auf der Agenda der bayerischen Hochschul-CIOs bzw. des Digitalverbundes steht, kommt es genau richtig. Im Frühjahr 2023 haben wir darüber in einer gemeinsamen Sitzung mit den Universitäts-CIO aus Baden-Württemberg diskutiert und wollen ein gemeinsames Positionspapier veröffentlichen.

Bis dahin hier ein paar subjektive Eindrücke aus dem WR-Papier:

Es ist etwas schwierig, in dem Papier eine genaue Definition von "digitaler Souveränität" zu finden, auf die sich die Ausführungen stützen.

Die Empfehlungen sind eigentlich bekannt, die ersten beiden davon sind sehr konkret und zielen auf die einzelne Hochschule: (1) installiere eine:n CIO auf Leitungsebene der Hochschule, um die Steuerung zentral in die Hand zu nehmen und (2) unterstütze Cybersicherheit mit eine:r Cybersicherheitsbeauftragten, Konzepten und Notfallplänen. 

Die (3) Empfehlung zum Aufbau hochschulübergreifender Infrastrukturen erfordert Absprachen im Bundesland. Das ist z.B. in NRW, Bayern schon gelungen. Man muss dabei beachten, dass die Empfehlung über das technische Wissenschaftsnetz, z.B. BelWue, weit hinausgeht; es geht um Kompetenzzentren z.B. für IT-Recht, IT-Sicherheit oder IT-Beschaffung, oder für Forschungsdatenmanagement. Dies erfordert ein hohes Maß an Absprachen, Kommunikation und Vertrauen zwischen den Hochschulen. Noch anspruchsvoller, wenn es hochschultyp-übergreifend geschehen soll. 

Die (4) Empfehlung zur Gestaltung digitaler Angebote unter Pluralität und Offenheit finde ich etwas schwieriger. Einige Beteiligte lesen bei Offenheit immer gleich "Open Source". Ziel dieser Empfehlung ist es aber, Abhängigkeiten zu reduzieren. Wann immer ich ein digitales Produkt lange benutze, werde ich Abhängigkeiten in meiner Hochschule produzieren, was einen Umstieg, egal wohin, schwierig macht und damit meine Steuerungs- und Entscheidungsmöglichkeiten als CIO einschränkt. Das hat weniger mit der Lizenzform zu tun als mit fehlenden Schnittstellen und Standardisierungen. Wenn ich die in der dritten Empfehlung postulierten Infrastrukturen nutzen möchte (z.B. NFDI oder EOSC), dann muss es Schnittstellen geben und diese müssen kontinuierlich gewartet werden. Manchmal ist es mir hier lieber, ich kann einem konkreten Softwareanbieter mit einer Wartungsanfrage auf die Füße treten.

Am Ende von (4) findet sich noch ein separater Absatz, dass "Knowhow und Innovationspotenzial der Wissenschaft für die Entwicklung digitaler Angebote gezielt genutzt und gefördert werden" sollte. Das ist eigentlich ein Aufruf zur Eigenentwicklung. Wie ich im Beitrag über Schatten-IT schon geschrieben habe, sehe ich da Licht und Schatten -- Licht, wenn sich neue IT-Lösungen z.B. als Startup aus einer Universität heraus verbreiten und sehr erfolgreich werden, wie bei UNIwise oder Uninow. Schatten, wenn eine hoffnungsvolle IT-Lösung mangels Wartung langsam verhungert, wie bei UnivIS. Hier gibt es sehr viel Potenzial -- leider auch, um Budget zu versenken.

Bei der letzten Empfehlung, (5) die Gestaltung des digitalen Raumes als Daueraufgabe von Wissenschaftseinrichtungen, sind wir wieder beisammen. Zu viele IT-Projekte beginnen mit befristetem Personal, aber ein späterer dauerhafter IT-Support erfordert Dauerstellen. Stattdessen wird meist ein Projektportfoliomanagement über Jahre mit Stellen-Tetris abgepuffert. Das muss sich definitiv ändern. Wenn man (3) und (5) kombiniert, wird aber schnell klar, dass es eine Budgetkonkurrenz geben wird -- gibt man das Geld an die Hochschulen oder an die Infrastrukturen? "Beides notwendig!", sagt die IT-Sicherheit. "Infrastruktur kann übernehmen", sagen IT-Recht und IT-Beschaffung. "Die zentrale Stelle benötigt lokale Strukturen, um sie zu unterstützen" sagt das Forschungsdatenmanagement. Wo das Ministerium Budget hingeben sollte, sollte eine strategische, offene und konstruktive Diskussion in der Infrastrukturgruppe von (3) ergeben.

Welche Aufgaben hat ein Hochschul-CIO bezüglich der Einführung und Nutzung generativer KI?

Im Juni 2023 hatten wir auf dem Hochschul-CIO-Kongress in Göttingen eine intensive Diskussion, welche Aufgaben ein CIO einer Hochschule bezüglich der Einführung und Nutzung generativer KI (z.B. ChatGPT) haben sollte. Die Diskussion entspann sich zwischen zwei extremen Positionen, die ich plakativ so dargestellt habe:

✅Die aktive Position ist: Ja, der CIO muss sich unbedingt einbringen und in den Fahrersitz. Es ist eine digitale Technologie, welche die Hochschulen grundsätzlich verändert.

❌Die Gegenposition dazu lautet: Nein, es ist nur eine cloudbasierte Technologie für digitales Lehren und Lernen. Es ist Thema der Hochschuldidaktik bzw. Prorektor:innen für Lehre. Die meisten Whitepaper, journalistischen Artikel und Webseiten von Hochschulen konzentrieren sich auf diese Position. Der/die CIO wird hier nicht gebraucht, denn die Technologieressourcen der Universität werden nicht beansprucht. Oder?

Die Kollegen von EDUCAUSE in den USA haben sich diese Frage auch gestellt und eine interessante Umfrage (Quickpoll) veröffentlicht. Eine große Mehrheit von 83% aller 440 antwortenden Educause-Mitglieder stimmten der Aussage zu, dass Generative KI die Hochschulen in den nächsten drei bis fünf Jahren positiv oder negativ verändern wird. Allerdings unterschieden sich die Antworten je nach Position der Befragten: während 90% der Leitungsebene für "instructional technology" oder von "teaching und learning centers" die Verantwortung dafür bei sich sahen, sagten im Gegenteil 58% der Leitung von IT-Einheiten, dass sie sich für KI nicht verantwortlich fühlten. Was die oben gezeigte Gegenposition unterstützen würde: ChatGPT ist nur (?) eine Frage der Hochschullehre.

Allerdings wurden in der Educause-Umfrage bei der Frage nach konkreten Beispielen auch Anwendungsfelder außerhalb von Lehren und Lernen genannt, unterteilt in die vier Felder: Dreaming, Drudgery, Design, and Development (siehe Grafik).

Und damit ist der/die CIO wieder im Spiel, denn es geht auch in der Administration und der Forschungsverwaltung um eine KI-basierte Assistenztechnologie. Im Workshop in Göttingen konnten wir schon einmal folgende Felder herausarbeiten, in denen sich der/die CIO in der eigenen Hochschule unbedingt einbringen muss.

1. Beratung: Zu allererst geht es um eine strategische Beratung, ein Aufzeigen von Technologieszenarien gegenüber Hochschulleitung und Fakultäten. Hier könnten Szenarien erzeugt werden, wie eine KI-unterstützte Lehre bzw. KI-unterstützte Forschung in 1,3 oder 5 Jahren aussieht. und was das für die Ausrichtung der Universität bedeutet. Wir denken, dass die konkreten Bilder eher von den Fachdisziplinen ausgemalt werden, aber es ist Aufgabe der CIOs, das Thema KI und Vergleichsfälle an diese für eine weitere Diskussion heranzutragen.

2. Erprobung: CIOs sollten sich Verbündete suchen, um Einsatzmöglichkeiten von KI in Verwaltungsanwendungen (z.B. im Dokumentenmanagement), in der Nutzerschnittstelle (Chatbots), im Forschungsinformationssystem (z.B. Clusteranalysen) oder zur Bild- und Textgenerierung für Presse und Marketing auszutesten. Ein konkretes Vorgehen könnte das Higher Education Reference Model (HERM) nutzen, um für jede Business Capability aufzuzeigen, wann KI dort zu erwarten ist und dann proaktiv nach Cases zu suchen. Allerdings sollte man hier mit Bedacht vorgehen: auch ein mit KI unterstützter, aber ansonsten schlechter Prozess wird durch KI nicht automatisch besser.

3. Erwartungsmanagement: Die Erwartungen der Anwender an KI sind derzeit noch nicht stabil -- mangels praktischer Erfahrungen im Umgang mit der Technologie reichen die Ideen von einer reinen Extrapolation des Bestehenden, über Weltuntergangsszenarien, zur Ablehnung oder Abwertung der Technologie. Um wirklich beurteilen zu können, welche Anwendungsfälle und welchen Nutzen KI haben wird, ist es notwendig, Personal zur Beratung in der Hochschule auszubilden, sowohl bei wissenschaftlichem Nachwuchs (wegen der Änderungen in der Forschung), als auch in der Verwaltung.

4. Beschaffung: es ist derzeit noch vollkommen im Fluß, wie der technische Zugang (Schnittstellen, Plugins, Cloud vs. On-Premise) zu Generativer KI aussehen wird. Noch wesentlich wichtiger ist aber der wirtschaftliche Zugang: was ist am günstigsten, wenn man einem ganzen Campus Zugang gewähren möchte: flat-rate Campuslizenzen pro Person? token-basierte Lizenzen pro Zugriff? Für welche Benutzergruppen? Sollte man mit verschiedenen KI-Anbietern parallel Verträge machen oder geht man doch über Zwischenhändler bzw. Aggregatoren? CIOs sollten sich einen Überblick über Anbieter schaffen, auch durch Vernetzung mit anderen (Digitalverbund, HFD, etc.).

Da ist doch einiges zusammengekommen. Ich würde mich freuen, über Ihre Erfahrungen an der eigenen Hochschule zu hören!

The Commodization of the University IT: does IT matter?

We usually think of a university as a geographic place, with buildings on a campus where knowledge is created, shared, and taught. Such a place needs infrastructure: computer networks, WLAN access points, and servers. Really? Whether researchers need to work in a geographic location is likely to be questioned quite a bit, at the latest after the Covid pandemic. Individual disciplines, especially in the humanities and social sciences, almost wholly retreated to the home office, and for many universities, it takes work to bring them back to campus for face-to-face teaching.

So is returning to the University necessary for research disciplines that don't use equipment or labs? Well, yes, shout the students! Ahem, no, say those researchers who had positive experiences lecturing over Zoom, sharing materials with Moodle, and organizing stuff using Teams and OneDrive. If the students can not convince them to return, is there an argument for conducting research on-premise?

Not likely. Scientists are tasked with gaining and disseminating new knowledge through research and publications. Most publications are co-authored with other researchers, preferably at another university. Thus, authors co-edit the research work on commonly available platforms: M365, Google Docs, and Github. Why? Because it does not require to access proprietary infrastructure in another university, usually requiring cumbersome remote access procedures, VPNs, and temporary guest logins. It is just easier to use commonly available, commercial cloud-based systems.

Does it make sense for a university to provide digital resources to individual researchers? The university app, where the canteen plan is the most used feature; the costly lab management software that only two research groups use; the ample data space on university servers, where nobody ever deletes obsolete files? Depending on the scientist and the discipline, providing exclusive hardware and software can be very complex and costly, and the "return on investment" (ROI) for the particular university is questionable.

University IT is on a clear path from being a unique, competitive resource to a commodity infrastructure. Nicholas G. Carr started this discussion for other sectors, but it took some time to reach higher education. Ultimately, digital transformation may thus result in a maximum internet connection on campus so scientists can share their data and texts using digital infrastructure from a commercial cloud or a supercomputing center. Of course, the university would have to pay annual fees for access to the cloud or the data center; but they would save investment in buildings,  energy resources, compute servers, and data servers. The new problems that this creates, are subject to another blog post.

Dreimal Vitamin C für die Hochschulen: ein notwendiger Schock und ein Impuls für die Zukunft

Die Bedeutung der letzten fünf Jahre für die Digitalisierung der deutschen Universitäten kann nicht überschätzt werden. In diesen fünf Jahren ist fundamental mehr passiert als in den 30 Jahren vorher, und der Grund dafür liegt in den drei "C": Cloud, Covid und ChatGPT. Zusammen stellen diese Worte 3 Vitaminschocks dar und werden die Art, wie Universitäten ihre Digitalisierung angehen, massiv verändern.

Das erste "C" ist die Cloud. Wie ich an anderer Stelle schon geschrieben habe, ist die Verfügbarkeit von Amazon Web Services, Microsoft 365 oder Google for Education eine grundsätzliche Möglichkeit, das eigene Rechenzentrum loszuwerden. Dies allerdings unter Inkaufnahme einer babylonischen Gefangenschaft zum Cloud-Anbieter, der unter Ausnutzung des Lock-In-Effektes eine Preispolitik fahren kann, welche Universitäten bei steigendem Digitalisierungsgrad an den Rand der eigenen Finanzierungsmöglichkeiten bringt. Dafür gibt es in der besten aller Welten immer die neueste Software, weltweite Erreichbarkeit der Plattform und ein 24/7-besetztes Helpdesk.

Das zweite "C" war 2020 der Schock durch die Covid19-Epidemie. In rasender Geschwindigkeit flexibilisierten die Universitäten die Präsenzlehre, führten Flipped-Classroom-Konzepte ein und ermöglichten Fernklausuren. Die Lehrenden nahmen tausende von Lehrvideos auf, welche so gut angenommen wurden, dass die Studierenden auch nach Ende der Pandemie auf hybride Lehre und die einmal kennengelernten Möglichkeiten nicht verzichten wollen. Zurück zu großen und vollen Hörsälen mit Alleinunterhalter:innen an der Kreidetafel? Nicht mit unseren Studierenden! Ähnlich auch der Einfluss auf die Arbeitsmodi von Verwaltung und Wissenschaftler:innen. Home Office für das Verwaltungspersonal: 2019 eine absolute Seltenheit, seit 2021 durchaus üblich. Arbeitsbesprechungen, sogar wissenschaftliche Konferenzen finden über Zoom statt, man trifft sich vor der Kamera.

Das dritte "C" ist 2023 die weltweite Verfügbarkeit von generativer Künstlicher Intelligenz (Beispiel ChatGPT), sei es für  die Erstellung von Texten, Bildern, oder Software. Neben dem faktischen Todesstoß für die Prüfungsform Hausarbeit ermöglicht Generative KI aber auch einen Produktivitätssprung, sei es durch erleichtertes Verfassen wissenschaftlicher Texte, vereinfachtes Zusammenfassen von Quellen, bessere Übersetzungen oder bessere Grafiken. Als Richard Socher beim DLD23 auf die derzeitigen Fehler von GAI (Halluzinationen) bei der korrekten Verlinkung von Quellen angesprochen wurde, meinte er lapidar: "Geben Sie uns noch ein paar Wochen" (Nachtrag: LLaMa, GPT4).

Die wesentliche Gemeinsamkeit aller drei Vitamin-C-Schocks ist für mich, dass diese am klassischen Universitäts-Rechenzentrum vorbei passiert sind. Die alten Server werden nicht mehr gebraucht. Was wir aber sehr wohl brauchen, sind eine universitätsweite Digitalisierungsstrategie, kundiges Personal für den lokalen Support und eine Schulungskampagne für die Nutzung der neuen Dienste. Ob die deutschen Universitäten dafür personell und finanziell richtig aufgestellt sind?

Three C's and their vitamin shock for Universities

The importance of the last five years for the digitization of Universities cannot be overestimated. More has happened fundamentally in these five years than in the 30 years before, and the reason for this lies in the three "Cs": Cloud, Covid and ChatGPT. Together, these words represent 3 vitamin shocks and will massively change the way universities approach their digitization.

The first "C" is the cloud. As I've written elsewhere, the availability of Amazon Web Services, Microsoft 365 or Google for Education is a fundamental way to get rid of your own data center. However, this is at the cost of a Babylonian captivity to the cloud provider, who, exploiting the lock-in effect, can drive a pricing policy that brings universities to the edge of their own funding possibilities as the level of digitization increases. But in the best of all worlds, there is always the latest software, worldwide accessibility of the platform and a 24/7 helpdesk.

The second "C" in 2020 was the shock of the Covid19 epidemic. At breakneck speed, universities flexibilized face-to-face teaching, introduced flipped classroom concepts, and enabled distance exams. Instructors recorded thousands of instructional videos, which were so well received that even after the pandemic ended, students do not want to give up hybrid teaching and the options they had once learned about. Back to large and crowded lecture halls with solo entertainers at the chalkboard? Not with our students! Similarly, the impact on the work modes of administration and academics. Home office for administrative staff: an absolute rarity in 2019, quite common since 2021. Work meetings, even scientific conferences take place via Zoom.

The third "C" in 2023 is the worldwide availability of generative artificial intelligence (example ChatGPT), whether for the creation of texts, images, or software. In addition to the de facto death blow for the essay assignments, generative AI also enables a leap in productivity, be it through easier writing of scientific texts, simplified summarizing of sources, better translations or better graphics. When Richard Socher was asked at DLD23 about GAI's current failures (hallucinations) in properly linking sources, he succinctly said, "Give us a few more weeks" (addendum: LLaMa, GPT4).

For me, the essential commonality of all three vitamin C shocks is that they happened past the traditional university data center. The old servers are no longer needed. What we do need, however, is a university-wide digitization strategy, knowledgeable staff for local support, and a training campaign for using the new services. Are our universities properly positioned for this in terms of personnel and funding?

Translated with DeepL

Does ChatGPT level the differences between the world's best universities and everyone else?

Is there a power imbalance between American and European universities when it comes to publication impact and research funding? Of course: elite institutions like Harvard, Stanford, and Oxford lead the way, while smaller universities such as Bayreuth linger in the long tail. This holds for the attractiveness for younger researchers searching for a career, the impact factor of publications, and usually the endowment with research funding.

Will AI, available to everyone, even out the playing field? Is it a game-changer? It might be since tools like ChatGPT and other AI solutions are accessible globally. All that's needed is an internet connection and a desktop computer. It won't matter where the researcher is located--whether it's Mombasa or Miami, Bangalore or Boston, Frankfurt or San Francisco--as long as they know how to make use of generative AI and publicly available data.

The conversations about the implications of AI on universities can be looked at in two ways. Supporters of the concept posit that high-end universities have the capacity to use their wealth and receptiveness to technology to carry out AI research projects, resulting in a greater disparity in resources between these universities and those without as much financial backing.

On the other hand, one of the greatest opportunities afforded by AI is the democratization of opportunity. Through the use of open-source software and resources, anyone from anywhere can access the same tools and data sets. This evens the playing field for everyone, regardless of location or means. Furthermore, success in using AI will depend more on creativity and innovation than financial resources, allowing those with a limited budget to still make advances in their research. In this case, the chasm could decrease as anyone with access to open AI resources has the potential to succeed, regardless of their geographic location.

Attending DLD23 in Munich in January 2023, I was lucky enough to approach Erik Brynjolfsson and Andrew McAfee with this question. Their answers differ in detail, but the general sentiment is: the power curve is rock solid, and if you are a small university somewhere in the long tail, you have to act fast.

Erik's answer was: The power law between American and European universities will likely still be in effect when it comes to publication impact and research funding. Elite institutions like Harvard, Stanford, and Oxford will continue to lead the way, while smaller universities such as Bayreuth will remain in the long tail. However, AI could give a new competitive edge to universities that are quick to act on embracing the technology. Those that provide their researchers with technical access and capabilities, use AI in teaching and exams proactively, and create an AI-friendly environment that allows for experimentation with data sets have the potential to move up the power law curve faster than those who are slower at adapting. On the other hand, those who try to suppress using AI or go back to traditional methodologies risk further falling behind. Ultimately it is up to each university’s leader(s) to determine whether they want to move up or slide down this curve.

Andrew's answer: We do not know the answer to that question yet. However, most new technologies have throughout the years increased the effect of the power curve, one way or the other. What might happen if you look at a particular researcher, is that AI is a diamond seeker, meaning that AI is very much capable by sifting through tons of research writings to detect promising new research better than humans might do (e.g through a manual structured literature review, which is always biased). In that case, researchers will get increased visibility even if having few publications (early career) and then be capable to move to a better university up the power law curve. Even when you have the same access to research tools regardless of geography, it is still more attractive to the particular researcher to move where brains who you can go to lunch with, are in one place.

Disclosure: this blog post has been drafted, translated, edited and proofread using sudowrite.com and deepl.com.

ChatGPT und die Folgen für universitäre Prüfungen

Künstliche Intelligenz (KI) ist das aktuelle Schlagwort der Digitalisierung, und die generative KI zur Erstellung von Texten (z.B. ChatGPT), Bildern (z.B. DALL-E) erzeugt die einprägsamsten Ergebnisse für ein breites Publikum. Wie immer bei Software-Innovationen hat die schon länger bestehende Entwicklung der Middleware (OpenAI) mit ihren Data Science-Algorithmen nicht die gleiche mediale Resonanz erfahren, weil sie halt schlechter zu verstehen und zu bebildern ist. Bei generativer KI ist das einfacher, und damit startet die Hypekurve -- von übersteigerten Erwartungen bis hin zu enttäuschten Illusionen.

Für das Bildungswesen stellen die Fähigkeiten der generativen KI, insbesondere bei der Texterstellung, sowohl Risiko als auch Chance dar.  Die Spanne der Unterstützung durch KI ist dabei breit gefächert. Wohl niemand hätte etwas gegen Unterstützung bei der Erstellung einer Gliederung, eines Abstracts, Hilfe bei der Übersetzung in die englische Sprache oder bei der grammatikalischen Fehlerfreiheit eines Textes einzuwenden. Probleme haben wir damit, dass bei der Anfertigung einer Prüfungsleistung (insbesonders als Text: Klausur, Hausarbeit) die Leistung der KI so umfassend ist, dass sie die Eigenleistung des menschlichen Prüflings in den Hintergrund stellt. Wir möchten ja gerne die Einzelleistung des Probanden messen und bewerten!

Solange wir die Leistung des Menschen in einer Kategorie messen, die auch von der Maschine erledigt werden kann, sind wir aber auch selber schuld. Es hat schon seinen Grund, dass wir nach dem Aufkommen des Taschenrechners in den Matheprüfungen der Schule kein Kopfrechnen mehr abfragen. Sowohl in der Vermittlung des Wissens als auch in der Leistungsmessung müssen wir realistisch feststellen, dass sich die Umweltbedingungen geändert haben und eine neue Technologie auf Dauer zur Verfügung steht.

Um es möglichst realistisch und praxisnah zu machen, bereiten wir Studierende in einer Prüfung auf eine reale Situation einer Aufgabenlösung unter Zeitdruck vor: 

• 1980er: "Meier, kommen Sie bitte fix mal zum Chef und erklären Sie, warum die Buchung so durchgeführt wurde. Sie haben das doch gelernt.". Die logische Prüfungsform dafür ist eine "Closed Book"-Klausur, bei der man ohne Hilfsmittel und nur mit Papier und Bleistift etwas auswendig Gelerntes wiedergeben muss. Warum? Eben weil die Praxis später genau solche Fragen stellt, wie wir sie in der Klausur abfragen.

• 2000er: "Meier, in zwei Stunden ist die Präsentation beim Vorstand und wir brauchen schnell eine Zusammenstellung mit dem Vorschlag und der Begründung. Schmeissen Sie mal das Internet an und suchen Sie ein paar Quellen." Das ist natürlich eine "Open Book"-Klausur, bei der alle Hilfsmittel zur Verfügung stehen, aber die Lösung aus einer Vielzahl relevanter und irrelevanter Informationen aggregiert, prägnant zusammengefasst und präsentiert werden muss. (Wenn über diese Zusammenstellung hinaus und mit etwas mehr Zeit alle verfügbaren Informationen gesichtet werden und auf dieser Basis eine eigene Idee entwickelt werden soll, sind wir bei der Prüfungsleistung der schriftlichen Hausarbeit oder Abschlussarbeit. Die ist ohnehin schon "open book".)

Wir können vermutlich davon ausgehen, dass ab 2023 nicht mehr nur "das Internet angeschmissen" wird, sondern Herr oder Frau Meier in der betriebswirtschaftlichen Realität der Zukunft eine generative, texterstellende KI wie ChatGPT zur Problemlösung einsetzen wird. Folgerichtig werden wir auch unsere universitären Prüfungen entsprechend anpassen müssen. Nur verbieten führt uns auf jeden Fall nicht in die Zukunft.

The future of exams according to ChatGPT

 Artificial Intelligence (AI) is the current buzzword of digitization, and generative AI for creating texts (e.g. ChatGPT), images (e.g. DALL-E) produces the most memorable results for a wide audience. As is always the case with software innovation, the longer-standing development of middleware (OpenAI) with its data science algorithms has not received the same media response, simply because it is harder to understand and image. With generative AI, it's easier, and that starts the hype curve -- from inflated expectations to disappointed illusions.

For education, the capabilities of generative AI, especially in text creation, represent both risk and opportunity. The range of AI support in this regard is broad. Arguably, no one would object to assistance in creating an outline, an abstract, help with translation into English, or making sure a text is grammatically correct. We have problems with the fact that in the preparation of an examination performance (especially as a text: exam, term paper) the performance of the AI is so comprehensive that it eclipses the individual performance of the human examinee. We would like to measure and evaluate the individual performance of the examinee!

As long as we measure the performance of the human in a category that can also be done by the machine, we have only ourselves to blame. There is a reason that after the advent of the pocket calculator we no longer ask for mental arithmetic in school math exams. Both in the teaching of knowledge and in the measurement of performance, we have to be realistic about the fact that environmental conditions have changed and a new technology is available for the long term.

To make it as realistic and practical as possible, we prepare students in an exam for a real situation of a task solution under time pressure:

1980er: "Meier, please come quickly to the boss and explain why the booking was done this way. You have learned that, haven't you?". The logical form of examination for this is a "closed book" exam, in which you have to reproduce something you have learned by heart without any aids and with only paper and pencil. Why? Precisely because the practice later asks exactly the same questions as we ask in the exam.

2000er: "Meier, in two hours the presentation will be at the board and we need a quick compilation with the proposal and the reasoning. Fire up the Internet and find some sources." This is, of course, an "open book" retreat, where all the tools are available, but the solution must be aggregated, concisely summarized, and presented from a variety of relevant and irrelevant information. (If, beyond this compilation and with a little more time, all available information is sifted and an own idea is to be developed on this basis, we are at the examination performance of the written term paper or thesis. This is already "open book" anyway).

We can presumably assume that from 2023 onwards, it will no longer be just "the Internet that is switched on", but Mr. or Mrs. Meier will use a generative, text-creating AI such as ChatGPT to solve problems in the business reality of the future. Consequently, we will also have to adapt our university examinations accordingly. In any case, prohibiting AI will not lead us into the future.

Translated with DeepL