Können wir 1000 GPUs pro Hochschule dauerhaft finanzieren?

Es ist immer wieder erstaunlich, wie viel Hollywood in einer Rede eines Vorstandsvorsitzenden eines US-Tech-Unternehmens zu finden ist. Gestern abend zeigte Jensen Huang von NVIDIA auf seiner Entwicklerkonferenz einen langen Trailerfilm, in dem Galaxien, Operationen und Wirbelstürme zu sehen waren. Anschließend gab es 90min harte Technologie, aber auf die Anwendungen aus Astrophysik, Medizin und Geowissenschaften kam er immer wieder zurück. Wenn man die Welt zu einem besseren Ort machen möchte, ist das kein schlechter Ausgangspunkt. 

Diesbezüglich würden mir die Astrophysiker:innen, Mediziner:innen und Geowissenschaftler:innen meiner eigenen, kleinen Universität sicherlich zustimmen. Im nächsten Satz würden sie aber Forderungen stellen: um in der Forschung wettbewerbsfähig zu bleiben, brauchen wir auch GPUs. Am liebsten ganze Cluster. Großgeräteanträge bei der DFG wäre doch eine Möglichkeit?

Ich sehe die Notwendigkeit, um wissenschaftlich am Ball zu bleiben. Ich sehe auch die Problematik der dauerhaften Finanzierung einer solchen Investition. Die Bundesförderung übernimmt bei der Erstanschaffung die Hälfte, die andere Hälfte muss die Uni aus ihren Mitteln bestreiten. Das wird nicht wenig sein, und Investitionen drum herum, in die Infrastruktur und Klimatisierung des Rechenzentrums, kommen noch dazu. Nach 4-5 Jahren (wenn es überhaupt so lange dauert), muss vermutlich die ganze Hardware erneuert und durch GPUs der neuesten Generation ersetzt werden. 

Ist das von allen Universitäten leistbar? Vermutlich nicht. Große Universitäten und solche mit einer guten Zusatzfinanzierung aus Overheads, z.B. Technische Universitäten, werden sich damit leichter tun als kleinere Hochschulen.

Der Ausweg liegt in der wissenschaftlichen Kooperation und der Zentralisierung der KI-Infrastruktur auf wenige Rechenzentren, vermutlich nur eines oder zwei pro Bundesland. Hier braucht es einen fairen Zugriff auf die Rechenleistung, Schulung und Support für alle Anwender in allen beteiligten Hochschulen, eine Einigung auf steuerliche Regelungen, und bezüglich einer lastorientierten Kostenbeteiligung der Endnutzer. 

Das einzelne Rechenzentrum der einzelnen Universität ist aus der Nummer leider raus.

Welche Aufgaben hat ein Hochschul-CIO bezüglich der Einführung und Nutzung generativer KI?

Im Juni 2023 hatten wir auf dem Hochschul-CIO-Kongress in Göttingen eine intensive Diskussion, welche Aufgaben ein CIO einer Hochschule bezüglich der Einführung und Nutzung generativer KI (z.B. ChatGPT) haben sollte. Die Diskussion entspann sich zwischen zwei extremen Positionen, die ich plakativ so dargestellt habe:

✅Die aktive Position ist: Ja, der CIO muss sich unbedingt einbringen und in den Fahrersitz. Es ist eine digitale Technologie, welche die Hochschulen grundsätzlich verändert.

❌Die Gegenposition dazu lautet: Nein, es ist nur eine cloudbasierte Technologie für digitales Lehren und Lernen. Es ist Thema der Hochschuldidaktik bzw. Prorektor:innen für Lehre. Die meisten Whitepaper, journalistischen Artikel und Webseiten von Hochschulen konzentrieren sich auf diese Position. Der/die CIO wird hier nicht gebraucht, denn die Technologieressourcen der Universität werden nicht beansprucht. Oder?

Die Kollegen von EDUCAUSE in den USA haben sich diese Frage auch gestellt und eine interessante Umfrage (Quickpoll) veröffentlicht. Eine große Mehrheit von 83% aller 440 antwortenden Educause-Mitglieder stimmten der Aussage zu, dass Generative KI die Hochschulen in den nächsten drei bis fünf Jahren positiv oder negativ verändern wird. Allerdings unterschieden sich die Antworten je nach Position der Befragten: während 90% der Leitungsebene für "instructional technology" oder von "teaching und learning centers" die Verantwortung dafür bei sich sahen, sagten im Gegenteil 58% der Leitung von IT-Einheiten, dass sie sich für KI nicht verantwortlich fühlten. Was die oben gezeigte Gegenposition unterstützen würde: ChatGPT ist nur (?) eine Frage der Hochschullehre.

Allerdings wurden in der Educause-Umfrage bei der Frage nach konkreten Beispielen auch Anwendungsfelder außerhalb von Lehren und Lernen genannt, unterteilt in die vier Felder: Dreaming, Drudgery, Design, and Development (siehe Grafik).

Und damit ist der/die CIO wieder im Spiel, denn es geht auch in der Administration und der Forschungsverwaltung um eine KI-basierte Assistenztechnologie. Im Workshop in Göttingen konnten wir schon einmal folgende Felder herausarbeiten, in denen sich der/die CIO in der eigenen Hochschule unbedingt einbringen muss.

1. Beratung: Zu allererst geht es um eine strategische Beratung, ein Aufzeigen von Technologieszenarien gegenüber Hochschulleitung und Fakultäten. Hier könnten Szenarien erzeugt werden, wie eine KI-unterstützte Lehre bzw. KI-unterstützte Forschung in 1,3 oder 5 Jahren aussieht. und was das für die Ausrichtung der Universität bedeutet. Wir denken, dass die konkreten Bilder eher von den Fachdisziplinen ausgemalt werden, aber es ist Aufgabe der CIOs, das Thema KI und Vergleichsfälle an diese für eine weitere Diskussion heranzutragen.

2. Erprobung: CIOs sollten sich Verbündete suchen, um Einsatzmöglichkeiten von KI in Verwaltungsanwendungen (z.B. im Dokumentenmanagement), in der Nutzerschnittstelle (Chatbots), im Forschungsinformationssystem (z.B. Clusteranalysen) oder zur Bild- und Textgenerierung für Presse und Marketing auszutesten. Ein konkretes Vorgehen könnte das Higher Education Reference Model (HERM) nutzen, um für jede Business Capability aufzuzeigen, wann KI dort zu erwarten ist und dann proaktiv nach Cases zu suchen. Allerdings sollte man hier mit Bedacht vorgehen: auch ein mit KI unterstützter, aber ansonsten schlechter Prozess wird durch KI nicht automatisch besser.

3. Erwartungsmanagement: Die Erwartungen der Anwender an KI sind derzeit noch nicht stabil -- mangels praktischer Erfahrungen im Umgang mit der Technologie reichen die Ideen von einer reinen Extrapolation des Bestehenden, über Weltuntergangsszenarien, zur Ablehnung oder Abwertung der Technologie. Um wirklich beurteilen zu können, welche Anwendungsfälle und welchen Nutzen KI haben wird, ist es notwendig, Personal zur Beratung in der Hochschule auszubilden, sowohl bei wissenschaftlichem Nachwuchs (wegen der Änderungen in der Forschung), als auch in der Verwaltung.

4. Beschaffung: es ist derzeit noch vollkommen im Fluß, wie der technische Zugang (Schnittstellen, Plugins, Cloud vs. On-Premise) zu Generativer KI aussehen wird. Noch wesentlich wichtiger ist aber der wirtschaftliche Zugang: was ist am günstigsten, wenn man einem ganzen Campus Zugang gewähren möchte: flat-rate Campuslizenzen pro Person? token-basierte Lizenzen pro Zugriff? Für welche Benutzergruppen? Sollte man mit verschiedenen KI-Anbietern parallel Verträge machen oder geht man doch über Zwischenhändler bzw. Aggregatoren? CIOs sollten sich einen Überblick über Anbieter schaffen, auch durch Vernetzung mit anderen (Digitalverbund, HFD, etc.).

Da ist doch einiges zusammengekommen. Ich würde mich freuen, über Ihre Erfahrungen an der eigenen Hochschule zu hören!