Was Annex III Kategorie 3 umfasst
Der EU AI Act listet explizit drei Hochrisiko-Teilbereiche in Bildung und Berufsausbildung:
- Zugang zu Bildung – KI-Systeme, die bestimmen, ob eine Person zu einer Bildungseinrichtung oder einem Programm zugelassen wird (z.B. Hochschulzulassung, Schulplatzvergabe)
- Bewertung von Lernergebnissen – KI zur Bewertung von Studierenden, einschliesslich automatisierter Aufsatzbewertung, Prüfungsbewertung und Kompetenzbeurteilung
- Überwachung und Erkennung bei Prüfungen – KI-basierte Proctoring-Systeme, die das Verhalten von Studierenden während Prüfungen überwachen, einschliesslich Blickverfolgung, Bewegungserkennung und Browser-Überwachung
Typische Szenarien und Risikostufen
| Anwendung | Risikostufe | EU AI Act Grundlage |
|---|---|---|
| KI für Hochschulzulassung | Hochrisiko | Annex III Nr. 3(a) |
| Automatische Aufsatz-/Prüfungsbewertung | Hochrisiko | Annex III Nr. 3(b) |
| KI-Proctoring / Prüfungsüberwachung | Hochrisiko | Annex III Nr. 3(c) |
| Adaptive Lernplattformen | Begrenztes Risiko | Art. 50 |
| KI-Tutoring-Chatbot | Begrenztes Risiko | Art. 50(1) |
| Lernmanagementsystem (LMS) | Minimales Risiko | — |
Warum Bildungs-KI besonders sensibel ist
KI im Bildungswesen betrifft eine besonders vulnerable Gruppe – Kinder und Jugendliche. Erwägungsgrund 47 des EU AI Act hebt ausdrücklich hervor, dass KI-Systeme im Bildungsbereich erhebliche Folgen für die Zukunftschancen Einzelner haben können. Zentrale Bedenken sind:
- Algorithmische Voreingenommenheit kann Studierende aus bestimmten sozioökonomischen oder ethnischen Hintergründen systematisch benachteiligen
- Proctoring-KI kann Studierende mit Behinderungen oder nicht standardmässigen Prüfungsumgebungen überproportional markieren
- Zulassungs-KI kann historische Ungleichheiten fortschreiben, wenn sie mit verzerrten Daten trainiert wird
- Erklärungsrecht: Studierende und Eltern haben ein berechtigtes Interesse daran zu verstehen, wie KI-gestützte Entscheidungen getroffen wurden
DSGVO und AI Act Zusammenspiel in Schulen
Bildungs-KI verarbeitet typischerweise personenbezogene Daten von Minderjährigen, was verstärkten DSGVO-Schutz auslöst. Schulen und Universitäten als Betreiber haben doppelte Compliance-Pflichten:
- DSGVO Art. 8 – Einwilligung für Minderjährige erfordert in vielen Mitgliedstaaten die Zustimmung der Eltern
- DSGVO Art. 22 – Recht, keiner ausschliesslich automatisierten Entscheidung unterworfen zu werden
- EU AI Act Art. 14 – Menschliche Aufsicht obligatorisch für alle Hochrisiko-Bildungs-KI
- EU AI Act Art. 27 – FRIA obligatorisch, wenn öffentliche Bildungseinrichtungen Hochrisiko-KI einsetzen
Dokumentationspflichten
Für Anbieter und Betreiber von Hochrisiko-KI im Bildungswesen:
- Technische Dokumentation nach Annex IV – mit besonderem Fokus auf Bias-Tests, Datenrepräsentativität und Fairness-Metriken
- Transparenzhinweis – Studierende, Eltern und Lehrkräfte müssen über den KI-Einsatz bei Bildungsentscheidungen informiert werden (Art. 13 + Art. 26)
- FRIA – Pflicht für öffentliche Bildungseinrichtungen bei Hochrisiko-KI nach Art. 27
Nächste Schritte für Ihre Organisation
- Inventar – Erfassen Sie alle KI-Tools in Lehre, Bewertung, Zulassung und Verwaltung
- Klassifizierung – Nutzen Sie den kostenlosen Risiko-Check
- Dokumentation – Erstellen Sie Ihre Compliance-Dokumentation