5. Herausforderungen und Lösungsansätze

Trotz durchweg positiver Resonanz seitens der Stakeholder zeigte sich im Projektverlauf eine Reihe technischer, organisatorischer und didaktischer Herausforderungen. Im Folgenden werden zentrale Problemstellungen sowie erste Lösungsansätze dargestellt:

1. Unstrukturierte Datenlage

• Problem: Viele vorhandene Lerninhalte liegen in proprietären Formaten vor (z. B. PDF-Dateien, WBTs oder Articulate-Module), was die Extraktion und das Chunking der Inhalte für RAG-Systeme erheblich erschwert.

• Lösungsansatz: Für den gezielten Zugriff auf Fachinhalte sind strukturierte Datenquellen (z. B. Glossare, CSV-Dateien oder reine Textformate) deutlich besser geeignet. Eine gezielte Aufbereitung vorhandener Materialien oder die Entwicklung KI-freundlicher Content-Formate kann die Grundlage für eine leistungsfähige RAG-Anbindung schaffen.

2. Dynamische Einbettung von Prompting-Daten

• Problem: Um personalisierte Lernerlebnisse zu ermöglichen, müssen KI-Prompts flexibel auf Nutzereigenschaften wie Sprache, Lernstand oder Präferenzen reagieren können. Dies erfordert die Verarbeitung sowohl statischer als auch dynamischer Daten.

• Lösungsansatz: Die Entwicklung adaptiver Prompt-Strategien und der Aufbau technischer Schnittstellen zur Nutzerprofilintegration (z. B. über APIs) sind essenziell. Die dynamische Steuerung von Systemprompts kann so individualisierte Lerndialoge ermöglichen.

3. Begrenzte Verlässlichkeit aktueller LLMs

• Problem: Bei komplexen oder fachlich spezialisierten Themenfeldern (z. B. Finanzbuchhaltung) lieferten Sprachmodelle vereinzelt fehlerhafte oder unpräzise Informationen.

• Lösungsansatz: Kurzfristig hilft eine gezielte RAG-Anbindung mit geprüften Inhalten, um die Zuverlässigkeit zu erhöhen. Langfristig wird die Qualität maßgeblich durch die Weiterentwicklung leistungsfähiger Modelle wie GPT-4 und folgende Generationen bestimmt bleiben. Dennoch bleibt die Prüfung von KI-generierten Inhalten durch Fachexpert:innen ein kritischer Faktor.

4. Change-Prozess und Integration der Stakeholder

• Problem: Die Einführung KI-gestützter Lernsysteme stellt eine tiefgreifende Veränderung dar, die ohne begleitende Maßnahmen auf Widerstand bei Lehrenden, Fachexpert:innen und Lernenden stoßen kann.

• Lösungsansatz: Der Change-Prozess sollte frühzeitig durch partizipative Formate begleitet werden. Die gemeinsame Entwicklung konkreter Use Cases und eine transparente Kommunikation der Potenziale fördern Akzeptanz und Nutzungsbereitschaft.

5. Unklare Wirkung auf den Lernerfolg

• Problem: Der tatsächliche Einfluss eines KI-Tutors auf den individuellen Lernerfolg konnte im Projektverlauf noch nicht umfassend empirisch belegt werden.

• Lösungsansatz: Für eine belastbare Evaluation sind klar definierte Lernziele, geeignete Messinstrumente und ein systematisches Monitoring erforderlich. Die Nutzung von Analyse-Standards wie xAPI kann helfen, differenzierte Erkenntnisse über Lernverläufe, Interaktionen und die Wirksamkeit der KI-Unterstützung zu gewinnen.