3. Methodische Schritte im Überblick

Phase 1 des Projekts gliederte sich in mehrere methodische Schritte, die im Folgenden überblicksartig dargestellt werden:

1. Skizzierung von Wireframes und Informationsbedarfen

• Erste Entwürfe einer funktionalen Benutzeroberfläche wurden direkt in der No-Code-Entwicklungsumgebung Bubble umgesetzt.

• Learning: Für vergleichbare Vorhaben empfiehlt sich in der frühen Konzeptionsphase der Einsatz spezialisierter UI/UX-Design-Tools (z. B. Figma), um erste Gestaltungsideen strukturierter und schneller zu visualisieren. Bubble hingegen erwies sich für die spätere Implementierung funktionaler Logiken als sehr leistungsfähig.

2. Aufbau der Datenbankstruktur

• Erstellung von Tabellen, Datenfeldern und Beziehungen zwischen zentralen Entitäten (z. B. Kurseinheiten, KI-Einstellungen, Nutzerprofile).

• Die strukturierte Datenmodellierung diente als Grundlage für alle weiteren Entwicklungsschritte.

3. Know-how-Aufbau und API-Verprobung mit Large Language Models

• Durchführung erster Funktionstests mit verschiedenen LLM-Endpunkten (u. a. GPT-3.5) zur Beantwortung von Fachfragen.

• Ziel war das Verständnis für die Integration von Sprachmodellen und die Identifikation technischer Grenzen (z. B. Token-Limitierungen, Temperature-Einstellungen, System-Prompts).

4. Implementierung eines Retrieval-Augmented Generation (RAG) Systems

• Früh zeigte sich, dass reines Prompting nicht ausreicht, um spezifische Fachinhalte zuverlässig abzubilden.

• Zur Lösung wurde ein RAG-System implementiert, das mit einer Vektordatenbank (z. B. Pinecone) und Ähnlichkeitssuche (Cosine Similarity) arbeitete.

5. Feedbackschleifen mit Stakeholdern und Lernbegleitungen

• Durchführung erster Usability- und Qualitätstests der KI-generierten Antworten.

• Iteratives Vorgehen: Das Feedback floss direkt in die Optimierung technischer Parameter (Tokenanzahl, Temperature, Prompting-Strategie, Streaming-Optionen) und die Verfeinerung des RAG-Systems (u. a. durch besseres Chunking und Metadatenmanagement) ein.

6. Pilotierung im Fachbereich Finanzbuchhaltung (WBS TRAINING AG)

• Mangels externem KMU-Partner wurde der Prototyp im realen Weiterbildungskontext der WBS TRAINING AG getestet.

• Erkenntnisse: Die Benutzerfreundlichkeit wurde als hoch eingeschätzt. Jedoch zeigten sich Schwächen in der fachlichen Genauigkeit – insbesondere bei mathematisch geprägten Inhalten.

• Herausforderung: Balance zwischen eingebettetem Fachwissen (über RAG) und generativem Wissen des LLMs. Zudem war GPT-3.5 zum damaligen Zeitpunkt weniger leistungsfähig als spätere Modelle (z. B. GPT-4).

7. Auswertung und Differenzierung der Einsatzebenen

• Aus den Tests ließen sich drei Ebenen ableiten, auf denen ein KI-Tutor wirksam agieren kann:

  • Makro-Ebene: Auswahl und Empfehlung geeigneter Lerninhalte

  • Meso-Ebene: Fachliche Unterstützung bei konkreten Fragen

  • Mikro-Ebene: Methodisch-didaktische Begleitung, z. B. durch individuelles Feedback

8. Überführung in ein MVP und Pilotierung

• Erkenntnisse aus Phase 1 wurden in eine konsolidierte Anforderungsliste überführt.

• Auf dieser Basis wurde ein nutzbares MVP in Bubble realisiert, das in einer weiteren Testphase mit Teilnehmenden (TN) evaluiert wurde.

• Die Ergebnisse dieser Pilotierung sind im separaten Bericht „KI-Tutor@WBS – Abschlussbericht“ dokumentiert.

---

Fazit zu Phase 1

• Die Phase des Rapid Prototypings erwies sich als entscheidend, um technische, didaktische und organisatorische Anforderungen frühzeitig zu identifizieren und gezielt weiterzuentwickeln.

• Der kombinierte Ansatz aus schnellen Iterationen und enger Stakeholder-Einbindung schuf eine belastbare Grundlage für die zielgerichtete Entwicklung des MVP in Phase 2.