RAG Agent
Ein RAG Agent ist eine Agent-App vom Typ Agent, die Antworten aus freigegebenen Unternehmensquellen ableitet – hochgeladene Dateien, Websites und SharePoint-Inhalte. Das allgemeine Modellwissen bleibt verfügbar; verbindliche Aussagen sollen sich auf die indexierte Wissensdatenbank stützen. Details zu Allowlist, Sync-Jobs und Live-SharePoint-Tools: SharePoint-Integration.
Abgrenzung:
| Allgemeines Modellwissen | Quellenbasiertes Unternehmenswissen (RAG) | |
|---|---|---|
| Grundlage | Trainingsdaten des LLM | Indexierte Dateien, URLs, SharePoint-Importe |
| Typische Nutzung | Formulierungen, Struktur, Allgemeinwissen | Richtlinien, Prozesse, Produkt- und Projektdokumente |
| Nachweis | oft ohne Beleg | Quellenangaben im Chat (wenn Quellen anzeigen aktiv) |
Datenflussdiagramm
Zweck, Zielgruppe und Einsatzbereich
- Zweck: Fachlich eingegrenzte Assistenten betreiben, die Fragen anhand freigegebener Unternehmensquellen beantworten – mit nachvollziehbaren Quellen und klaren Grenzen bei fehlender Evidenz.
- Zielgruppe: CoCoAdmins (Apps anlegen, SharePoint-Allowlist) und App-Admins (Prompt, Tools, Wissensquellen, Berechtigungen, Qualität).
- Einsatzbereich: Interne Wissensassistenten (HR, IT, QM, Vertrieb, Compliance, Onboarding, …). Abgrenzung zu reinen KI-Chatbots (ohne Wissensindex) und zu Container-/Skill-Apps (Office-Erzeugung ohne RAG-Index).
Fachlicher Nutzen und erwartete Ergebnisse
- Einheitliche Antworten auf Basis freigegebener Dokumente statt widersprüchlicher Einzelmeinungen.
- Nachvollziehbarkeit über klickbare Quellen und Seitenangaben.
- Fachlich abgegrenzte Zielgruppen über App-Berechtigungen.
- Weniger Suchaufwand in SharePoint und Dateiablagen bei wiederkehrenden Fragen.
Erwartetes Ergebnis nach Go-Live: Nutzer stellen Fachfragen im Chat und erhalten belegte Antworten – oder eine transparente Meldung, wenn keine passende Quelle gefunden wurde (über Prompt gesteuert).
Voraussetzungen für die Nutzung
Technisch
- LLM-Modell mit Tool-Unterstützung (App-Typ Agent).
- Standard-Embedding-Modell konfiguriert (Provider mit
modelType: embedding, Default). - Blob-/Objektspeicher für Dateiquellen.
- Für Hybrid RAG: konfiguriertes Reranking-Modell.
- Für SharePoint-Importe: Graph-App-Berechtigung und freigegebene Sites (Allowlist, CoCoAdmin).
- Optional OCR-Standardmodell für gescannte PDFs/Office-Dateien.
Organisatorisch
- Fachlicher Zweck, Zielgruppe und verantwortliche App-Admins festgelegt.
- Freigabe der Wissensquellen (Klassifizierung, Aktualität, Eigentümerschaft).
- Abnahme mit Testfragen vor produktiver Freigabe.
Abhängig
- Allgemeine Chat- und App-Infrastruktur; optional Live-SharePoint-Tools (suchen/lesen) – das ist nicht identisch mit dem indexierten RAG-Import.
Konfiguration des Features und seiner grundlegenden Einstellungen
App anlegen
- Bibliothek öffnen:
/dashboard/settings. - App hinzufügen (nur CoCoAdmin).
- App Name, Typ Agent, Modell wählen.
- Speichern und Einstellungen öffnen:
/dashboard/settings/[appid].
Tab Allgemein
| Einstellung | Bedeutung |
|---|---|
| App Name | Anzeigename in Bibliothek und Sidebar |
| Beschreibung | Nur beim leeren Chat sichtbar; kein Verhaltenseinfluss |
| Bibliotheks-Kategorien | Filter in der App-Bibliothek |
| Prompt | System-Prompt: Rolle, Tonalität, Sprache, Antwortformat, Grenzen, Umgang mit fehlender Evidenz |
| Model | LLM der App |
| Starter-Prompts | Vorschläge im leeren Chat |
| Quellen anzeigen | Quellenverweise und Badges im Chat |
| Aktionen anzeigen | Tool-Schritte sichtbar machen |
| Token-Verbrauch anzeigen | optional Kosten/Token pro Nachricht |
| Temperatur / Maximale Schritte / Reasoning | Antwortverhalten und Tool-Schleifen |
Sprache und Tonalität gibt es nicht als eigene Felder – sie gehören in den Prompt (z. B. „Antworte auf Deutsch, sachlich, kurz; zitiere Quellen; bei fehlender Evidenz klar sagen, dass keine passende Quelle gefunden wurde.“).
Tab Tools – Wissenssuche aktivieren
Ohne Wissens-Tool bleibt der Agent ohne Abruf aus dem Index.
| Tool-Typ (UI) | Typ | Hinweis |
|---|---|---|
| Dokumentensuche (Vektorbasiert) | rag | semantische Suche; minVectorSearchScore (Default oft 0,65), Top-N fest |
| Dokumentensuche (Volltext) | fullTextSearch | Textsuche in Chunks |
| Dokumentensuche (Hybrid RAG) | hybridRag | Vektor + BM25 + Reranking-Modell |
Jedes dieser Tools höchstens einmal pro App. Tool-Prompt und Score steuern Abrufqualität.
Tab Dateien & Jobs – Wissensquellen
Unter Dateien & Jobs:
- Dateiquellen – manuelle Quellen und Status (Wird hochgeladen / Wird verarbeitet… / Bereit / Fehlgeschlagen).
- Synchronisierungs-Jobs – wiederkehrender SharePoint-Ordnerimport.
- Erlaubte SharePoint Sites – Allowlist (CoCoAdmin).
Quelle hinzufügen öffnet den Dialog mit drei Wegen:
| Quelle | Verhalten |
|---|---|
| Dateien | Upload bis 60 MB; PDF, Office, TXT u. a.; Chunking (Token-Länge, typisch Default 3000); Embedding |
| URLs | Scraping zu Markdown; Sitemaps möglich; PDF-URLs nicht unterstützt |
| SharePoint | Dokumente/Ordner über Graph; Site muss erlaubt sein |
Status Bereit = indexiert und abrufbar. Fehlgeschlagen: Verarbeitung wiederholen. Qualität der Chunks: Embeds anzeigen.
Sinnvolle Defaults
| Einstellung | Empfehlung |
|---|---|
| Typ | Agent |
| Quellen anzeigen | an |
| Wissens-Tool | mindestens rag (oder Hybrid bei gemischten Anforderungen) |
| minVectorSearchScore | Start ~0,65; bei zu wenigen Treffern senken, bei Noise erhöhen |
| Prompt | Quellenpflicht + „keine passende Quelle“ bei leerem Abruf |
| Maximale Schritte | ausreichend für Suche + Antwort (oft ≥ 10) |
| App einschränken | an, mit klarer Nutzer-/Gruppenliste |
Rollen- und Berechtigungskonzept
| Rolle | Darf |
|---|---|
| CoCoAdmin | Apps anlegen/löschen, alle Einstellungen, SharePoint-Allowlist |
App-Admin (admins / Gruppenrolle Admin) | Prompt, Modell, Tools, Dateiquellen, Jobs, Berechtigungen, Statistik/Logs der eigenen App |
| App-User | Chat nutzen, Favoriten; keine Wissenspflege |
| Authentifizierte Nutzer | uneingeschränkte Apps (App einschränken aus) |
Es gibt kein separates Feld „App-Owner“ – Verantwortung liegt bei den eingetragenen App-Admins und der fachlichen Freigabe der Quellen.
Konfiguration von Verhaltensregeln, Vorgaben und Einschränkungen
Im System-Prompt festlegen:
- Fachrolle und Zielgruppe (z. B. HR-Richtlinien-Assistent).
- Sprache, Tonalität, Antwortformat (kurz/strukturiert/mit Aufzählungen).
- Pflicht: Antworten auf abgerufene Quellen stützen; Quellen nennen.
- Bei leerem Abruf: transparent „keine passende Quelle gefunden“ (oder gleichwertig) – die Plattform liefert bei fehlenden Treffern ein leeres Suchergebnis an das Modell; die Formulierung steuert der Prompt.
- Grenzen: keine Rechtsberatung, keine Spekulation über nicht freigegebene Inhalte, Verweis an Fachstellen.
Erzwungen durch Plattform: Tool-Schemas, Score-Schwellen, Dateigrößen, SharePoint-Allowlist. Empfohlen vs. erzwungen klar trennen.
Verwaltung und Pflege der verwendeten Daten-, Wissens- oder Kontextquellen
| Aufgabe | Vorgehen |
|---|---|
| Anlegen | Quelle hinzufügen (Datei / URL / SharePoint) |
| Aktualisieren | Datei erneut hochladen oder Ausgewählte aktualisieren; Jobs periodisch laufen lassen |
| Kategorien/Tags | beim Upload oder nachträglich; optional Filter im RAG-Tool |
| Prüfen | Status Bereit, Stichprobe Embeds anzeigen |
| Entfernen | Einzeln oder Mehrfachlöschung (Bestätigung) |
| SharePoint laufend | Synchronisierungs-Job mit Intervall und Ordner-URL |
Veraltete oder widersprüchliche Dokumente ersetzen oder entfernen – sonst riskiert der Agent konkurrierende Aussagen.
Definition der zulässigen Eingaben, Ausgaben und Verarbeitungsgrenzen
Eingaben (Index)
- Dateien bis 60 MB; unterstützte Office-/PDF-/Textformate (OCR wo nötig).
- URLs (kein PDF über URL); SharePoint-Links laut Allowlist.
- Chunk-Token-Länge konfigurierbar (typisch 500–10000, Default oft 3000).
Eingaben (Chat)
- Freitextfragen; optionale Session-Uploads (Kontext der Session, nicht automatisch der globale Wissensindex).
Ausgaben
- Chat-Antworten; bei aktivem Quellen anzeigen: Inline-Zitate und Quellen-Badges (Download/Link, ggf. Seite).
Grenzen
- Retrieval nur aus indexierten Embeds der App.
- Score-Schwelle kann leere Trefferlisten erzeugen.
- Kontextfenster und
maxStepsbegrenzen Tiefe der Recherche. - Hybrid-BM25 hängt vom Vector-Backend ab (z. B. Atlas); Reranking erfordert konfiguriertes Modell.
Konfiguration angebundener Systeme, Tools, Schnittstellen oder Integrationen
| System | Zweck |
|---|---|
| Embedding-Provider | Vektorisierung der Chunks |
| Blob-/S3-Storage | Speicherung der Quelldateien ({appId}/{datasourceId}) |
| SharePoint Graph | Import und Sync-Jobs |
| Optional Reranking-Modell | Hybrid RAG |
| Optional Embed-API | programmatisches Einspeisen (api-Datenquellen), wenn Integration aktiv |
| Live-SharePoint-Tools | Suche/Lesen zur Laufzeit – ergänzend, nicht Ersatz für den Index |
Secrets nur über Provider-/Systemkonfiguration – niemals im Prompt oder in der Doku.
Umgang mit vertraulichen, personenbezogenen oder besonders schützenswerten Daten
- Nur freigegebene Quellen indexieren; personenbezogene oder besonders schützenswerte Inhalte nur bei klarer Rechtsgrundlage und Zugriffsbeschränkung (
App einschränken). - Chunk-Text liegt im Embed-Store (kein Feld-AES wie bei Provider-Secrets); Zugriff über App-Berechtigungen steuern.
- Keine Klartext-Geheimnisse (Tokens, Passwörter) in Wissensquellen oder Prompts.
- Retention: entfernte Quellen und verwaiste Datasources laut Systemeinstellung bereinigen; Chat-Sessions unterliegen der Session-Bereinigung.
Monitoring von Verfügbarkeit, Qualität, Fehlerraten und technischen Auffälligkeiten
- Tab Logs und Server-Logs: Pipeline-/Embedding-/Tool-Fehler.
- Dateiquellen-Status Fehlgeschlagen und Retry.
- Typische Fehlerbilder: fehlendes Embedding-Modell, SharePoint-Site nicht erlaubt, OCR/Extraktion fehlgeschlagen, Score zu hoch → leere Treffer, veralteter Index.
- Qualität: Stichprobenfragen mit bekannten Antworten; Quellenklicks prüfen.
Monitoring von Nutzung, Ressourcenverbrauch, Token-Verbrauch und Kosten
- Tab Statistik: Nachrichten, Token, Kosten (soweit hinterlegt).
- Optional Token-Verbrauch anzeigen pro Assistenten-Nachricht.
- Embedding- und Chat-Kosten steigen mit Quellenvolumen und Nutzung; Chunk-Größe und Score beeinflussen Abrufmenge.
Test- und Abnahmeverfahren vor der produktiven Freigabe
Checkliste:
- Agent-Typ, Prompt (Quellenpflicht + fehlende Evidenz), Modell und Quellen anzeigen gesetzt.
- Mindestens ein Wissens-Tool konfiguriert; Score und ggf. Reranker geprüft.
- Repräsentative Quellen indexiert (Status Bereit); Embeds stichprobenartig geprüft.
- Berechtigungen: Zielgruppe erreicht, Unberechtigte ausgeschlossen.
- Funktionale Tests:
- exakte Fachbegriffe
- Synonyme / Umschreibungen
- Tippfehler
- Fragen zu langen Dokumenten
- widersprüchliche Quellen (erwartete Transparenz / Priorisierung laut Prompt)
- Frage ohne Treffer → klare „keine passende Quelle“-Antwort
- Quellenlinks/Downloads im Chat prüfen.
- Bei Problemen: App einschränken bzw. aus Favoriten nehmen, fehlerhafte Quellen entfernen, Prompt/Score anpassen; Rollback = Tool deaktivieren oder App löschen/archivieren nach interner Regelung.