KI & Agenten
Eine Agenten-Plattform, auf der Teams selbst bauen – sicher und nachvollziehbar.
Statt jedes Agenten-Projekt neu aufzusetzen, bauen wir eine gemeinsame Plattform: Modelle, Werkzeuge, Datenzugriff und Freigaben als Self-Service – mit Tracing, Evaluierung und Monitoring für jede Anfrage.
Typische Ausgangslagen
- Mehrere Teams experimentieren mit Agenten – jedes mit eigenen Modellen, Schlüsseln und Werkzeugen.
- Niemand sieht, was ein Agent im Detail getan hat, welche Daten er genutzt hat und was es gekostet hat.
- Die IT soll GenAI ermöglichen, aber Datenschutz, Rechte und Budget im Griff behalten.
- Gute Prototypen kommen nicht in den Betrieb, weil Evaluierung und Monitoring fehlen.
- Kosten für Modelle und Tokens lassen sich keinem Team oder Use Case zuordnen.
- Jeder neue Use Case beginnt bei null: Datenzugriff, Sicherheit und Deployment werden immer wieder neu gebaut.
- Fachbereiche möchten selbst Agenten bauen, haben aber keinen sicheren Rahmen dafür.
- Modelle, Prompts und Agenten-Versionen werden nicht verwaltet – Änderungen sind nicht nachvollziehbar.
Was wir liefern
- Plattform-Architektur für Agenten und GenAI – z. B. auf Databricks (Mosaic AI, Agent Bricks) oder Microsoft Foundry
- Self-Service für Fachbereiche: Vorlagen, freigegebene Modelle, Werkzeuge und Datenquellen per Katalog
- AI Gateway: zentraler Modellzugang mit Rechten, Rate Limits, Guardrails und Kostenzuordnung
- GenAI-Tracing für jede Anfrage – Prompts, Werkzeugaufrufe, Antworten, Latenz und Kosten (z. B. MLflow Tracing)
- Evaluierung mit Testsets und LLM-Judges, Monitoring in Produktion und Feedback der Nutzer
- Bereitstellung per Code und CI/CD über DEV, UAT und PROD
- Katalog wiederverwendbarer Werkzeuge und MCP-Server für SAP, Datenbanken und Microsoft 365
- Betriebsmodell: Rollen, Freigabeprozess für neue Agenten, Schulung der Fachbereiche
Technologien
- Databricks Mosaic AI
- Agent Bricks
- MLflow 3 Tracing & Evaluation
- Mosaic AI Gateway
- Unity Catalog
- Microsoft Foundry
- Azure API Management
- Model Context Protocol (MCP)
- Terraform
Ergebnis
Eine Plattform, auf der Teams neue Agenten in Tagen statt Monaten bereitstellen – mit voller Nachvollziehbarkeit.