On-Premise-KI im abgeschotteten Netz
Deutsche Telekom AG – Telekom Security – Berlin. Informationsverbund nach VS-NfD.
Problem: KI-Werkzeuge und Modelle werden gebraucht, dürfen den abgeschotteten Bereich aber nicht verlassen.
Vorgehen: Hardware für KI-Workloads geplant (HP ProLiant Gen10), On-Premise-LLM-Server im VS-NfD-konformen Betrieb aufgebaut, Evaluierung und Einführungsstrategie für KI-Werkzeuge unter BSI- und Datenschutzanforderungen, Prompt Engineering und Python-basierte Werkzeugintegration.
Ergebnis: Modellbetrieb im eigenen Netz ohne Cloud-Abhängigkeit, dokumentierte Einführungsstrategie, Python-basierte Werkzeugintegration im Betrieb. Zusätzlich ELK-Stack-SIEM mit KI-gestützter Anomalieerkennung und automatischer Ticket-Erstellung in Jira.