Lokale KI in der Verwaltung: was ein Sprachmodell im eigenen Haus heute leistet
Im Hauptamt einer mittleren Stadt liegt ein Vermerk auf dem Tisch. Mehrere Beschäftigte nutzen für Protokolle und Antwortschreiben schon frei zugängliche KI-Dienste im Netz, ohne Regelung und mit echten Namen in den Eingaben. Die Datenschutzbeauftragte möchte das beenden, die Amtsleitung möchte den Nutzen behalten. Die Frage lautet deshalb, ob ein Sprachmodell, das im eigenen Haus läuft, diese Arbeit ebenso gut erledigt.
Künstliche Intelligenz (KI) heißt in diesem Ratgeber ein Sprachmodell. Das ist ein Programm, das Texte liest und schreibt, etwa Zusammenfassungen oder Entwürfe. Lokal betrieben heißt, das Modell läuft auf Ihrer eigenen Hardware in Ihrem eigenen Netz, ohne Verbindung zu Diensten im Netz. Ich beschreibe den Stand, den ich aus der Beobachtung des Marktes kenne. Er ändert sich schnell.
Dieser Ratgeber ist Teil 1 der Reihe „Lokale KI in der Verwaltung“. Teil 2 behandelt Hardware und Betrieb im eigenen Rechenzentrum, Teil 3 Datenschutz und Dienstvereinbarung, Teil 4 die herstellerneutrale Ausschreibung.
Womit sollten Sie anfangen?
Mit Aufgaben, bei denen ein Fehler wenig Schaden anrichtet. Das sind interne Arbeiten, bei denen ein Mensch das Ergebnis ohnehin liest, bevor es weitergeht. Ein falsch zusammengefasster Satz in einem internen Gesprächsvermerk fällt beim Lesen auf und ist schnell berichtigt. Ein falscher Satz in einem Bescheid an eine Bürgerin hat Folgen.
Ein guter erster Kandidat erfüllt vier Bedingungen:
- Die Aufgabe kommt oft vor und kostet heute spürbar Zeit.
- Das Ergebnis ist ein Entwurf oder eine Hilfe, keine Entscheidung.
- Eine fachkundige Person liest jedes Ergebnis, bevor es verwendet wird.
- Die Daten sind vertraulich genug, dass ein Dienst im Netz nicht in Frage kommt.
Die letzte Bedingung klingt widersprüchlich, ist aber der eigentliche Grund für den lokalen Betrieb. Für eine Aufgabe ohne vertrauliche Daten lohnt der Aufwand eines eigenen Servers selten.
Was gelingt heute brauchbar?
Abschrift von Gesprächen und Sprachaufnahmen
Eine Spracherkennung macht aus einer Aufnahme einen Text. Das gelingt bei klarer Aussprache und guter Aufnahme ordentlich. Schwächen zeigen sich bei Fachbegriffen, Eigennamen, Abkürzungen und Dialekt, bei mehreren Sprechern, die durcheinanderreden, und bei schlechter Leitung oder Hall im Raum. Die Abschrift ist deshalb Rohstoff, kein fertiges Protokoll.
Zusammenfassungen
Aus einer Abschrift, einem Protokoll oder einem langen Schriftstück entsteht eine kurze Fassung mit den wichtigsten Punkten. Das gelingt gut, wenn Sie vorgeben, wonach gefragt ist, etwa „Beschlüsse, Fristen, offene Punkte“. Ohne Vorgabe wählt das Modell selbst aus, und es wählt nicht immer das, was Sie brauchen.
Erste Entwürfe
Vermerke, Antwortschreiben, Einladungen, Protokolle nach Vorlage. Das Modell liefert in kurzer Zeit eine brauchbare erste Fassung, die eine Sachbearbeiterin anpasst. Am besten gelingt das, wenn Sie Ihre eigene Vorlage und ein gutes Beispiel mitgeben.
Suche in eigenen Unterlagen
Das Modell beantwortet Fragen aus Ihren eigenen Dienstanweisungen, Satzungen oder Handbüchern und nennt dabei die Stelle, aus der die Antwort stammt. Das trägt nur, wenn die Unterlagen gepflegt, aktuell und sauber aufbereitet sind. Eine veraltete Satzung im Bestand führt zu einer veralteten Antwort, die sehr sicher klingt.
Übersetzung von Alltagstexten
Einfache Schreiben und Hinweise lassen sich in andere Sprachen übertragen. Für rechtlich verbindliche Texte ersetzt das keine geprüfte Übersetzung.
Wo liegen die Grenzen?
- Kleinere Modelle. Modelle, die auf bezahlbarer Hardware laufen, sind kleiner als die großen Dienste im Netz. Bei langen, verschachtelten Aufgaben mit vielen Bedingungen merkt man das.
- Erfundene Angaben. Jedes Modell erfindet gelegentlich Angaben, die überzeugend klingen: eine Frist, die es nicht gibt, ein Paragraf, der anders lautet, ein Name, der nie gefallen ist. Das lässt sich verringern, aber nicht abstellen.
- Wissensstand. Das Wissen eines Modells endet mit seinem Trainingsstand. Aktuelle Rechtslage und Ihre Hausregeln kennt es nur, wenn Sie ihm Ihre Unterlagen geben.
- Rechnen und Zählen. Sprachmodelle schreiben, sie rechnen nicht zuverlässig. Summen, Fristberechnungen und Zählungen gehören in ein Fachverfahren oder eine Tabelle.
- Antwortzeiten. Viele gleichzeitige Nutzer brauchen viel Rechenleistung. Wie schnell die Antworten kommen, hängt an der Hardware. Mehr dazu in Teil 2 der Reihe.
- Entscheidungen. Ausschließlich automatisierte Entscheidungen über Bürgerinnen und Bürger sind nach Art. 22 der Datenschutz-Grundverordnung (DSGVO), dem Datenschutzgesetz der Europäischen Union (EU), eng begrenzt. Das System bereitet vor, ein Mensch entscheidet.
Warum Testfälle mehr sagen als Datenblätter
Ein Datenblatt nennt die Größe eines Modells, die Zahl der Sprachen und Ergebnisse aus allgemeinen Leistungsvergleichen. Ob das Modell Ihre Gesprächsvermerke ordentlich zusammenfasst, steht dort nicht. Das zeigt nur ein Test mit Ihren eigenen Fällen.
Ein Testfall besteht aus drei Teilen:
- einer echten Aufgabe aus Ihrem Haus, etwa der Abschrift einer Besprechung oder einer Bürgeranfrage mit Antwort, bei Bedarf unkenntlich gemacht
- der Anweisung an das Modell, so wie sie später im Alltag lauten soll
- einer Beschreibung, was ein gutes Ergebnis enthalten muss und was nicht darin stehen darf
Nehmen Sie je Aufgabe mehrere Fälle, darunter ausdrücklich schwierige: eine schlechte Aufnahme, ein Gespräch mit vielen Fachbegriffen, eine Anfrage, die zwei Themen vermischt. Leichte Fälle bestehen fast alle Modelle. Die Unterschiede zeigen sich an den schwierigen.
Bewerten Sie die Ergebnisse nach festen Stufen, die Sie vorher aufschreiben, etwa „vollständig und richtig“, „kleine Fehler, schnell berichtigt“, „unbrauchbar“. Lassen Sie die Bewertung von den Beschäftigten vornehmen, die später mit dem System arbeiten. Sie erkennen Fehler, die ein Außenstehender übersieht.
Die Testfälle sind keine Einmalübung. Mit denselben Fällen bemessen Sie die Hardware, prüfen Sie jeden Modellwechsel, werten Sie in der Ausschreibung und nehmen Sie das System ab. Wer sie einmal sorgfältig anlegt, hat für die ganze Laufzeit einen Maßstab.
Der Mensch prüft und verantwortet
Ein Ergebnis des Sprachmodells bleibt ein Entwurf. Unterschrift, Freigabe und Verantwortung bleiben bei der Person, die den Text verwendet. Das ist keine Formalie. Sie bestimmt, wie Sie die Arbeit organisieren:
- Planen Sie die Prüfung als Arbeitsschritt ein und rechnen Sie ihre Zeit mit. Der Gewinn liegt darin, dass Prüfen schneller geht als Schreiben, nicht darin, dass niemand mehr liest.
- Kennzeichnen Sie intern, welche Texte mit dem Modell entstanden sind. Dann weiß die nächste Leserin, worauf sie achten muss.
- Schulen Sie die Beschäftigten, typische Fehler zu erkennen. Die KI-Verordnung der EU verlangt ohnehin, dass Sie Maßnahmen treffen, die die KI-Kompetenz Ihrer Beschäftigten fördern (Art. 4). Mehr dazu in Teil 3 der Reihe.
Die größte Gefahr im Alltag ist Gewöhnung. Wenn ein System hundertmal gute Zusammenfassungen liefert, liest beim hundertersten Mal niemand mehr genau hin. Genau dann steht die erfundene Frist im Vermerk.
Wie gehen Sie vor?
- Bestand aufnehmen. Fragen Sie offen, welche KI-Dienste Ihre Beschäftigten heute schon nutzen und wofür. Ohne diese Antwort planen Sie am Bedarf vorbei.
- Eine Aufgabe wählen. Nehmen Sie eine interne Aufgabe mit geringem Risiko, die oft vorkommt und bei der ein Mensch ohnehin jedes Ergebnis liest.
- Testfälle anlegen. Mehrere echte Fälle je Aufgabe, darunter schwierige, mit einer vorher festgelegten Beschreibung eines guten Ergebnisses.
- Erproben. Lassen Sie das Vorhaben auf einem Testsystem mit Ihren Fällen laufen, bevor Sie Hardware kaufen. Die Bewertung nehmen die künftigen Nutzer vor.
- Rahmen klären. Datenschutz, Personalrat und KI-Verordnung gehören vor den Echtbetrieb, nicht danach. Teil 3 der Reihe beschreibt das.
- Klein beginnen. Starten Sie mit einer Arbeitsgruppe, sammeln Sie Erfahrungen und erweitern Sie dann. Die Prüffragen dazu stehen in der Arbeitshilfe Lokale KI in der Verwaltung: Prüffragen vor dem Einsatz.
Einen Überblick über Datenschutz, KI-Verordnung und Beschaffung für alle Formen von KI gibt der Ratgeber KI in der Verwaltung. Wie ich Sie bei einem lokalen KI-Vorhaben begleite, steht auf der Seite KI-Beratung.
Unterstützung bei Ihrem Vorhaben
Ich berate Verwaltungen zum souveränen Arbeitsplatz und zu KI-Systemen, bei denen Ihre Daten unter Ihrer Kontrolle bleiben, ob im eigenen Haus, bei Ihrem kommunalen IT-Dienstleister oder bei einem geprüften europäischen Anbieter. Ich verkaufe keine Technik und vertrete allein Ihre Interessen als Auftraggeber. Sie können mich auch für einzelne Leistungsphasen beauftragen.
Fachplanung ist eine freiberufliche Leistung. Unterhalb der EU-Schwellenwerte gilt dafür je nach Land § 50 UVgO oder eigenes Landesrecht; Kommunen in Nordrhein-Westfalen vergeben seit 2026 nach § 75a GO NRW und gegebenenfalls nach ihrer eigenen Vergabesatzung. Ob eine Direktvergabe möglich ist, hängt davon ab, was in Ihrem Land und Ihrer Kommune gilt; ich nenne Ihnen gern den üblichen Weg.
Zum Weiterlesen
- Leistung
- Leistung
- ArbeitshilfeDigitale Souveränität: Abhängigkeiten erkennen
Leitfaden für Kommunen und Behörden: Wo Ihr Haus von einzelnen IT-Anbietern abhängt, woran Sie einen unabhängigen Arbeitsplatz erkennen und wie Sie den Ausstieg von Anfang an regeln.
- ArbeitshilfeLokale KI in der Verwaltung: Prüffragen vor dem Einsatz
Was Sie klären sollten, bevor Sie ein Sprachmodell im eigenen Haus betreiben. Mit Prüffragen zu Aufgabe und Testfällen, Hardware und Betrieb, Datenschutz, Personalrat, KI-Verordnung und Ausschreibung.
- Ratgeber
- Ratgeber
- Ratgeber
Thomas Svilar, Fachplaner für Informations- und Telekommunikationstechnik
Telefon +49 2355 5091551
Über mich
Stand: November 2026. Gesetze, Normen und Wertgrenzen ändern sich. Prüfen Sie vor Verfahrensbeginn die jeweils geltende Fassung und die Vorgaben Ihres Landes.