Lokale KI in der Verwaltung: Hardware und Betrieb im eigenen Rechenzentrum
Eine Kreisverwaltung hat ihren ersten Versuch mit einem Sprachmodell hinter sich. Auf einem Arbeitsplatzrechner der Abteilung für Informationstechnik (IT) hat das Modell Sitzungsprotokolle zusammengefasst, und die Ergebnisse waren brauchbar. Jetzt sollen dreißig Beschäftigte aus drei Ämtern damit arbeiten. Die IT-Leitung fragt, welcher Server dafür nötig ist, ob der Serverraum ihn verkraftet und wer ihn nachts betreut. Ein Angebot über einen großen Server liegt schon vor, mit einer langen Liste technischer Werte und ohne einen Satz dazu, was er für die Protokolle des Hauses leistet.
Mit Künstlicher Intelligenz (KI) ist hier ein Sprachmodell gemeint, also ein Programm, das Texte liest und schreibt. Zahlen zu Speicher, Rechenleistung oder Stromverbrauch nenne ich bewusst nicht. Sie hängen an Ihrer Aufgabe, und eine Zahl ohne Ihre Testfälle wäre geraten.
Dieser Ratgeber ist Teil 2 der Reihe „Lokale KI in der Verwaltung“. Teil 1 beschreibt, was ein lokal betriebenes Sprachmodell heute leistet, Teil 3 Datenschutz und Dienstvereinbarung, Teil 4 die herstellerneutrale Ausschreibung.
Wonach bemessen Sie die Hardware?
Nach drei Größen aus Ihrem Alltag, nicht nach dem Datenblatt.
Die Aufgabe. Eine Abschrift braucht eine Spracherkennung, die mit wenig Rechenleistung auskommt. Eine Zusammenfassung oder ein Entwurf braucht ein Sprachmodell, und dessen Bedarf wächst mit seiner Größe. Größere Modelle liefern bei schwierigen Aufgaben meist bessere Ergebnisse, brauchen aber mehr Speicher und antworten langsamer. Welche Größe für Ihre Aufgabe reicht, zeigt nur der Test.
Die Textlänge. Ein Modell hält den Text, an dem es gerade arbeitet, vollständig im schnellen Speicher. Eine zweistündige Besprechung als Abschrift braucht dort ein Vielfaches dessen, was eine kurze Bürgeranfrage braucht. Wer lange Schriftstücke am Stück zusammenfassen will, muss das bei der Bemessung angeben.
Die Zahl der gleichzeitigen Nutzer. Gemeint sind nicht alle, die das System nutzen dürfen, sondern alle, die im selben Augenblick eine Anfrage stellen. Jede gleichzeitige Anfrage belegt eigenen Speicher und teilt sich die Rechenleistung. Schätzen Sie die Zahl aus dem Alltag, etwa aus der Zahl der Protokolle, die an einem typischen Tag entstehen, und aus den Zeiten, zu denen sie entstehen.
Dazu kommt die Antwortzeit, die Sie für zumutbar halten. Eine Zusammenfassung, die über Nacht entsteht, darf lange dauern. Eine Antwort, auf die eine Sachbearbeiterin am Bildschirm wartet, nicht.
Wie wird aus Testfällen eine Bemessung?
Mit einer Messung auf einem Testsystem. Die Testfälle aus Teil 1 der Reihe sind dafür die Grundlage.
- Lassen Sie Ihre Testfälle auf einem Testsystem mit einem oder mehreren Modellen laufen und bewerten Sie die Ergebnisse. So erfahren Sie, welche Modellgröße für Ihre Aufgabe reicht.
- Messen Sie für diese Modellgröße die Antwortzeit bei einem Nutzer und bei der Zahl gleichzeitiger Nutzer, die Sie erwarten. Nehmen Sie dafür Ihren längsten typischen Text.
- Halten Sie fest, wie viel Speicher dabei belegt war und wie viel Strom das Testsystem unter Last gezogen hat.
- Rechnen Sie Reserve für Wachstum und für das nächste, vielleicht größere Modell hinzu.
Aus diesen Messwerten lässt sich die Hardware bemessen, und ein Anbieter kann zeigen, dass sein Angebot sie erreicht. Den Testbetrieb stellt Ihre IT oder ein Anbieter, die Planung und Auswertung kann eine unabhängige Fachplanung übernehmen.
Ein Hinweis zu verkleinerten Fassungen: Viele Modelle gibt es in Fassungen, die mit geringerer Rechengenauigkeit arbeiten. Sie brauchen weniger Speicher und laufen auf kleinerer Hardware, verlieren aber etwas an Güte. Ob der Verlust für Ihre Aufgabe zählt, zeigt wieder nur der Testfall.
Was müssen Serverraum, Strom und Kühlung tragen?
Ein KI-Server zieht unter Last deutlich mehr Strom als ein gewöhnlicher Server. Fast die gesamte aufgenommene Leistung wird zu Wärme, die der Raum abführen muss. Prüfen Sie deshalb früh:
- Stromanschluss. Reichen die Stromkreise und Absicherungen im Serverraum für die zusätzliche Last?
- Kühlung. Kann die Klimatisierung die zusätzliche Wärme abführen, auch im Sommer und auch dann, wenn ein Kühlgerät ausfällt?
- Unterbrechungsfreie Stromversorgung (USV). Die USV ist ein Batteriespeicher, der den Betrieb bei Stromausfall eine Zeit lang hält. Reicht ihre Leistung für den neuen Server, und wie lange hält sie mit ihm durch?
- Platz und Gewicht. Leistungsstarke Server sind oft tiefer und schwerer als übliche Geräte.
- Geräusch. Steht der Rechner für eine kleine Arbeitsgruppe in einem Büro statt im Serverraum, wird das Lüftergeräusch zum Thema.
Die Leistungsaufnahme unter Last für Ihren Testfall und die Wärmeabgabe gehören deshalb als Angabe in jedes Angebot. Für eine kleine Arbeitsgruppe reicht oft ein einzelner leistungsstarker Rechner, für ein ganzes Haus braucht es einen Server mit entsprechender Kühlung.
Wer betreibt das System?
Ein lokales Sprachmodell ist ein Server wie jeder andere, mit allen Pflichten, die dazugehören. Jemand muss Sicherheitsaktualisierungen für Betriebssystem und Software einspielen, Zugänge verwalten, Einstellungen und Wissensbestände sichern, Störungen beheben und die Auslastung beobachten.
Klären Sie vor dem Kauf, ob das Ihre IT übernimmt, Ihr kommunaler IT-Dienstleister oder eine beauftragte Firma. Klären Sie auch, wer bei Urlaub, Krankheit oder Ausscheiden vertritt. In vielen kleinen Häusern kennt sich genau eine Person mit dem System aus. Fällt sie aus, steht das System still. Eine Betriebsdokumentation, nach der ein Dritter arbeiten kann, ist deshalb Pflicht und kein Zusatz.
Legen Sie außerdem fest, was im Störfall geschieht. Wer an einem Arbeitsplatz ohne das Sprachmodell nicht mehr weiterarbeiten kann, braucht einen Weg ohne KI. Das ist meist der Weg von vorher.
Wie wechseln Sie ein Modell?
Neue Modelle erscheinen in kurzen Abständen. Ein neues Modell ist nicht automatisch besser für Ihre Aufgabe. Es kann bei Ihren Protokollen besser sein und bei Ihren Antwortschreiben schlechter.
Gehen Sie bei jedem Wechsel gleich vor:
- Das neue Modell läuft zunächst neben dem alten, nicht an seiner Stelle.
- Es bearbeitet alle Testfälle, die Sie für Ihre Aufgaben angelegt haben.
- Dieselben Personen wie beim ersten Test bewerten die Ergebnisse nach denselben Stufen.
- Nur wenn es mindestens gleich gut abschneidet und in die Hardware passt, geht es in den Betrieb. Das alte Modell bleibt eine Zeit lang abrufbar.
Damit das ohne Umbau möglich ist, muss das Modell austauschbar eingebaut sein. Es sitzt hinter einer Schnittstelle, also einer festgelegten Verbindung zwischen Modell und den Anwendungen, die es nutzen. Welches Modell dort arbeitet, ist dann eine Einstellung und keine feste Bindung.
Was ist bei Lizenzen zu beachten?
Viele Sprachmodelle lassen sich frei herunterladen. Frei herunterladbar heißt nicht in jedem Fall frei nutzbar. Manche Lizenzen begrenzen den Einsatz in Organisationen, schließen bestimmte Zwecke aus, verlangen Hinweise auf den Hersteller oder behalten sich Änderungen vor. Prüfen Sie die Lizenz jedes Modells vor dem Einsatz und bei jedem Wechsel, und legen Sie das Ergebnis zur Betriebsdokumentation.
Dasselbe gilt für die übrige Software: Programme zum Betrieb des Modells, Bedienoberflächen, Spracherkennung. Eine Software-Stückliste, also ein Verzeichnis aller eingesetzten Programme mit Version und Lizenz, macht diese Prüfung bei jedem Wechsel einfach.
Kauf, Miete oder gemeinsamer Betrieb?
| Weg | Wo das Modell läuft | Was Sie beachten sollten |
|---|---|---|
| Kauf | im eigenen Serverraum, auf eigener Hardware | volle Kontrolle; Betrieb, Ersatzteile und Ablösung liegen bei Ihnen |
| Miete | im eigenen Serverraum, auf gemieteter Hardware | Laufzeit, Austausch defekter Geräte und Rückgabe der Datenträger regeln |
| Gemeinsamer Betrieb | im Rechenzentrum eines kommunalen IT-Dienstleisters | Ihre Eingaben verlassen das Haus, bleiben aber bei einer öffentlichen Stelle; Vertrag zur Auftragsverarbeitung nach Art. 28 der Datenschutz-Grundverordnung (DSGVO) nötig |
Der gemeinsame Betrieb ist für kleinere Kommunen oft der vernünftigste Weg. Ein Server, den mehrere Häuser teilen, ist besser ausgelastet, und der Dienstleister hat das Personal für Betrieb und Vertretung. Streng genommen ist das kein Betrieb im eigenen Haus mehr. Die DSGVO, das Datenschutzgesetz der Europäischen Union, verlangt dann einen Vertrag zur Auftragsverarbeitung, und Sie sollten vertraglich festhalten, dass das Modell ohne Verbindung zu Diensten im Netz läuft. Ob Sie den Dienstleister ohne Ausschreibung beauftragen dürfen, hängt von Ihrer Beziehung zu ihm und vom Vergaberecht ab. Lassen Sie das von Ihrer Vergabestelle prüfen.
Bei jedem Weg gilt: Rechnen Sie über die ganze Laufzeit, mit Strom, Betrieb, Pflege und Ablösung, nicht nur mit dem Kaufpreis.
Wie gehen Sie vor?
- Aufgaben und Mengen beschreiben. Welche Aufgaben, wie lange Texte, wie viele gleichzeitige Nutzer, welche Antwortzeit ist zumutbar?
- Testfälle anlegen. Echte Fälle aus Ihrem Haus, darunter schwierige, mit festen Bewertungsstufen (siehe Teil 1).
- Auf einem Testsystem messen. Güte, Antwortzeit, belegten Speicher und Stromverbrauch unter Last festhalten.
- Serverraum prüfen. Strom, Kühlung, USV, Platz, bevor ein Angebot eingeholt wird.
- Betrieb klären. Wer betreibt, wer vertritt, was geschieht im Störfall?
- Betriebsweg wählen. Kauf, Miete oder gemeinsamer Betrieb, über die ganze Laufzeit gerechnet.
- Wechsel und Lizenzen regeln. Austauschbare Modelle, Prüfung mit Testfällen, Software-Stückliste.
Die Prüffragen dazu stehen in der Arbeitshilfe Lokale KI in der Verwaltung: Prüffragen vor dem Einsatz. Wie diese Anforderungen in eine Ausschreibung kommen, beschreibt Teil 4 der Reihe. Wie ich Sie dabei begleite, steht auf der Seite KI-Beratung.
Unterstützung bei Ihrem Vorhaben
Ich berate Verwaltungen zum souveränen Arbeitsplatz und zu KI-Systemen, bei denen Ihre Daten unter Ihrer Kontrolle bleiben, ob im eigenen Haus, bei Ihrem kommunalen IT-Dienstleister oder bei einem geprüften europäischen Anbieter. Ich verkaufe keine Technik und vertrete allein Ihre Interessen als Auftraggeber. Sie können mich auch für einzelne Leistungsphasen beauftragen.
Fachplanung ist eine freiberufliche Leistung. Unterhalb der EU-Schwellenwerte gilt dafür je nach Land § 50 UVgO oder eigenes Landesrecht; Kommunen in Nordrhein-Westfalen vergeben seit 2026 nach § 75a GO NRW und gegebenenfalls nach ihrer eigenen Vergabesatzung. Ob eine Direktvergabe möglich ist, hängt davon ab, was in Ihrem Land und Ihrer Kommune gilt; ich nenne Ihnen gern den üblichen Weg.
Zum Weiterlesen
- Leistung
- Leistung
- ArbeitshilfeDigitale Souveränität: Abhängigkeiten erkennen
Leitfaden für Kommunen und Behörden: Wo Ihr Haus von einzelnen IT-Anbietern abhängt, woran Sie einen unabhängigen Arbeitsplatz erkennen und wie Sie den Ausstieg von Anfang an regeln.
- ArbeitshilfeLokale KI in der Verwaltung: Prüffragen vor dem Einsatz
Was Sie klären sollten, bevor Sie ein Sprachmodell im eigenen Haus betreiben. Mit Prüffragen zu Aufgabe und Testfällen, Hardware und Betrieb, Datenschutz, Personalrat, KI-Verordnung und Ausschreibung.
- Ratgeber
- Ratgeber
- Ratgeber
Thomas Svilar, Fachplaner für Informations- und Telekommunikationstechnik
Telefon +49 2355 5091551
Über mich
Stand: November 2026. Gesetze, Normen und Wertgrenzen ändern sich. Prüfen Sie vor Verfahrensbeginn die jeweils geltende Fassung und die Vorgaben Ihres Landes.