Lokale KI in der Verwaltung: eine KI-Umgebung herstellerneutral ausschreiben
Eine Gemeindeverwaltung möchte einen Server für Künstliche Intelligenz (KI) beschaffen, auf dem ein Sprachmodell im eigenen Haus läuft. Der erste Entwurf der Leistungsbeschreibung ist schnell geschrieben: ein bestimmtes Modell, eine bestimmte Rechenkarte, eine bestimmte Menge Speicher. So stand es in einem Erfahrungsbericht einer Nachbarkommune. Die Vergabestelle hat Bedenken, und sie hat recht. Ein solcher Entwurf schließt Anbieter ohne sachlichen Grund aus, er ist in einem Jahr veraltet, und er sagt nichts darüber, ob das System die Protokolle des Hauses gut zusammenfasst.
Dieser Ratgeber ist Teil 4 der Reihe „Lokale KI in der Verwaltung“. Teil 1 beschreibt, was ein lokal betriebenes Sprachmodell heute leistet, Teil 2 Hardware und Betrieb im eigenen Rechenzentrum, Teil 3 Datenschutz und Dienstvereinbarung.
Welches Vergaberecht gilt?
Das hängt vom geschätzten Auftragswert und von Ihrem Land ab.
- Oberhalb des EU-Schwellenwerts gelten das Gesetz gegen Wettbewerbsbeschränkungen (GWB) und die Vergabeverordnung (VgV). Der Schwellenwert ist der Auftragswert, ab dem europaweit ausgeschrieben werden muss.
- Unterhalb des Schwellenwerts gilt je nach Land die Unterschwellenvergabeordnung (UVgO) oder eigenes Landesrecht. Landesbehörden in Nordrhein-Westfalen (NRW) wenden über die Landeshaushaltsordnung weiter die UVgO an.
- Kommunen in NRW vergeben seit dem 1. Januar 2026 nach § 75a der Gemeindeordnung NRW (GO NRW). Die UVgO ist für sie nicht mehr verpflichtend, landesrechtliche Wertgrenzen gibt es nicht mehr. Die Gemeinde vergibt wirtschaftlich, effizient und sparsam unter Beachtung von Gleichbehandlung und Transparenz. Einschränkungen darf nur der Rat per Satzung beschließen. Einzelheiten stehen im Ratgeber § 75a GO NRW.
Die folgenden Schritte sind auch dort sinnvoll, wo das Recht sie nicht verlangt. Sie machen ein Verfahren vergleichbar und schützen Sie vor einem Kauf, der Ihre Aufgabe nicht erfüllt.
Was klärt die Markterkundung?
Vor dem Verfahren klärt eine Markterkundung, wer anbieten kann und welche Betriebsmodelle es gibt. § 28 VgV erlaubt sie vor Einleitung des Verfahrens, verbietet aber, ein Vergabeverfahren nur zur Preisermittlung durchzuführen. Für lokale KI lohnt es, diese Punkte zu erfragen:
- Welche Betriebswege bieten Unternehmen an: Lieferung, Lieferung mit Einrichtung, Betrieb durch den Anbieter im eigenen Haus des Auftraggebers?
- Wie weisen sie nach, dass ein System ohne Verbindung nach außen arbeitet?
- Wie kommen Sicherheitsaktualisierungen und neue Modelle auf ein System ohne Netzverbindung?
- Bieten sie einen Testbetrieb mit Testfällen des Auftraggebers an, und zu welchen Bedingungen?
- Welche Angaben zu Leistungsaufnahme und Wärmeabgabe unter Last können sie machen?
Wie Sie eine Markterkundung sauber aufbauen und dokumentieren, steht im Ratgeber Markterkundung nach § 28 VgV.
In welche Lose teilen Sie auf?
Oberhalb des Schwellenwerts verlangt § 97a GWB seit dem 1. Juli 2026, Leistungen in Lose aufzuteilen. Zusammenfassen dürfen Sie sie nur aus wirtschaftlichen oder technischen Gründen, die Sie dokumentieren. Für eine lokale KI-Umgebung bieten sich drei Lose an:
| Los | Inhalt | Worauf es ankommt |
|---|---|---|
| Hardware | Server, Speicher, Rechenleistung, Lieferung, Gewährleistung | erreicht die geforderte Leistung am Testfall, Angaben zu Strom und Wärme |
| Einrichtung | Betriebssoftware, Modell, Bedienoberfläche, Schnittstellen, Anbindung an Fachverfahren | austauschbares Modell, offene Schnittstellen, Dokumentation |
| Betrieb | Aktualisierung, Störungsbehebung, Modellwechsel, Unterstützung | Reaktionszeiten, Vertretung, Arbeit ohne Fernzugriff |
Die Aufteilung hat einen Preis: Wenn ein Fehler auftritt, kann jeder auf den anderen zeigen. Legen Sie deshalb fest, wer die Schnittstellen zwischen den Losen verantwortet, und nehmen Sie das Gesamtsystem am Ende gemeinsam ab. Auch unterhalb der Schwellenwerte ist die Aufteilung meist sinnvoll, weil sie mehr Anbietern die Teilnahme erlaubt.
Wie beschreiben Sie die Leistung?
Nach Aufgabe und Testfall, ohne Produkt und ohne Modell. Oberhalb des Schwellenwerts verbietet § 31 Abs. 6 VgV den Verweis auf ein bestimmtes Produkt, eine Marke oder einen Hersteller, wenn der Auftragsgegenstand das nicht rechtfertigt. Unterhalb gilt dasselbe nach § 23 UVgO, wo das Land die UVgO anwendet. Kommunen in NRW dürfen mit sachlichem Grund ein Produkt vorgeben. Ich empfehle auch ihnen die produktneutrale Beschreibung, weil sie den Wettbewerb öffnet und die Wertung leichter macht.
In die Leistungsbeschreibung gehören:
- Aufgaben, Datenmengen, Textlängen, Zahl der gleichzeitigen Nutzer und geforderte Antwortzeiten
- die Testfälle, an denen die Leistung gemessen wird, mit der Beschreibung eines guten Ergebnisses
- Betrieb ohne Verbindung nach außen, ohne Übermittlung von Eingaben, Protokollen oder Nutzungsdaten an Hersteller oder Dritte, mit Nachweis
- Austausch der Modelle ohne Neubeschaffung der Hardware
- offene, dokumentierte Schnittstellen zu Fachverfahren und eigenen Anwendungen
- eine Protokollierung, die nachvollziehbar macht, was das System geliefert hat, abgestimmt mit Datenschutz und Personalrat
- Barrierefreiheit der Bedienoberfläche nach der Europäischen Norm EN 301 549
- Leistungsaufnahme und Wärmeabgabe unter Last als Angabe im Angebot
- Betriebsdokumentation und Software-Stückliste, also ein Verzeichnis aller eingesetzten Programme mit Version und Lizenz
- Ausstiegsregeln mit Fristen, Formaten, Mitwirkung und Kosten
Wie Sie die Mengen und Testfälle ermitteln, beschreiben Teil 1 und Teil 2 der Reihe.
Wie werten Sie die Güte der Antworten?
Die Güte der Antworten lässt sich in allgemeiner Form nicht werten. Ich werte sie deshalb an einem vorgegebenen Testfall mit festen Bewertungsstufen, der für alle Bieter gleich ist.
Der Zuschlag geht nach § 127 GWB auf das wirtschaftlichste Angebot, und die Kriterien und ihre Gewichtung müssen vorher bekannt sein. Seit dem 1. Juli 2026 nennt § 58 Abs. 2 VgV ausdrücklich auch Aspekte der digitalen Souveränität als mögliches Zuschlagskriterium. Für den Testfall heißt das:
- Testfall festlegen. Einige echte, unkenntlich gemachte Aufgaben aus Ihrem Haus, darunter schwierige. Alle Bieter bearbeiten dieselben.
- Stufen vorher bekannt machen. Jede Aufgabe wird nach denselben Stufen bewertet, die in den Vergabeunterlagen stehen.
- Unter gleichen Bedingungen prüfen. Die Bieter lassen den Testfall auf der angebotenen Ausstattung laufen, vor Ort oder unter Aufsicht, mit derselben Anweisung und ohne Nachbessern.
- Gremium bewerten lassen. Zwei oder drei Personen aus dem Fachbereich bewerten unabhängig voneinander, und das Ergebnis wird begründet und dokumentiert.
Ein Beispiel für feste Stufen:
| Stufe | Bedeutung | Punkte |
|---|---|---|
| 3 | vollständig und richtig, ohne Nacharbeit verwendbar | 3 |
| 2 | kleine Fehler oder Lücken, in kurzer Zeit berichtigt | 2 |
| 1 | wesentliche Fehler, nur mit erheblicher Nacharbeit verwendbar | 1 |
| 0 | unbrauchbar oder mit erfundenen Angaben | 0 |
Daneben zählen Kriterien, die sich belegen lassen: Antwortzeit am Testfall, Leistungsaufnahme unter Last, Reaktionszeiten im Betrieb. Hardware, Einrichtung und Betrieb stehen getrennt im Preisblatt, damit Sie die Kosten über die ganze Laufzeit sehen. Derselbe Testfall dient später als Maßstab für die Abnahme.
Wie weist ein Bieter nach, dass nichts das Haus verlässt?
Eine Erklärung im Angebot reicht nicht. Verlangen Sie einen Nachweis, den Sie bei der Abnahme prüfen können:
- Das System erfüllt den Testfall bei gesperrtem Zugang zum Netz außerhalb Ihres Hauses vollständig.
- Während des Testfalls wird der Datenverkehr des Systems mitgeschnitten, und es gibt keinen Verbindungsaufbau nach außen.
- Fernwartung gibt es nur auf Ihre Freigabe im Einzelfall, protokolliert und zeitlich begrenzt.
- Aktualisierungen und neue Modelle werden geprüft und ohne dauernde Netzverbindung eingespielt.
- Der Anbieter legt offen, welche Bestandteile von sich aus Kontakt nach außen suchen würden, etwa zur Prüfung auf Aktualisierungen, und wie das abgeschaltet ist.
Wie bleiben Modelle austauschbar?
Das Modell sitzt hinter einer Schnittstelle, also einer festgelegten Verbindung zwischen Modell und den Anwendungen, die es nutzen. Fordern Sie, dass diese Schnittstelle offen und dokumentiert ist und dass Sie ein anderes Modell einsetzen können, ohne Hardware oder Anwendungen neu zu beschaffen. Lassen Sie sich im Angebot zeigen, wie ein Modellwechsel abläuft und welche Mitwirkung des Auftragnehmers dafür nötig ist.
Wann regeln Sie den Ausstieg?
Vor dem Zuschlag. Wer den Ausstieg erst am Vertragsende regelt, verhandelt aus der schwächeren Lage. § 128 Abs. 2 GWB erlaubt Ausführungsbedingungen, die mit dem Auftrag zusammenhängen, und nennt dabei ausdrücklich die digitale Souveränität. Regeln Sie in den Vergabeunterlagen:
- Ihre Daten, aufbereiteten Unterlagen, Vorlagen und Protokolle kommen in offenen, dokumentierten Formaten zurück.
- Modell und Anwendung sind getrennt, das Modell lässt sich wechseln, ohne die Anwendungen neu zu bauen.
- Die Hardware gehört Ihnen und lässt sich mit anderer Software weiter betreiben.
- Mitwirkung, Fristen und Kosten des Auftragnehmers beim Wechsel sind Teil des Angebots.
- Betriebsdokumentation und Software-Stückliste erlauben einem Dritten die Übernahme.
Mehr zur Exit-Strategie bei jeder Beschaffung steht auf der Seite Digitale Souveränität.
Wie gehen Sie vor?
- Aufgaben und Testfälle festlegen. Vor jeder Ausschreibung, mit den künftigen Nutzern (Teil 1).
- Mengen messen. Auf einem Testsystem, als Grundlage der Anforderungen (Teil 2).
- Datenschutz und Personalrat klären. Protokollregeln stehen vor der Leistungsbeschreibung fest (Teil 3).
- Markterkundung. Betriebswege, Nachweis ohne Verbindung nach außen, Testbetrieb erfragen und dokumentieren.
- Lose bilden. Hardware, Einrichtung, Betrieb, mit klarer Verantwortung für die Schnittstellen.
- Leistung beschreiben. Nach Aufgabe und Testfall, produktneutral.
- Wertung festlegen. Testfall, Stufen, Gremium und Gewichtung vor der Bekanntmachung.
- Ausstieg regeln. In den Vergabeunterlagen, vor dem Zuschlag.
- Abnehmen. Mit denselben Testfällen, Punkt für Punkt gegen die Leistungsbeschreibung.
Die Prüffragen dazu stehen in der Arbeitshilfe Lokale KI in der Verwaltung: Prüffragen vor dem Einsatz. Wie ich Ausschreibungen begleite, steht auf den Seiten KI-Beratung und Ausschreibungen und Vergabe.
Unterstützung bei Ihrem Vorhaben
Ich berate Verwaltungen zum souveränen Arbeitsplatz und zu KI-Systemen, bei denen Ihre Daten unter Ihrer Kontrolle bleiben, ob im eigenen Haus, bei Ihrem kommunalen IT-Dienstleister oder bei einem geprüften europäischen Anbieter. Ich verkaufe keine Technik und vertrete allein Ihre Interessen als Auftraggeber. Sie können mich auch für einzelne Leistungsphasen beauftragen.
Fachplanung ist eine freiberufliche Leistung. Unterhalb der EU-Schwellenwerte gilt dafür je nach Land § 50 UVgO oder eigenes Landesrecht; Kommunen in Nordrhein-Westfalen vergeben seit 2026 nach § 75a GO NRW und gegebenenfalls nach ihrer eigenen Vergabesatzung. Ob eine Direktvergabe möglich ist, hängt davon ab, was in Ihrem Land und Ihrer Kommune gilt; ich nenne Ihnen gern den üblichen Weg.
Zum Weiterlesen
- Leistung
- Leistung
- ArbeitshilfeDigitale Souveränität: Abhängigkeiten erkennen
Leitfaden für Kommunen und Behörden: Wo Ihr Haus von einzelnen IT-Anbietern abhängt, woran Sie einen unabhängigen Arbeitsplatz erkennen und wie Sie den Ausstieg von Anfang an regeln.
- ArbeitshilfeLokale KI in der Verwaltung: Prüffragen vor dem Einsatz
Was Sie klären sollten, bevor Sie ein Sprachmodell im eigenen Haus betreiben. Mit Prüffragen zu Aufgabe und Testfällen, Hardware und Betrieb, Datenschutz, Personalrat, KI-Verordnung und Ausschreibung.
- Ratgeber
- Ratgeber
- Ratgeber
Thomas Svilar, Fachplaner für Informations- und Telekommunikationstechnik
Telefon +49 2355 5091551
Über mich
Stand: November 2026. Gesetze, Normen und Wertgrenzen ändern sich. Prüfen Sie vor Verfahrensbeginn die jeweils geltende Fassung und die Vorgaben Ihres Landes.