Studie zum Bundes-LLM
F&E-Dienstleistung zur wissenschaftlichen Vorbereitung eines Bundes-Large-Language-Models (LLM) für die Österreichischen Bundesministerien der Ausschreibung AI Ökosysteme 2025 "AI for Tech & AI for Green"

Auf dem Weg zu einem robusten und souveränen Bundes-LLM

Österreich prüft derzeit die Entwicklung eines Bundes-Sprachmodells (Bundes-LLM), das als souveräne und vertrauenswürdige Grundlage für die digitale Verwaltung und Bürgerdienste dienen soll. Das Bundes-LLM lässt sich gut mit der Entwicklung eines neuen Automodells vergleichen (siehe das Bild zum "Zusammenspiel zwischen Komponenten, System und Applikationen" in der Gallery unten): Der Motor steht für das Sprachmodell selbst, während das System bzw. der AI Stack für die Entwicklungsplattform steht, also jene technische Grundstruktur darstellt, auf der verschiedene Fahrzeugmodelle aufbauen. Die Plattform dient also dazu, eine einheitliche Basis für vielfältige Modelle zu schaffen und somit die Entwicklungszeit zu verkürzen und die Entwicklungskosten zu senken. Das einzelne Fahrzeugmodell spiegelt die Applikationen wider. Diese werden bestimmt durch ein Zusammenspiel von anwendungsgetriebenen Anforderungen, erforderlichen Schutzmechanismen, Datenschutzfunktionen, Governance-Strukturen, sodass ein anwendungsgemäßer, effizienter, sicherer und zuverlässiger Betrieb gewährleistet werden kann. Ebenso wie die Gesellschaft unterschiedliche Fahrzeuge benötigt – Lkw für schwere Lasten, Familienwagen für den Alltag, Sportwagen für Geschwindigkeit – benötigt die öffentliche Verwaltung unterschiedliche Lösungen: von mehrsprachigen Bürgerdialogen und Dokumenten-management in der Verwaltung bis hin zur Entscheidungsunterstützung in Ministerien. Die Anforderungen aus den Applikationen wirken sich sowohl auf die Zusammensetzung des Systems/des AI Stacks aus, als auch auf die Kapazitäten und Leistungsmerkmale des benötigten LLMs. Je nach Applikation, kann es sinnvoll sein, verschiedene LLMs in unterschiedlichen Funktionen einzusetzen. D.h. eine Applikation kann mehrere LLM-Motoren enthalten.

Eine zentrale Herausforderung ist die Heterogenität der Anspruchsgruppen. Ministerien, Behörden und Dienstleister unterscheiden sich in Anforderungen und technischen Rahmenbedingungen. Die Studie wendet etablierte Methoden des Requirements Engineering an, um diese Vielfalt strukturiert zu erfassen. Entscheidungsoptionen werden damit transparent: So wie zusätzliche Fahrzeugfunktionen Kosten und Wartung beeinflussen, haben technische Ausstattungen des Bundes-LLM – etwa lokale Infrastrukturen zur Gewährleistung von Souveränität, fortgeschrittene Mehrsprachigkeit oder datenschutzwahrende Verfahren – unmittelbare Folgen für Finanzen, Personalbedarf und Langzeitbetrieb.

Im Zentrum steht zudem das Ziel der Daten- und Technologiesouveränität. Einseitige Abhängigkeiten von ausländischen Plattformen bergen Risiken. Daher untersucht die Studie, wie durch österreichische bzw. europäische Entwicklung, verbunden mit Open-Source-Bausteinen wie z.B. OpenEuroLLM, die Hoheit über sensible Daten gesichert, die Einhaltung von DSGVO und EU AI Act gewährleistet und Kosten reduziert werden können. Dabei spielen Sicherheitsstandards, Prüfsysteme und Governance eine tragende Rolle – in Form von Transparenz, Ethik, Geschlechtergerechtigkeit und ökologischer Verantwortung.

Schließlich muss das Bundes-LLM mit bestehenden Verwaltungssystemen interoperabel bleiben und sich nahtlos weiterentwickeln lassen – also „zukunftsoffen“ sein. Damit wird gewährleistet, dass heutige Investitionen auch morgen Wert für Verwaltung und heimische Wirtschaft entfalten und als vertrauenswürdige Plattform für kommerzielle Anwendungen dienen.

Mit vereinten Kompetenzen aus KI-Forschung, Rechtswissenschaften, Governance, Ethik und Nachhaltigkeit entwickelt die geplante Studie strategische Empfehlungen und konkrete Handlungsoptionen für ein Bundes-LLM. Das Ergebnis wird als verlässliche Navigationskarte dienen, mit der Österreich seine eigene digitale Fahrzeugflotte aufbaut – robust, souverän und am öffentlichen Interesse ausgerichtet.

Um diese Ziele fundiert zu erarbeiten, wurde ein Konsortium zusammengestellt, das unterschiedliche Schlüsselkompetenzen bündelt: Das Österreichische Forschungsinstitut für Artificial Intelligence (OFAI) übernimmt die Rolle des Koordinators, das Software Competence Center Hagenberg (SCCH) agiert als Konsortialpartner. Ergänzt wird das Konsortium durch die Drittparteien Dorda Rechtsanwälte, IPEF, Trustifai, Women in AI Austria sowie Tamas Madl. OFAI und SCCH bringen ihre Schwerpunkte in den Bereichen Sprachtechnologie, KI- und LLM-basierte Anwendungen, Software Science, Data Science und Technologietransfer ein, wobei SCCH mit LLM:2go eine on premise LLM-Lösung bereitstellt. Die Drittparteien erweitern die Expertise des Konsortiums in den Dimensionen Recht (DORDA), ökologische Bilanzierung und Nachhaltigkeit (IPEF), Zertifizierung (Trustifai), Ethik (Women in AI Austria) sowie Entwicklung und Training kommerzieller LLMs (T. Madl, assoziierter Forscher am OFAI mit mehrjähriger Industrie- u. Startup-Erfahrung in LLM-Training, davon 4,5 Jahre bei Amazon Web Services).

Gallery

Partners

• Software Competence Center Hagenberg (SCCH, Bernhard Moser, Theodorich Kopetzky)
• DORDA Rechtsanwälte (Alexandra Ciarnau)
• IPEF Consulting (Arthur Erdem)
• TRUSTIFAI (Thomas Doms)
• Women in AI Austria (Eugenia Stamboliev)
• Tamas Madl

Sponsors