Wie TNG aus München eine der erfolgreichsten Open-Source-KIs entwickelte

Man nehme chinesische Open-Source-KIs. Man mische sie, um ihre Stärken zu kombinieren. Und fertig ist ein neues Modell, das so leistungsfähig ist, dass es weltweit genutzt wird. So ist es, grob vereinfacht, dem Münchner Tech-Unternehmen TNG gelungen, bei offener KI an der Weltspitze mitzuspielen. Wie das funktioniert hat, wie KI gerade Einzug in die Wirtschaft hält – und warum es fatal wäre, sich als Unternehmen jetzt nicht mit KI zu beschäftigen, erzählt Thomas Endres von TNG im 1E9-Interview.

Ein Interview von Wolfgang Kerler

Europa gilt nicht gerade als Hotspot für Künstliche Intelligenz. Die erfolgreichen großen Sprachmodelle stammen aus den USA und China. Aus Europa machte zuletzt nur noch Mistral aus Frankreich mit seinen KIs von sich Reden. Doch dann schaffte das Münchner Tech-Unternehmen TNG Technology Consulting plötzlich den Sprung in die Top Ten bei OpenRouter, der wichtigsten Plattform für Open-Source-KIs – die den Zugriff auf viele verschiedene KI-Modelle über eine einzige API-Schnittstelle ermöglicht. Das TNG-Modell R1T2-Chimera-v2.1 gehört dort seit Wochen zu den meistgenutzten offenen KIs der Welt. Entstanden ist es durch eine innovative Mischung verschiedener chinesischer Open-Source-Modelle.

In diesem Interview sprechen wir mit Thomas Endres, Managing Partner bei TNG, Informatiker und Initiator des internen Innovation-Hacking-Teams. Er beschäftigt sich seit zwei Jahrzehnten mit KI – von frühen Experimenten mit neuronalen Netzen über Echtzeit-Deepfakes bis hin zu Robotik. Im 1E9-Interview erzählt er, wie TNG KI entwickelt, was Unternehmen heute mit KI anfangen können und warum der richtige Zeitpunkt für KI-Einführung nicht „irgendwann“, sondern jetzt ist.

1E9: Thomas, wie bist du überhaupt zur KI gekommen?

Thomas Endres: Ich habe Informatik studiert – damals, als KI noch etwas völlig anderes bedeutete als heute. Neuronale Netze – also mathematische Modelle, die lose an die Struktur biologischer Nervensysteme angelehnt sind – waren damals eher ein Randthema. In einem unserer Lehrbücher stand sogar sinngemäß: „Funktioniert selten, wird sich wohl nicht durchsetzen.“ Deep Neural Networks waren Zukunftsmusik. Trotzdem haben wir erste Experimente gemacht, zum Beispiel mit einem Go-ähnlichen Spiel. Das war 2006 oder 2007 – und zu meiner Überraschung funktionierte es erstaunlich gut.

Später bei TNG haben wir trotzdem zuerst auf statistische KI gesetzt, etwa Fraud Detection im Bankenumfeld mit Isolation Forests – also Algorithmen, die ungewöhnliche Transaktionen in Bankdaten aufspüren. Das war solide, aber weit entfernt von dem, was heute möglich ist. Der große Sprung kam erst, als wir uns in einem kleinen Team – unserem Innovation-Hacking-Team – intensiver mit tiefen neuronalen Netzen beschäftigt haben: Style Transfer in Echtzeit, Echtzeit-Deepfakes, das erste Finetuning eines großen Sprachmodells bzw. Large Language Models im Jahr 2020 auf Basis eines damals noch recht unbekannten Modells namens GPT. Seitdem hört die Reise nicht mehr auf.

Bevor wir noch tiefer einsteigen: Kannst du erklären, was TNG eigentlich macht – und wie KI heute eure Arbeit verändert?

Thomas Endres: TNG ist im Kern eine Firma für individuelle Softwareentwicklung. Wenn ein Kunde eine spezielle Software braucht, bauen wir sie. Das war lange unser Hauptfokus. Mit der KI-Welle hat sich das aber stark verschoben. Bis 2022 wollte kaum jemand etwas mit KI machen, vielleicht mal eine klassische Betrugserkennung.

Mit der KI-Welle hat sich das deutlich verschoben. Inzwischen bekommen wir fast nur noch die Frage: „Wie können wir KI einsetzen?“ Besonders gefragt sind Systeme, die große interne Dokumentbestände durchsuchen können, Service-Chatbots, oder neuerdings agentische Systeme, die selbstständig Aktionen ausführen können. Die Nachfrage ist enorm gewachsen.

Und auch intern hat sich einiges verändert. Wir dürfen und wollen natürlich keine sensiblen Daten unserer Kunden an externe Dienste wie OpenAI, Anthropic oder Google schicken – also hosten wir die KI, die wir intern nutzen, selbst. Dafür setzen wir auf Open-Source-Modelle, für die wir eine eigene Chatoberfläche aufgebaut haben. Besonders wichtig sind für uns Coding-Assistants – also Modelle, die in der Entwicklungsumgebung mitlaufen und beim Programmieren helfen, indem sie Vorschläge machen, Code erklären oder Fehlermeldungen nachvollziehbarer machen. Das funktioniert nur deshalb gut, weil alles lokal läuft und keine Kundendaten die eigene Infrastruktur verlassen.

Verstanden. Aber ihr wollt sicherlich sowohl für euch als auch für eure Kunden möglichst leistungsfähige KI-Lösungen entwickeln. Wie schafft ihr es beim aktuellen Tempo der KI-Entwicklung überhaupt Schritt zu halten? Gefühlt kommen täglich neue KI-Modelle auf den Markt.

Thomas Endres: Schritt halten ist tatsächlich das richtige Stichwort. Die Entwicklung bei Google, OpenAI, Anthropic und anderen ist unglaublich rasant. Allein diese Woche sind mehrere neue proprietäre Modelle erschienen, die jeweils für sich genommen wieder Maßstäbe setzen. Darauf müssen wir natürlich reagieren.

Früher haben wir neue Open-Source-Modelle oft innerhalb weniger Stunden nach Veröffentlichung ausprobiert und sofort deployed. Heute gehen wir systematischer vor. Wir haben ein eigenes Team, das sich ausschließlich mit Benchmarking beschäftigt, also damit, neue Modelle wirklich gründlich zu testen. Viele Open-Source-Modelle behaupten ja sofort, auf Augenhöhe mit den Spitzenmodellen zu sein. Aber häufig basiert diese Behauptung auf einem einzigen Benchmark, in dem sie besonders gut abschneiden. Das heißt noch lange nicht, dass das Modell generell stark ist. Deshalb benchmarken wir erst und entscheiden dann, welche Modelle tatsächlich vielversprechend sind.

Natürlich setzen die großen proprietären Modelle den Takt, aber wir sind nicht weit davon entfernt, technisch mitzuhalten.

Parallel machen wir auch eigene Forschung. Wir haben zum Beispiel mehrere Open-Source-Modelle miteinander gemischt, also ihre Gewichtungen kombiniert, sodass wir die jeweils stärksten Eigenschaften zusammenführen konnten. Das Ergebnis war ein Modell, das relativ schnell antwortet, wenig Rechenaufwand braucht und gleichzeitig ziemlich leistungsfähig ist. Unser KI-Modell war auf OpenRouter, dem wichtigsten Marktplatz für offene Modelle, zeitweise sogar in den Top Ten der Welt.

Die Balance besteht also darin, schnell auf neue Entwicklungen zu reagieren und gleichzeitig eigene Ideen zu verfolgen. Natürlich setzen die großen proprietären Modelle den Takt, aber wir sind nicht weit davon entfernt, technisch mitzuhalten.

Okay, da muss ich gleich in zwei Punkten nachhaken. Nummer eins: Wie genau geht ihr beim Benchmarking vor? Und was findet ihr dabei genau heraus?

Thomas Endres: Beim Benchmarking schauen wir uns die Modelle zunächst als Black Box an: Wir testen, wie sie auf ganz unterschiedliche Aufgaben reagieren. Das ist wichtig, weil viele neue Modelle sich selbst mit Sätzen wie „auf Augenhöhe mit GPT-4“ bewerben – meist basierend auf einem sehr speziellen Benchmark, der im Alltag kaum relevant ist. Früher bestanden solche  zum Beispiel nur aus Multiple-Choice-Fragen, aber so nutzt man ein Sprachmodell ja normalerweise nicht.

Deshalb haben wir ein eigenes Team, das viele verschiedene Benchmarks nutzt. Dazu gehören Aufgaben zur Softwareentwicklung, mathematisch anspruchsvolle Probleme wie Mathe-Olympiade-Aufgaben, Zusammenfassungen längerer Texte und generelle Reasoning-Aufgaben. Teilweise lassen wir ein anderes Modell als „Richter“ fungieren, nach dem Prinzip LLM as a Judge, das Antworten auf einer Skala bewertet.

Was wir dadurch herausfinden, ist vor allem, in welchen Kategorien ein Modell wirklich gut ist. Manche sind beim Programmieren stark, aber ansonsten eher schwach. Andere können gut zusammenfassen, brauchen aber lange zum Antworten. Ohne Benchmarking würde man das nie sauber einschätzen können. Erst wenn wir ein Modell in der Breite überzeugend finden, setzen wir es tatsächlich ein.

Jetzt zu Punkt zwei, der fast noch spannender ist: Wie habt ihr euer eigenes KI-Modell entwickelt – und was bedeutet es, wenn es in den Top Ten bei OpenRouter landet?

Thomas Endres: Zuerst vielleicht eine kleine Präzisierung: Wenn wir von „Open-Source-Modellen“ sprechen, meinen wir im Alltag meistens Open Weights. Das ist nicht ganz dasselbe. Open Weights bedeutet, dass die fertigen, trainierten Modellgewichte öffentlich zum Download bereitstehen. Man weiß aber nicht unbedingt, wie genau das Modell trainiert wurde, welche Daten im Detail verwendet wurden oder wie der gesamte Trainingsprozess aussah. Es ist also nicht vollständig offen – aber offen genug, damit man das Modell lokal betreiben, anpassen oder auch kombinieren kann. Für unsere Arbeit ist das entscheidend, weil wir die Modelle bei uns selbst hosten müssen und keine Daten nach außen dürfen.

 Vereinfach gesagt „mischen“ wir verschiedene KIs.

Auf dieser Basis entwickeln wir dann unsere eigenen Modelle, und zwar nicht durch ein komplettes Neu-Training – das wäre finanziell und infrastrukturell kaum machbar –, sondern durch Model Merging. Vereinfach gesagt „mischen“ wir verschiedene KIs. Wir nehmen also mehrere dieser Open-Weight-Modelle, in unserem Fall zwei oder drei Varianten aus der DeepSeek-Familie, die eng verwandt sind, aber unterschiedlich feinjustiert wurden. Moderne Modelle bestehen ja aus Milliarden Parametern und aus sogenannten „Experts“, also spezialisierten Teilbereichen, die für bestimmte Fähigkeiten optimiert wurden.

Wenn man die Gewichte dieser Modelle in bestimmten Anteilen miteinander vermischt, kann man die jeweils besten Eigenschaften kombinieren. In unserem Fall war das zum Beispiel eine Mischung aus hoher Antwortgeschwindigkeit und guter inhaltlicher Kompetenz. Wir waren selbst überrascht, wie robust solche gemischten Modelle sind. Man greift da tief in die Struktur ein, und trotzdem bleibt das Netz stabil und leistungsfähig.

Dass unser Modell zeitweise in den Top Ten bei OpenRouter aufgetaucht ist, heißt schlicht, dass es dort besonders häufig genutzt wurde. OpenRouter ist eine Plattform, auf der viele offene Modelle angeboten und miteinander verglichen werden. Platzierungen entstehen durch tatsächliche Nutzung. Wenn ein Modell dort im oberen Bereich landet, zeigt das, dass andere Entwickler es aktiv einsetzen und dass die Mischung nicht nur theoretisch funktioniert, sondern praktisch relevant ist. Für uns war das ein schönes Signal, dass wir technisch auf dem richtigen Weg sind.

Ihr trainiert keine kompletten Modelle, weil es dafür vermutlich riesige Rechenzentren braucht. Aber ganz ohne Hardware geht euer Model Merging doch bestimmt auch nicht. Wie viel muss man dafür investieren?

Thomas Endres: Wenn man Modelle selbst betreiben und solche Merging-Experimente machen will, kommt man mit ungefähr einer Million an Hardware-Invest schon mal durch. Klingt nach viel, aber im Vergleich zu dem, was eine OpenAI reinsteckt, ist das geradezu minimalistisch.

Ihr setzt vor allem auf Open-Source-Modelle – und auch eure selbst entwickelten KIs sind Open-Source. Welche Modelle dominieren denn aktuell in diesem Bereich – und welche Rolle spielen europäische Anbieter?

Thomas Endres: Vor ein, zwei Jahren hätte ich gesagt: Der Open-Source-Markt wird klar von amerikanischen Modellen dominiert – LLaMA und diverse Ableger davon, Modelle von Cohere oder anderen amerikanischen Firmen. Aber das hat sich drastisch verändert. Heute sind die chinesischen Anbieter im Open-Weight-Bereich ganz weit vorne. DeepSeek, Qwen, MiniMax und viele andere liefern extrem starke Modelle und veröffentlichen sie in sehr kurzer Taktung.

In Europa ist die Lage schwieriger. Mistral aus Frankreich war lange ein wichtiger Player und hat technisch auch einiges geliefert. Aber insgesamt gibt es nur wenige europäische Modelle, die international wirklich konkurrenzfähig sind. Einige Initiativen existierten zwar – Fraunhofer, Aleph Alpha, kleinere Forschungsgruppen –, aber in den globalen Benchmarks tauchten sie kaum auf.

Wenn man auf Plattformen wie OpenRouter schaut, sieht man also sehr viele chinesische und amerikanische Modelle – und nur sehr wenige europäische wie unsere. Wir zählen da zu den Ausnahmen.

Du hast vorhin schon angedeutet, welche KI-Anfragen Unternehmen heute stellen. Kannst du das noch etwas vertiefen? Was wollen Firmen aktuell wirklich – und was funktioniert davon zuverlässig?

Thomas Endres: Man merkt inzwischen deutlich, dass Unternehmen sich viel stärker auf konkrete Anwendungsfälle konzentrieren. Während bis 2022 oder 2023 praktisch niemand nach KI gefragt hat – höchstens mal nach klassischer statistischer Fraud Detection – wollen heute fast alle Firmen wissen, wie sie KI in ihren bestehenden Prozessen einsetzen können.

Was wir aktuell sehr häufig sehen, sind Anfragen rund um Dokumentation und Wissen im Unternehmen. Viele Firmen haben riesige Korpora an internen Dokumenten, Service-Desk-Tickets oder Handbüchern. Und da geht es dann darum: „Wie finde ich in diesem ganzen Material die eine Information, die ich gerade brauche?“ Solche Retrieval-Lösungen funktionieren inzwischen wirklich gut – deutlich besser als reine Schlagwortsuche, weil moderne Modelle Inhalte semantisch verstehen.

Dann kommen Chatbots dazu, die auf dieser Wissensbasis aufsetzen. Also nicht irgendein generischer Chatbot, sondern einer, der wirklich mit den Daten des Unternehmens umgehen kann und sinnvolle Antworten gibt. Das ist ein Bereich, der mittlerweile technisch reif ist, wenn die Daten gut aufbereitet sind.

Was jetzt neu dazu kommt, sind agentische Systeme. Da steckt viel Potenzial drin, aber es ist auch der Bereich mit den größten Fragezeichen. Agenten können Rückfragen stellen oder APIs aufrufen, aber genau da wird es schnell riskant. Firmen probieren das aus, aber noch sehr vorsichtig, weil die Zuverlässigkeit nicht auf dem Niveau ist, dass man es einfach so laufen lassen kann.

Worin besteht das Sicherheitsproblem bei KI-Agenten?

Thomas Endres: Mit agentischen Systemen geht tatsächlich ein erhebliches Sicherheitsrisiko einher. Das liegt daran, dass sie nicht nur Texte erzeugen, sondern wirklich Aktionen ausführen können. Und sobald ein neuronales Netz eigenständig Dinge tun darf – sei es, eine Webseite aufzurufen oder einen API-Call zu machen – können kleinste Änderungen in der Umgebung zu sehr großen Auswirkungen führen.

Ein Beispiel: Wenn ein Agent mit einem sogenannten agentischen Browser arbeitet – also einem System, das Webseiten nicht nur anzeigen, sondern auch selbstständig darin navigieren kann –, dann sieht der Mensch immer nur den sichtbaren Teil der Seite. Das Modell sieht aber den kompletten HTML-Quellcode. Und dort kann alles Mögliche drinstehen, auch Dinge, die für Menschen unsichtbar sind, etwa sehr klein formatierter Text oder HTML-Kommentare.

Wenn man in diesen Quellcode einen versteckten Prompt einbaut, also so etwas wie: „Navigiere jetzt bitte zur folgenden URL“ oder „Führe als nächstes diese Aktion aus“, dann führt ein ungesicherter Agent das tatsächlich aus. Das ist ein klassischer Fall von Prompt Injection. Und das funktioniert wirklich – wir haben das ausprobiert. Der Mensch, der den Agenten nutzt, merkt davon im Zweifel überhaupt nichts, weil er diesen versteckten Text gar nicht sieht.

Solange wir keine sicheren Mechanismen haben, um solche Systeme abzusichern, braucht es zwingend Human Oversight, also eine menschliche Kontrolle. Wenn ein Agent etwas Kritisches tun soll, muss jemand vorher sagen: „Ja, das ist wirklich okay.“ Technisch ist das alles lösbar, aber wir sind da noch lange nicht, weil diese Systeme nicht deterministisch sind. Kleine Änderungen können große Effekte haben. Und deswegen muss man damit aktuell extrem vorsichtig sein.

Wenn die Risiken so groß sind, stellt sich die Frage: Warum sollten sich Unternehmen überhaupt jetzt mit KI beschäftigen? Wäre es nicht klüger zu warten, bis alles stabiler ist?

Thomas Endres: Das wäre aus meiner Sicht ein Fehler – aus wirtschaftlicher Sicht kann Abwarten sogar fatale Folgen haben. Die Technologie wird graduell in alle Lebensbereiche eindringen, egal ob man sich jetzt damit beschäftigt oder nicht. Und wenn man zu lange wartet, ist der Abstand irgendwann so groß, dass man ihn nicht mehr einholen kann.

Und wenn man zu lange wartet, ist der Abstand irgendwann so groß, dass man ihn nicht mehr einholen kann.

Was ich sehe, ist: Selbst bei großen Firmen gibt es zwar kleine Trailblazer-Teams, die sehr schnell voranlaufen, aber in der Breite wird es oft nicht eingesetzt. Und das ist gefährlich. Ich sage nicht, dass man sofort alles automatisieren soll. Ich sage nur: Man muss den Leuten die Möglichkeit geben, die Technologie auszuprobieren. Man darf nicht ständig sagen: „Du darfst das nicht verwenden.“

Ein Beispiel: Wir versuchen seit anderthalb Jahren bei einem Kunden, Coding-Assistants einsetzen zu dürfen. Heute sind sie vielleicht noch nicht das große Wunderding. Aber in zwei, drei Jahren wird man ohne solche Tools ein Problem haben. Das ist wie bei der Erfindung des Automobils: Die Pferde waren vielleicht noch konkurrenzfähig, aber es wäre keine gute Idee gewesen, damals noch einen neuen Stall zu bauen.

Wir sind heute an so einem Punkt. Die Systeme sind nicht perfekt, aber man muss jetzt damit anfangen, sonst verpasst man den Anschluss. Nicht überall – aber dort, wo es sinnvoll ist. Und solange der Mensch auf der anderen Seite versteht, dass es noch kein 100-Prozent-System ist, kann man KI heute schon sehr gut einsetzen.