Open-Weight-Modelle nutzen: 3 Wege für dein Team

Wenn du den ganzen Tag in ChatGPT, Claude oder Gemini arbeitest, hast du bestimmt schon gehört, dass Open-Weight-Modelle einen Blick wert sind. Und du hattest vermutlich keine Ahnung, wie du überhaupt an so ein Modell herankommst. Genau da liegt das Problem. Niemand erklärt dir, wie du Open-Weight-Modelle günstig und sicher nutzen kannst. Also lassen es die meisten Teams bleiben.

Das hier ist eine einfache Anleitung. Es geht um die drei Wege, wie du an diese Modelle kommst, was jeder davon kostet und was dabei mit deinen Daten passiert. Kein Technik-Kauderwelsch, keine GPU-Einkaufsliste. Nur die Abwägungen, und eine Entscheidungshilfe für dein Team.

Was "Open-Weight" eigentlich heißt

Ein Open-Weight-Modell ist ein Modell, dessen trainierte Parameter (die Weights, also die Zahlen, die es zum Laufen bringen) öffentlich zum Download stehen. Llama von Meta, Mistral, DeepSeek, Qwen von Alibaba und OpenAIs gpt-oss sind alle Open-Weight. Du kannst sie auf einer Maschine betreiben, die dir gehört. Niemand kann sie abschalten oder dir über Nacht den Preis erhöhen.

Viele nennen das schlicht Open-Source-Modelle, und meistens passt das auch. Ganz dasselbe ist es aber nicht. Open-Source heißt normalerweise, dass auch der Trainingscode und die Daten offen liegen. Open-Weight heißt nur, dass das fertige Modell frei herunterladbar ist. Für die Wahl deines Werkzeugs spielt das selten eine Rolle. Wichtig ist: Du hängst nicht mehr an der geschlossenen Schnittstelle eines einzigen Anbieters.

Zwei Gründe, warum sich der Wechsel lohnt

Zwei Dinge machen den Aufwand wett: geringere Kosten pro Token, und mit dem richtigen Setup bleiben deine Daten bei dir.

Beim Preis ist der Unterschied nicht klein. Eine Studie von McKinsey und der Mozilla Foundation ↗ unter mehr als 700 Technologieverantwortlichen aus 41 Ländern kam auf durchschnittlich rund 26 % Ersparnis, wenn Teams Open-Source-KI statt proprietärer Werkzeuge einsetzen. Auf Token-Ebene wird es noch deutlicher. Ein Modell wie Llama oder DeepSeek über einen Inferenz-Anbieter kostet grob 0,20 bis 0,60 US-Dollar pro Million Token. GPT-4o liegt bei etwa 5 bis 15 US-Dollar pro Million. Für ein Team, das im Monat Millionen Token verarbeitet, ist das der Unterschied zwischen einer Rundungsdifferenz und einer echten Rechnung.

Bei den Daten lesen die geschlossenen Anbieter mit, was du ihnen schickst. Manche trainieren damit weiter, solange du nicht ausdrücklich einen Tarif hast, der das ausschließt. Bei einem richtig aufgesetzten Open-Weight-Modell verlassen deine Eingaben und Dokumente nie das Haus in Richtung fremder Trainingsdaten. Genau deshalb nutzt laut derselben McKinsey-Studie inzwischen mehr als die Hälfte der Unternehmen Open-Source-KI irgendwo in ihrem Stack. Wenn es dir vor allem darum geht, Eingaben im Haus zu behalten, geht unser Leitfaden zum eigenen privaten KI-Server für sensible Daten tiefer ins Detail.

Drei Wege, Open-Weight-Modelle zu nutzen

Es gibt drei praktische Wege. Sie unterscheiden sich jedes Mal in denselben zwei Punkten: wie viel Arbeit und Kosten du übernimmst, und wie viel von deinen Daten bei dir bleibt.

1. Selbst hosten über Hugging Face

Die meiste Kontrolle, und die meiste Arbeit. Du lädst das Modell von einer Plattform wie Hugging Face ↗ herunter und betreibst es auf eigener Hardware oder einer gemieteten Cloud-GPU. Deine Daten verlassen nie deine vier Wände. Der Haken sind Geld und Wartung. Eine GPU, die ein mittelgroßes Modell stemmt, kostet mehrere Tausend Euro Anschaffung, oder eine Cloud-GPU schlägt mit ein paar Hundert bis ein paar Tausend Euro im Monat zu Buche, wenn sie durchläuft. Und jemand muss sie pflegen und am Laufen halten. Für ein kleines Team ist das viel Fixkosten und Babysitting. Wenn Selbst-Hosting für dich wirklich in Frage kommt, haben wir dazu einen längeren Text geschrieben: KI auf einer Infrastruktur betreiben, die dir gehört.

2. Direkt beim Anbieter anmelden

Der einfachste Start. Die meisten Open-Weight-Modelle haben eine eigene Schnittstelle, für die du dich in wenigen Minuten anmeldest, und die Token-Preise sind niedrig. Das Datenproblem löst das aber nicht. Manche dieser Anbieter trainieren weiter mit dem, was du schickst, und mehrere der günstigsten betreiben ihre Server in Ländern, in denen du deine Kundendaten vielleicht nicht liegen haben willst. DeepSeek ist das klarste Beispiel. Die eigene Datenschutzerklärung sagt, dass Eingaben auf Servern in China gespeichert und fürs Training genutzt werden können. Genau deshalb hat Italiens Datenschutzbehörde die App gesperrt ↗. Günstige Token, aber du gibst die Daten dafür her.

3. Eine modellunabhängige App nutzen

Ein Login, viele Modelle, nichts selbst zu betreiben. Eine modellunabhängige App lässt dich zwischen Open-Weight-Modellen (und geschlossenen) über eine einzige Oberfläche wechseln, ohne Hardware zu kaufen und ohne Server zu betreiben. Für die meisten kleinen Teams ist das der Weg, den man sich zuerst ansehen sollte. Das Einzige, was du prüfen musst, ist das Kleingedruckte zu den Daten. Manche dieser Apps reichen deine Eingaben still an die Anbieter weiter. Manche behalten sie für sich. Das Stichwort, nach dem du suchst, ist Zero Data Retention (ZDR): Nichts, was du schickst, wird gespeichert oder weiterverwendet. Wenn eine App dir das nicht klar sagen kann, geh davon aus, dass sie es nicht bietet.

Weg	Aufwand	Startkosten	Daten bleiben bei dir?	Am besten für
Selbst hosten (Hugging Face)	Hoch	Hoch (GPU oder Cloud pro Monat)	Ja, vollständig	Teams mit eigenen Entwicklern und klarer Datenschutzregel
Direkt beim Anbieter	Niedrig	Keine	Oft nein (Training und Serverland prüfen)	Schnelle Tests, unkritische Aufgaben
Modellunabhängige App	Niedrig	Keine	Nur mit ZDR	Kleine Teams, die günstig und sicher arbeiten wollen, ohne zu hosten

Wie du wählst

Du musst das nicht wochenlang abwägen. Die Entscheidung hängt an einer Frage: Wie viel willst du selbst betreiben?

• Selbst hosten, wenn du Entwickler übrig hast und die Regel gilt, dass Daten das Haus nicht verlassen dürfen.
• Anbieter-Plattform, wenn du nur experimentierst und die Daten nicht sensibel sind.
• Modellunabhängige App mit ZDR, wenn du die niedrigen Kosten und den Datenschutz willst, aber keine Server betreiben möchtest.

Für die meisten kleinen und mittelständischen Teams ist der dritte Weg der Sweet Spot: die Token-Ersparnis von Open-Weight-Modellen, ohne eine GPU zu kaufen oder eine Datenschutzregel zu erfinden. Kleinere offene Modelle verschieben die Rechnung noch weiter zu deinen Gunsten, was wir in der Ökonomie kleiner Sprachmodelle behandeln.

Häufige Fragen

Sind Open-Weight-Modelle günstiger als GPT-4 oder Claude?

Ja, pro Token meistens deutlich günstiger. Ein Modell wie Llama oder DeepSeek über einen Inferenz-Anbieter kostet grob 0,20 bis 0,60 US-Dollar pro Million Token, gegenüber etwa 5 bis 15 US-Dollar bei GPT-4o. McKinsey beziffert die durchschnittliche Ersparnis über das gesamte KI-Budget auf rund 26 %.

Sind Open-Weight-Modelle sicher für Unternehmensdaten?

Das können sie sein, aber es hängt komplett davon ab, wie du sie erreichst. Selbst-Hosting hält die Daten vollständig im Haus. Eine Anbieter-Plattform trainiert womöglich mit deinen Eingaben. Eine modellunabhängige App ist nur dann sicher, wenn sie Zero Data Retention bietet. Lass dir die Datenregel immer schriftlich geben, bevor du etwas Sensibles schickst.

Was ist Zero Data Retention (ZDR)?

ZDR heißt, dass der Dienst nichts speichert oder weiterverwendet, was du ihm schickst. Deine Eingaben und Dokumente werden verarbeitet und sind danach weg, nicht protokolliert und nicht ins Training eingespeist. Es ist die wichtigste einzelne Zeile, auf die du bei der Wahl einer KI-App achten solltest.

Brauche ich eine GPU, um Open-Weight-Modelle zu nutzen?

Nur wenn du selbst hostest. Ein Modell auf eigener Hardware zu betreiben braucht eine leistungsfähige GPU. Wenn du eine Anbieter-Plattform oder eine modellunabhängige App nutzt, ist das Hosting für dich erledigt und du brauchst nichts außer einem Browser.

Was ist der Unterschied zwischen Open-Weight und Open-Source?

Open-Weight heißt, das fertige Modell ist frei herunterladbar und lauffähig. Open-Source heißt normalerweise, dass auch Trainingscode und Daten offen liegen. In der Praxis, wenn es ums Auswählen eines Werkzeugs geht, spielt der Unterschied kaum eine Rolle. Beide befreien dich von einem einzigen geschlossenen Anbieter.

Kann ich Open-Weight-Modelle nutzen, ohne Daten aus der EU zu geben?

Ja. Entweder du hostest selbst innerhalb der EU, oder du nutzt eine modellunabhängige App, die auf EU-Infrastruktur läuft und Zero Data Retention bietet. Damit bleiben Rechenleistung und Daten auf deiner Seite der Grenze.

Du bist nicht zu spät dran

Wenn das alles neu für dich ist: Du bist nicht abgehängt. Die meisten Teams nutzen noch die geschlossenen Standard-Tools, weil der Wechsel kompliziert aussah, nicht weil sie abgewogen und sich dagegen entschieden haben. Kompliziert wirkt es nur so lange, bis du die drei Wege benennen kannst.

Der dritte Weg ist der, um den herum wir keinsaas Navigator gebaut haben: ausschließlich EU- und Open-Source-Infrastruktur, Open-Weight-Modelle ohne Datenspeicherung, und keine Hardware- oder GPU-Rechnungen, um die du dich kümmern musst. Wenn du sehen willst, ob das zu deinem Team passt, kannst du mehr darüber erfahren, wie Navigator funktioniert.

Also, bevor dein nächstes KI-Abo verlängert wird, lohnt sich eine Frage: Weißt du eigentlich, wohin deine Eingaben gehen, nachdem du auf Senden geklickt hast?