Mistral Large 4: Modell mit 1 Billion Parametern, Gewichte folgen

Mistral AI hat Mistral Large 4 veröffentlicht, ein neues großes multimodales Modell. Laut TechCrunch wird das Modell im Unternehmen wegen seiner 1 Billion Parameter „Le Chonk“ genannt. Ein Parameter ist ein einstellbarer Wert, den ein Modell im Training lernt; mit der Zahl wächst ein Modell in der Regel und wird teurer im Betrieb.

Ist das Modell derzeit für alle offen?

Teilweise. Die Gewichte des Modells sind noch nicht offen; vorerst ist es nur über einen abgesicherten öffentlichen Endpunkt nutzbar. Mistrals VP Science Pierre Stock sagte, das Unternehmen wolle die Gewichte nach Abschluss der Sicherheitstests in etwa drei Wochen veröffentlichen. Offene Gewichte bedeuten, dass sich die trainierten Werte des Modells herunterladen und auf der eigenen Infrastruktur betreiben lassen, was Audits erleichtert.

Wie wurde es trainiert, und was ist das Ziel?

Laut Stock wurde das Modell vollständig auf Mistrals eigener Rechenleistung mit 4.000 Nvidia-GPUs trainiert, was deutlich weniger sei, als Konkurrenten einsetzen. Benchmark-Ergebnisse wurden noch nicht veröffentlicht. Das Unternehmen hofft, dass das Modell unter den Modellen mit offenen Gewichten das beste wird, und hält es dank fokussierten Trainings für möglich, dass es in bestimmten Bereichen auch geschlossene Modelle übertrifft. Hervorgehoben werden Cybersicherheit, Finanzwesen und Chipdesign.

Chipdesign hängt mit der Arbeit der beiden wichtigsten Geldgeber des Unternehmens zusammen: ASML führte die Series C an, Samsung die Series D im vergangenen Monat bei einer Bewertung von 21 Milliarden Euro.

Was bedeutet das für Unternehmensteams in der Türkei?

Für Banken, Gesundheitseinrichtungen und Softwareunternehmen, die ein Modell aus Datenschutzgründen auf eigenen Servern betreiben wollen, könnte ein großes Modell mit offenen Gewichten eine wertvolle Option sein. Unabhängige Benchmarks gibt es jedoch noch nicht; die Aussage „besser“ sollte daher vorerst als Ziel des Unternehmens gelesen werden.

• Warten Sie bis zur Veröffentlichung der Gewichte auf Benchmark-Ergebnisse; planen Sie einen kleinen Test mit Ihrem eigenen Datensatz.
• Berechnen Sie für Daten, die unter das türkische Datenschutzgesetz KVKK fallen, schon jetzt Kosten und Hardwarebedarf eines Betriebs auf eigener Infrastruktur.
• Lesen Sie nach der Veröffentlichung der Gewichte die Lizenzbedingungen im Hinblick auf die kommerzielle Nutzung.