KI Start-up von Elon Musk veröffentlicht KI Modell Grok-1 als Open-Source

Grok-1 ist jetzt Open-Source

Am 17. März 2024 gab das KI-Unternehmen xAI bekannt, dass das Grok-1 Sprachmodell nun frei zugänglich ist. Das Grok-1-Modell, das über eine umfangreiche Architektur mit 314 Milliarden Parametern verfügt, wurde unter der Apache 2.0-Lizenz der Öffentlichkeit zugänglich gemacht.

Dieses Modell ist das größte seiner Art, das aktuell als Open Source angeboten wird und basiert auf einer Mixture-of-Experts-Architektur, welche auch in anderen bekannten Modellen wie Mixtral und GPT-4 verwendet wird. Das Grok-1 besteht aus acht Experten-Netzwerken, von denen jeweils zwei simultan bei der Verarbeitung eines Eingabe-Tokens aktiv sind, was 25 Prozent der Netze entspricht.

Das Modell stellt die Grundversion dar, die aus einer vorangegangenen Pre-Training-Phase stammt, die im Oktober 2023 abgeschlossen wurde. Grok-1 wurde bisher nicht für spezielle Anwendungen angepasst und unterscheidet sich möglicherweise hinsichtlich der Sicherheitsmerkmale von anderen Modellen, da es kein Fine-Tuning durch menschliches Feedback erfahren hat. Über die genauen Trainingsdaten macht xAI keine Angaben, sondern spricht allgemein von umfangreichen Textdaten. Ethik- oder Sicherheitsrichtlinien wurden nicht kommuniziert.

Das Modell wurde mit einer Kombination aus JAX und Rust entwickelt und trainiert, um eine hohe Leistungsfähigkeit zu erreichen. Detaillierte Informationen und der Zugang zum Code von Grok-1 sind auf der Plattform GitHub bereitgestellt.

Vorgeschichte von Elon Musk's Grok

Ursprünglich berichtete am 11. März 2024 Elon Musk, Gründer von x.AI, dass er plane, seinen KI-Chatbot "Grok" Open Source zu machen. Musk äußerte dies über die Plattform X, ohne genaue Details zu den zur Veröffentlichung stehenden Komponenten zu nennen.

Der Chatbot basiert auf dem Grok-1 Sprachmodell, welches innerhalb von etwa vier Monaten, mit einer zweimonatigen Trainingsdauer, entwickelt wurde. Die verwendeten Daten, bestehend aus Internetinhalten und menschlichen Feedback-Daten, stammen aus dem Zeitraum bis zum dritten Quartal 2023.

Mit einer Kontextlänge von 8.192 Tokens, wird das Leistungsniveau des Modells mit dem von GPT-3.5 verglichen, ein ergebnis, welches mittlerweile von zahlreichen Open Source Modellen erreicht wird. Grok-1 wurde speziell für den Einsatz auf der Plattform X angepasst, um auch auf sensible Anfragen antworten zu können, welche von anderen KI-Systemen häufig abgewiesen werden.