xAI社が開発した3140億規模の巨大な人工知能（AI）言語モデル「Grok-1」を、誰でも自由に手元の環境で動かせるようにしたオープンソースソフトウェアです。
・企業：自社データを外部サービスに送らずに社内でAIを運用したい場合に活用でき、情報漏洩リスクを抑えながら高性能なAIを業務に組み込める。 ・スタートアップ：ChatGPTなどの有料APIに依存せず自前のAI基盤を構築する出発点として活用でき、月額コストを抑えながら独自サービスの開発が可能になる。 ・個人事業主・フリーランス：高性能AIの仕組みを学習・研究する教材として活用でき、最先端モデルの実態を無償で確認できる。
ChatGPTやGeminiなどの有料サービスと異なり、モデルの重み（AIの頭脳にあたるデータ）が完全公開されているため、自分のサーバー上で自由にカスタマイズして運用できます。ただし動作には非常に高性能なGPU（画像処理専用の計算装置）を備えたマシンが必要なため、導入には相応の設備投資が求められます。
グロク-1
このリポジトリには、Grok-1 open-weightsモデルをロードして実行するためのJAXサンプルコードが含まれています。
チェックポイントをダウンロードして ckpt-0 ディレクトリを checkpoints に置いてください - ウェイトのダウンロード を参照してください。
それから
シェル pip install -r requirements.txt python run.py
を実行します。
スクリプトはチェックポイントをロードし、テスト入力にモデルからサンプルをロードします。
モデルのサイズが大きい（314B パラメータ）ため、サンプルコードでモデルをテストするには十分な GPU メモリを持つマシンが必要です。
このリポジトリにおける MoE レイヤーの実装は効率的ではありません。この実装は、モデルの正しさを検証するためのカスタムカーネルの必要性を避けるために選択されました。
# モデルの仕様
Grok-1は現在以下の仕様で設計されています：
- パラメータ：** 314B
- アーキテクチャ:** Mixture of 8 Experts (MoE)
- Experts Utilization:** 2 Experts used per token (1トークンあたり2エキスパート使用)
- レイヤー:** 64
- アテンション・ヘッド:** クエリ用48、キー/値用8
- 埋め込みサイズ:** 6,144
- トークン化:** SentencePieceトークナイザー 131,072トークンを持つ
- 追加機能:**
- ロータリー埋め込み (RoPE)
- 活性化シャーディングと8ビット量子化をサポート
- 最大シーケンス長（コンテキスト）:** 8,192 トークン
# 重みのダウンロード
torrentクライアントとこのマグネットリンクを使ってウェイトをダウンロードできます：
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce.
または直接[HuggingFace 🤗 Hub](https://huggingface.co/xai-org/grok-1)を使用してください：
git clone https://github.com/xai-org/grok-1.git && cd grok-1 pip install huggingface_hub[hf_transfer]. huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False ``` git clone && cd grok-1 pip install huggingface_hub[hf_transfer].
# ライセンス
このリリースに含まれるコードと関連するGrok-1の重みは、Apache 2.0ライセンスの下でライセンスされています。
Apache 2.0 ライセンスです。このライセンスは、このリポジトリのソースファイルとGrok-1のモデル重みにのみ適用されます。
にのみ適用されます。