Dongcha が AI ニュースを打ち破り、Prime Intellect がオープンソースのモデル推論サービスである Prime Inference をリリースしました。
ユーザーはオンデマンドでモデルを直接呼び出すことができます。タスクが長期にわたる安定した動作を必要とする場合、推論計算能力の一部を事前にロックすることもできます。インターフェイスは OpenAI API と互換性があり、最初に公開されたモデルは GLM-5.3 です。
このシステムは以前、Prime Intellect 内で使用されていました。公式には、強化学習、合成データ、モデル評価、コーディング エージェントのために毎日 1 兆近くのトークンを処理しています。 Prime Intellect は、今年 1 月から顧客向けに大規模な導入も実行しています。
Prime Inference は、エージェントの長いコンテキスト負荷の最適化に焦点を当てています。プロンプト ワード プロセッシングと応答生成をさまざまな GPU に分散し、テストで p90 トークン間のレイテンシーを 40% 近く削減します。 Prime Intellect は KV キャッシュも圧縮します。同じビデオ メモリで、各デコーダがキャッシュできるトークンの数は 109 万から 163 万に増加し、約 50% 増加しました。
Prime Intellect はこれまで、強化学習、評価、サンドボックスなどのトレーニング インフラストラクチャを提供してきました。推論サービスを追加すると、モデルのトレーニングと実際のデプロイメントを同じプラットフォームに接続でき、実際の操作によって生成されたデータをその後のトレーニングに引き続き使用できます。