Dongcha Beating AI News, Prime Intellect lança Prime Inference, um serviço de inferência de modelo de código aberto.
Os usuários podem ligar diretamente para o modelo sob demanda; se a tarefa exigir operação estável a longo prazo, uma parte do poder de computação de inferência também poderá ser bloqueada antecipadamente. A interface é compatível com a API OpenAI e o primeiro modelo implantado publicamente é o GLM-5.3.
Este sistema foi usado anteriormente no Prime Intellect. Oficialmente, ela processa quase 1 trilhão de tokens todos os dias para aprendizado por reforço, dados sintéticos, avaliação de modelos e agentes de codificação. A Prime Intellect também vem realizando implantações em larga escala para clientes desde janeiro deste ano.
Prime Inference se concentra em otimizar a longa carga de contexto do Agente. Ele distribui processamento de texto imediato e geração de resposta em diferentes GPUs, reduzindo a latência entre tokens p90 em quase 40% no teste. Prime Intellect também compacta o cache KV. Na mesma memória de vídeo, o número de tokens que podem ser armazenados em cache por cada decodificador aumenta de 1,09 milhão para 1,63 milhão, um aumento de cerca de 50%.
A Prime Intellect já forneceu infraestrutura de treinamento, como aprendizado por reforço, avaliação e sandbox. Depois de adicionar o serviço de inferência, ele pode conectar o treinamento do modelo e a implantação real à mesma plataforma, e os dados gerados pela operação real podem continuar a ser usados para treinamento subsequente.