UC Berkeley (LMSYS)
A instituição acadêmica por trás do vLLM e da arena de modelos
Estados Unidos Instituição acadêmica Código aberto
O texto completo é apresentado em inglês; o título e o resumo estão traduzidos.
O QUE É
UC Berkeley is a public research university whose LMSYS and related teams have long worked on open models and inference systems. It led the development of the high-throughput inference engine vLLM and runs a model arena where models compete pairwise and users vote.
Por que é importante
Through vLLM’s PagedAttention it raised the inference throughput of open models, and through the model arena it provided public evaluation independent of vendor leaderboards — both widely adopted.
Marcos principais
- 1868
Founded
- 2023
Released the high-throughput inference engine vLLM