跳到正文
AI 图鉴

UC Berkeley (LMSYS)

产出 vLLM 与模型竞技场的学术机构

美国 学术机构 开源加州大学伯克利分校

它是什么

加州大学伯克利分校是公立研究型大学,其 LMSYS 等团队长期参与开源模型与推理系统研究。它主导开发了高吞吐推理引擎 vLLM,并运营让模型两两对战、由用户投票的模型竞技场。

它为什么重要

它一方面用 vLLM 的 PagedAttention 提升了开源模型的推理吞吐,另一方面用模型竞技场提供了独立于厂商榜单的公开评测,两者都被广泛采用。

关键里程碑

  1. 1868

    建校

  2. 2023

    发布高吞吐推理引擎 vLLM

代表产品

1