UC Berkeley (LMSYS)
产出 vLLM 与模型竞技场的学术机构
美国 学术机构 开源加州大学伯克利分校
它是什么
加州大学伯克利分校是公立研究型大学,其 LMSYS 等团队长期参与开源模型与推理系统研究。它主导开发了高吞吐推理引擎 vLLM,并运营让模型两两对战、由用户投票的模型竞技场。
它为什么重要
它一方面用 vLLM 的 PagedAttention 提升了开源模型的推理吞吐,另一方面用模型竞技场提供了独立于厂商榜单的公开评测,两者都被广泛采用。
关键里程碑
- 1868
建校
- 2023
发布高吞吐推理引擎 vLLM