模型评测框架介绍

以下介绍框架的用途。实际可选框架、镜像版本、模型与芯片组合，以当前实例的创建页和管理员配置为准；框架自身支持的能力不代表当前服务已全部开放。

传神社区提供了 lm-evaluation-harness、OpenCompass、EvalScope 和 ClawEval 四个主流的模型评测框架，它们有各自的特点和应用场景。

简介
- 由 EleutherAI 提供的一个 Python 工具，用于统一评估语言模型的性能。
- 支持多种评估任务，如语言建模（Language Modeling）、零样本（Zero-Shot）和少样本（Few-Shot）任务。
特点
- 灵活性：支持对接多种模型，包括 Hugging Face 的 Transformers 模型、OpenAI 的 API 模型等。
- 任务多样性：涵盖了 NLP 的多个任务，如文本生成、完形填空、问答、翻译等。
- 标准化评测：以统一的接口为模型提供公平的性能对比。
支持的模型
- Hugging Face Transformers 库中的模型，例如 GPT-2、GPT-3、T5、BERT 等。
- OpenAI API 模型（如 GPT-3.5、GPT-4）。
- 自定义模型（需要用户提供合适的 API 接口或加载逻辑）。
适用场景
- 研究型项目的语言模型性能评估。
- 对标已有模型的性能表现，尤其是研究 LLM 的对比性实验。

简介
- OpenCompass 是一个开源的评测框架，特别针对国内外大语言模型的性能评估需求设计。
- 由国内开发者和开源社区维护，支持对中文语料和任务的深入评测。
特点
- 本地化支持：尤其适合中文 NLP 的评测任务，支持大量中文基准测试数据集（如 CLUE）。
- 多模型兼容：支持 Hugging Face 模型、开源 LLM，以及通过 API 的商用模型（如百度文心、阿里通义）。
- 可扩展性：用户可以轻松添加自定义任务或数据集。
支持的模型
- Hugging Face 的 Transformer 模型。
- 国内外开源的 LLM，如 ChatGLM、MOSS、LLaMA、Falcon。
- 提供 API 的商用模型，如百度文心、阿里通义、讯飞星火等。
适用场景
- 针对中文任务的评估（例如文本分类、问答生成）。
- 比较国内外大语言模型在中文任务上的表现差异。

简介
- EvalScope 是魔搭社区倾力打造的模型评测与性能基准测试框架，为您的模型评估需求提供一站式解决方案。
- 由国内开发者和开源社区维护，支持对中文语料和任务的深入评测。
特点
- 本地化支持：内置多个业界认可的测试基准和评测指标：MMLU、CMMLU、C-Eval、GSM8K 等。
- 多模型兼容：支持 Hugging Face 模型、开源 LLM，以及通过 API 的商用模型（如百度文心、阿里通义）。
- 可扩展性：用户可以轻松添加自定义任务或数据集。
支持的模型
- 大语言模型。
- Embedding 模型
- 多模态模型。
- AIGC模型。

ClawEval 面向模型在 Agent 任务中的能力评估。需要当前实例已提供相应评测镜像、数据和任务环境；具体指标、任务集和运行次数按任务配置及所用版本记录。

特点	lm-evaluation-harness	OpenCompass	Evalscope	ClawEval
任务范围	全球化任务（英文为主）	特别关注中文任务	综合多模态与中文基准	Agent 任务能力
模型支持	开源模型 + API 模型	开源模型 + 国内商用模型	开源模型 + 国内商用模型	OpenAI 兼容 API + CSGHub Endpoint + 开源模型
适用场景	学术研究，英文为主的模型性能对比	中文任务评估，国内外模型性能比较	中文与多模态模型性能基准测评	LLM Agent 任务完成能力与稳定性评测
评测特点 / 指标	标准 NLP Benchmark	本地化丰富中文任务集	支持 LLM/多模态/AIGC 全栈测评	以所用任务集和镜像版本的指标定义为准