使用模型评测
评测状态
在评测任务列表的“状态”列,可查看评测任务的当前状态。评测任务有以下几种状态:
- 评测中:评测任务创建完成后进入“评测中”状态,评测任务开始运行。此时无法查看评测详情,可删除评测任务。
- 已完成:评测完成,可查看评测详情与指标对比结果。
- 失败:评测失败,具体原因请查看日志排查。
评测详情
在已完成的评测任务列表中,点击“详情”按钮,可以查看本次评测 的详细结果。
- 任务元信息概览:页面顶部展示创建时间、评测涉及的模型及具体 Commit 版本、分配的算力资源(如 A100)以及采用的评测框架版本(如
opencsg/evalscope:1.11.1-cu130)。 - 多模型/多版本对比:若在创建任务时添加了多个模型或多个版本,结果表格中将逐行对比不同模型或 Commit 在目标数据集上的指标得分(如 accuracy 准确率等),直观呈现不同版本在基准任务上的表现差异。
- 分数据集透视:支持切换查看“结果总览”或各个具体评测数据集子项的打分情况。
下载结果
在评测任务详情页右上角或任务列表中,点击“下载评测结果”按钮,可下载该次评测任务的完整结果文件与日志。
删除任务
在完成的评测任务列表中,点击“删除”按钮,可删除该次评测任务。该操作无法撤销,请谨慎操作。