跳到主要内容

创建模型评测任务

创建模型评测任务​

在模型页面点击“模型评测”，点击后跳转创建页面。

注意：仅部分模型支持创建评测任务，如您想要使用的模型没有“模型评测”选项，请联系我们。

创建模型评测

创建页面​

进入模型评测任务创建页面，配置基本信息、模型版本、评测框架与数据集，然后点击“创建评测”按钮发起任务。

1. 基本信息与模型版本配置​

创建基本信息与模型选择
  • 所有者：选择个人账号或所属组织作为任务归属方。
  • 评测名称：自定义评测任务名称，便于后续在评测列表中检索。
  • 评测模型与版本（支持多模型/多版本比对）：
    • 点击“+ 添加模型”按钮，可添加多个模型进行跨模型横向能力对比（例如对比不同厂商或不同参数量的主干模型）。
    • 支持针对同一模型选择不同的分支（Branch）或提交版本（Commit Hash），用于衡量微调前后或不同训练检查点（Checkpoint）间的性能提升。
    • 点击右侧红色减号按钮可移除不需要的对比项。
  • 评测描述：选填，可记录本次评测的目的、实验变量或调优说明。
  • 资源类型与区域：评测支持共享资源和专属资源两种模式，创建任务时可选择所需模式。使用专属资源时，请根据待测模型的大小规格选择适配的算力资源区域（例如 A100 区），避免资源过小导致任务执行失败。

2. 评测框架与数据集配置​

评测框架与数据集配置
  • 评测框架与版本：选择适配的底层评测框架（如 evalscope）及其框架镜像版本（如 1.11.1-cu130）。
  • 评测数据集：
    • 系统推荐数据集：采用系统预置并验证的权威评测基准数据集（如 IQuiz、GPQA 等），快速启动标准化评测。
    • 自选数据集：支持按业务场景从平台中任意可用数据集（包括公开和私有托管数据集）中选择自定义测试集。

评测任务列表​

创建完成后在个人信息或组织页面的“模型评测”中可查看所有评测任务及其运行状态。