跳到主要内容

下载数据集

如果您想获取传神社区平台上的数据集并下载至本地，当前我们支持通过Git、Web端下载、命令行下载以及SDK四种方式下载数据集。

使用Git下载数据集​

从当前仓库页面复制克隆地址。下例为占位示例，替换域名、命名空间及仓库名；SSH 端口按部署配置使用。

使用 HTTPS 下载；访问私有仓库时，使用本实例账号和 Access Token 完成认证：

git lfs install
git clone https://opencsg.com/datasets/your-namespace/example-dataset.git

使用 SSH 下载；先在本实例“账号设置 → SSH Keys”添加公钥：

git lfs install
git clone ssh://git@hub.opencsg.com/datasets/your-namespace/example-dataset.git

下载后检查实际文件内容。若仅得到 Git LFS 指针文件，在本地仓库目录执行 git lfs pull；失败时核对权限、网络和磁盘空间。

凭据说明 · SSH 公钥设置

在Web端下载数据​

在仓库“文件”页找到目标文件，点击下载按钮。下载完成后检查文件名与内容；下载整个仓库可使用本页的 Git 方式。

下载文件

使用命令行下载数据集​

安装与当前实例兼容的 CSGHub SDK，并在运行环境中设置该实例的 CSGHUB_TOKEN。凭据说明见 Access Token。

python -m pip install csghub-sdk
csghub-cli download --help

下例使用传神社区的平台 API 地址；其他站点请使用对应管理员提供的地址和该站点账号的 Access Token。 将仓库 ID 替换成已有且有权限访问的数据集仓库；不要把推理网关 API Key 当作下载凭据。

export CSGHUB_ENDPOINT="https://hub.opencsg.com"
csghub-cli download your-namespace/example-dataset \
  --repo-type dataset --endpoint "$CSGHUB_ENDPOINT"

使用 SDK 下载数据集​

复用上面设置的 CSGHUB_ENDPOINT 和 CSGHUB_TOKEN：

import os
from pycsghub.snapshot_download import snapshot_download

result = snapshot_download(
    "your-namespace/example-dataset",
    repo_type="dataset",
    endpoint=os.environ["CSGHUB_ENDPOINT"],
    token=os.environ["CSGHUB_TOKEN"],
    cache_dir="./csghub-cache",
)
print(result)

验证下载结果​

检查输出目录、文件数量与目标仓库版本；如只看到包含 LFS 指针的文本文件，需继续下载实际大文件。失败时先核对目标地址、仓库类型、仓库 ID 与访问权限，再查看错误信息。复现实验时同时记录仓库 commit。