跳到主要内容

使用NIM专属实例

前置条件​

  1. 获取API key
  2. 创建docker registry secret
kubectl create secret docker-registry ngc-secret --docker-server=nvcr.io --docker-username='$oauthtoken' --docker-password=xxxx -n space
  1. 创建NGC_API_KEY secret
kubectl apply -f- <<EOF
apiVersion: v1
kind: Secret
metadata:
  name: nvidia-nim-secrets
  namespace: space
stringData:
  NGC_API_KEY: xxxx
type: Opaque
EOF
  1. 设置模型可以推理, 参考设置模型允许推理

沙盒​

沙盒模块允许用户在无需编写代码的情况下，直接通过图形界面与模型进行交互，测试模型的推理效果。 playground

API 说明​

在沙盒模块中切换到API选项卡，平台给出了如何调用专属实例URL的代码实例，包括Python、JavaScript和cURL三种方式。 API

日志​

在日志页面可以查看推理服务各个实例的运行日志 专属实例日志

计费​

在计费页面可以查看资源的详细使用情况 实例计费