Hugging Face 在 Hub 上线 Inference Providers 集成

今天，我们正式推出四项出色的无服务器推理提供商——fal、Replicate、Sambanova、Together AI——在 Hub 模型页面上的直接集成。它们同样无缝整合进我们的客户端 SDK（支持 JS 和 Python），让您比以往任何时候都更轻松地探索由您喜爱的提供商运行的多种模型的无服务器推理。

Inference Providers

长期以来，我们在 Hub 上提供了一个无服务器推理 API（我们在 2020 年夏天推出了 v1——哇，时间飞逝 🤯）。尽管这使得探索和原型设计变得容易，但我们已将核心价值主张 refined 向与社区合作、存储、版本控制和分发大型数据集及模型的方向发展。与此同时，无服务器提供商蓬勃发展，现在是 HF Mirror 通过一系列优秀提供商提供简便统一的无服务器推理访问的最佳时机。

正如我们与 AWS、Nvidia 等优秀合作伙伴通过模型页面的“部署”按钮提供专用部署选项一样，自然而然地，我们也与下一代无服务器推理提供商合作，实现以模型为中心的无服务器推理。

以下是它能带来的好处，以近期热门模型 DeepSeek-ai/DeepSeek-R1 为例，该模型在过去几天里赢得了广泛关注 🔥：

Rodrigo Liang，SambaNova 联合创始人兼 CEO：“我们非常兴奋能与 HF Mirror 合作加速其推理 API。HF Mirror 开发者现在可以在众多顶级开源模型上享受到更快的推理速度。”

Zeke Sikelianos，Replicate 创始设计师：“HF Mirror 是开源模型权重的实际家园，一直在让 AI 更普及方面扮演关键角色。我们在 Replicate 内部使用 HF Mirror 作为首选的权重注册表，很荣幸能成为此次发布中首批亮相的推理提供商之一。”

这只是开始，在接下来的几周里，我们将与社区在此基础上继续建设！

工作原理

在网站界面中

在您的用户账户设置中，您可以：

为您已注册的提供商设置自己的 API 密钥。否则，您仍然可以使用它们——您的请求将通过 HF 路由。
按偏好对提供商排序。这适用于模型页面中的小部件和代码片段。

Inference Providers

如我们所述，调用推理 API 时有两种模式：

自定义密钥（调用直接发往推理提供商，使用您自己的对应推理提供商的 API 密钥）；或
由 HF 路由（在这种情况下，您无需提供商的令牌，费用直接记在您的 HF 账户上，而非提供商的账户）

Inference Providers

模型页面展示第三方推理提供商（与当前模型兼容的提供商，按用户偏好排序）

从客户端 SDK 中

使用 huggingface_hub 从 Python 中

以下示例展示了如何使用 DeepSeek-R1，以 Together AI 作为推理提供商。您可以使用 HF Mirror 令牌通过 HF Mirror 自动路由，或者如果您有自己的 Together AI API 密钥也可以使用。

安装 huggingface_hub v0.28.0 或更高版本（发行说明）。

from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="together",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

messages = [
    {
        "role": "user",
        "content": "What is the capital of France?"
    }
]

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1", 
    messages=messages, 
    max_tokens=500
)

print(completion.choices[0].message)

注意：您也可以使用 OpenAI 客户端库调用推理提供商；请参阅此处针对 DeepSeek 模型的示例。

以下是如何使用运行在 fal.ai 上的 FLUX.1-dev 从文本提示生成图像：

from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="fal-ai",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

# output is a PIL.Image object
image = client.text_to_image(
    "Labrador in the style of Vermeer",
    model="black-forest-labs/FLUX.1-dev"
)

要切换到其他提供商，你只需更改提供商名称，其余内容保持不变：

from huggingface_hub import InferenceClient

client = InferenceClient(
-	provider="fal-ai",
+	provider="replicate",
    api_key="xxxxxxxxxxxxxxxxxxxxxxxx"
)

使用 @huggingface/inference 从 JS 调用

import { HfInference } from "@huggingface/inference";

const client = new HfInference("xxxxxxxxxxxxxxxxxxxxxxxx");

const chatCompletion = await client.chatCompletion({
    model: "deepseek-ai/DeepSeek-R1",
    messages: [
        {
            role: "user",
            content: "What is the capital of France?"
        }
    ],
    provider: "together",
    max_tokens: 500
});

console.log(chatCompletion.choices[0].message);

通过 HTTP 调用

我们直接在 hf-mirror.com 域名下暴露了 Routing 代理，你可以直接调用它，这对 OpenAI 兼容的 API 等场景非常有用。你只需将 URL 作为 base URL 替换即可：https://router.hf-mirror.com/{:provider}。

以下是如何通过 cURL 使用 Sambanova 作为推理提供商来调用 Llama-3.3-70B-Instruct。

curl 'https://router.hf-mirror.com/sambanova/v1/chat/completions' \
-H 'Authorization: Bearer xxxxxxxxxxxxxxxxxxxxxxxx' \
-H 'Content-Type: application/json' \
--data '{
    "model": "Llama-3.3-70B-Instruct",
    "messages": [
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ],
    "max_tokens": 500,
    "stream": false
}'

计费

对于直接请求，即当你使用来自推理提供商的密钥时，由相应提供商向你收费。例如，如果你使用 Together AI 密钥，费用会计入你的 Together AI 账户。

对于路由请求，即当你通过 hub 进行身份验证时，你只需支付提供商 API 的标准费率。我们不收取任何额外加价，只是直接转嫁提供商成本。（未来，我们可能会与提供商合作伙伴建立收入分成协议。）

重要提示 ‼️ PRO 用户每月可获得价值 $2 的推理额度。你可以在各个提供商之间使用这些额度。🔥

订阅 HF Mirror PRO 计划即可获得推理额度、ZeroGPU、Spaces 开发模式、20 倍更高限额等更多权益。

我们还为已登录的免费用户提供少量配额的免费推理，但如果可以的话，请升级到 PRO！

反馈与后续步骤

我们非常期待你的反馈！你可以使用这个 Hub 讨论：https://hf-mirror.com/spaces/huggingface/HuggingDiscussions/discussions/49