由独立 GPU 组成的推理网络

一个兼容 OpenAI 的接口,覆盖聊天、代码、嵌入、图像和视频。任何地方的闲置 GPU 都可以加入并赚取积分。

curl
curl https://babelmesh.ai/v1/chat/completions \
  -H "Authorization: Bearer $BABEL_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user",
                  "content": "Explain a hash ring"}]
  }'
网关会选好模型,再选一个合适的节点。
0
个可用模型
none yet
现在能做什么

四类任务,一把密钥

下面的图片和视频就是在这个网络上生成的。

聊天和代码

选 auto,请求只会被读取,不会被保存:简短的问题交给快速模型,代码交给代码模型,难题交给最强的模型。

python
client = OpenAI(base_url="https://babelmesh.ai/v1",
                api_key="sk-fab-...")
client.chat.completions.create(
    model="auto", stream=True,
    messages=[{"role": "user", "content": "..."}])

图像

一句话,一张图。

在网络上生成的一张图片:雨夜窗边的一盏台灯和一本翻开的书

嵌入

把文本变成向量,用于搜索和检索,用的是能在普通 CPU 上运行的小模型。

curl
curl https://babelmesh.ai/v1/embeddings \
  -H "Authorization: Bearer $BABEL_KEY" \
  -d '{"model": "embedding-default",
       "input": ["a lighthouse at dawn"]}'

视频

短视频在后台生成。需要几分钟,完成后文件就可以保存。

一个请求会经历什么

  1. 发送

    你的应用带着密钥调用 API,和其他兼容 OpenAI 的服务一样。

  2. 分配

    网关挑一个合适的节点:看模型、提示词的长度和当前负载。

  3. 计算

    节点运行模型,并把答案通过网关流式送回来。

  4. 核验

    双方对回执签名,还会把一部分结果重新计算一遍来核对。

借出你有的

电脑空闲时赚取积分。只有你同意之后才会开始,随时可以停止。

  • 一块显卡

    NVIDIA、AMD、Intel 或苹果芯片。你不在的时候,它负责处理聊天、代码、图像和视频。

  • 只有处理器

    没有可用的 GPU?可以借出 CPU 来跑小模型和嵌入,只会用大约一半的线程。

现在与接下来

现已提供

  • 聊天、代码、嵌入、图像和视频
  • 兼容 OpenAI 的接口,现有工具直接就能用
  • 实时显示可用性和速度的状态页

进行中,没有日期

  • Babel Mesh 桌面客户端,支持共享 GPU 和 CPU
  • 把赚到的积分兑付成现金,需要实名验证和审核
  • 更多、更大的模型

常见问题

怎么收费?

用量以积分计费:文本和嵌入按词元,图像按张,视频按秒。共享算力也可以赚取积分。

别人能看到我发送的内容吗?

处理你请求的节点能读到请求,但看不到你是谁。Babel Mesh 不保存对话,记账回执里只有哈希和用量。只有触发内容规则的请求,才会留下命中处前后的一小段摘录。不要发送密码、身份证号或其他敏感材料。详见安全页面。

这和租用云 GPU 有什么不同?

请求分散在许多独立的机器上。你不用租下整台机器,也不用搭环境,用多少付多少。提供的是模型推理,而不是单纯的 GPU 租赁。

哪些系统和显卡可以共享算力?

装有 NVIDIA(CUDA)或 AMD、Intel(Vulkan)显卡的 Windows 和 Linux(x86-64),以及苹果芯片的 Mac(Metal)。没有可用显卡的电脑可以共享处理器。客户端正在准备中。

发出第一个请求