Bağımsız GPU'lardan oluşan bir ağdan çıkarım

Sohbet, kod, gömme, görsel ve video için tek bir OpenAI uyumlu API. Her yerdeki boşta GPU'lar katılıp kredi kazanabilir.

curl
curl https://babelmesh.ai/v1/chat/completions \
  -H "Authorization: Bearer $BABEL_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role": "user",
                  "content": "Explain a hash ring"}]
  }'
Ağ geçidi modeli ve ona uygun bir düğümü seçer.
0
mevcut model
none yet
şu anda neler yapabildiği

Dört tür iş, tek anahtar

Aşağıdaki görsel ve klip ağın kendisinde üretildi.

Sohbet ve kod

auto isteyin, istek okunur, saklanmaz: kısa sorular hızlı bir modele, kod bir kod modeline, zor problemler en güçlüye gider.

python
client = OpenAI(base_url="https://babelmesh.ai/v1",
                api_key="sk-fab-...")
client.chat.completions.create(
    model="auto", stream=True,
    messages=[{"role": "user", "content": "..."}])

Görseller

Bir cümle, bir resim.

Ağda üretilen bir görsel: yağmurlu bir gecede pencere kenarında bir masa lambası ve açık bir kitap

Gömmeler

Arama ve getirme için metinden vektörlere; sıradan CPU'larda çalışan küçük bir modelle.

curl
curl https://babelmesh.ai/v1/embeddings \
  -H "Authorization: Bearer $BABEL_KEY" \
  -d '{"model": "embedding-default",
       "input": ["a lighthouse at dawn"]}'

Video

Arka planda üretilen kısa klipler. Birkaç dakika sürer ve bittiğinde dosya kaydedilmeye hazırdır.

Bir isteğe ne olur

  1. Gönder

    Uygulamanız API'yi bir anahtarla çağırır, diğer OpenAI uyumlu hizmetler gibi.

  2. Yönlendir

    Ağ geçidi uygun bir düğüm seçer: modele, istemin uzunluğuna ve mevcut yüke göre.

  3. Hesaplama

    Düğüm modeli çalıştırır ve cevabı ağ geçidi üzerinden akış olarak geri gönderir.

  4. Doğrula

    İki taraf da bir makbuz imzalar ve sonuçların bir kısmı kontrol için yeniden hesaplanır.

Elinizdekini ödünç verin

Bilgisayarınız boştayken kredi kazanın. Yalnızca siz onay verdikten sonra başlar ve istediğiniz zaman durdurabilirsiniz.

  • Bir ekran kartı

    NVIDIA, AMD, Intel veya Apple silikon. Siz yokken sohbet, kod, görsel ve video işlerine hizmet eder.

  • Yalnızca bir işlemci

    Kullanılabilir GPU yok mu? Küçük modeller ve gömmeler için CPU'yu ödünç verin. İş parçacıklarının yalnızca yaklaşık yarısı kullanılır.

Bugün ve sonrası

Şu anda mevcut

  • Sohbet, kod, gömme (embedding), görsel ve video
  • OpenAI uyumlu bir API; mevcut araçlarınız olduğu gibi çalışır
  • Canlı erişilebilirlik ve hız gösteren bir durum sayfası

Devam ediyor, tarih yok

  • GPU ve CPU paylaşımlı Babel Mesh masaüstü istemcisi
  • Kazanılan kredilerin nakit olarak ödenmesi; kimlik doğrulaması ve inceleme gerektirir
  • Daha fazla ve daha büyük model

Sorular

Ücretlendirme nasıl?

Kullanım kredi cinsinden ücretlendirilir: metin ve gömmede token başına, görselde adet başına, videoda saniye başına. Krediler, hesaplama paylaşılarak da kazanılabilir.

Başkaları gönderdiklerimi görebilir mi?

İsteğinizi işleyen düğüm onu okuyabilir ancak kim olduğunuzu göremez. Babel Mesh konuşmaları saklamaz ve muhasebe makbuzlarında yalnızca özetler (hash) ve kullanım bulunur. Yalnızca bir içerik kuralını tetikleyen istek, eşleşmenin çevresinden kısa bir alıntı bırakır. Parola, kimlik numarası veya başka hassas materyal göndermeyin. Daha fazlası güvenlik sayfasında.

Bulut GPU kiralamaktan farkı ne?

İstekler birçok bağımsız makineye dağıtılır. Bütün bir makineyi kiralamaz ve bir ortam kurmazsınız, kullandığınız kadar ödersiniz. Sunulan şey model çıkarımıdır, ham GPU kiralaması değil.

Hangi sistemler ve kartlar hesaplama paylaşabilir?

NVIDIA (CUDA) ya da AMD ve Intel (Vulkan) kartlı Windows ve Linux (x86-64) ile Apple silikonlu Mac'ler (Metal). Kullanılabilir ekran kartı olmayan bir bilgisayar işlemcisini paylaşabilir. İstemci hazırlanıyor.

İlk çağrıyı yapın