Към съдържанието
Демо концепция

Измислена марка, проектирана и изработена от Get Ranked On Top. Не е истинска компания.

Към съдържанието

Всички системи работят · 14 от 14 региона обслужват

Инференс със скоростта на мисълта.

112 мс медианно време до първия токен. 1184 токена в секунда на модел 70B. Над 60 модела с отворени тегла зад един API, на GPU, които сами разпределяме в 14 региона — serverless, dedicated или във вашия VPC.

41,7 млрд
обслужени токена / ден
112 мс
p50 време до първия токен
99,993%
наличност на API за 90 дни
14
региона, GPU на 3 континента

В продукция при

HALDEN/LABStidewaterParallax▲LegalMOSAIC HEALTHquorum.aiLattice & LoomNORTHFORMbrevet

01Playground

Вижте как пристига първият токен.

Изберете промпт. Показанията са това, което нашият edge мери при всяка заявка: време до първия токен, после устойчива пропускателна способност.

  • Спекулативно декодираневключено по подразбиране
  • Непрекъснато батчиране256 посл. / GPU
  • Преизползване на KV кеша75% отстъпка за кеширан вход
  • Студен старт, serverless0 мс · винаги загрят
playground · api.halvorn.example/v1в готовност
Изберете готов промпт и го пуснете на ендпойнт, който се държи като истински.
// тук ще потече отговорът
// показанията се мерят от началото на заявката
модел
—
до първия токен
0 мс
пропускателност
0 tok/s
токени
0

02Каталог модели

62 модела. Един ендпойнт.

Всеки модел идва с извикване на инструменти, JSON режим и стрийминг. Нови издания с отворени тегла излизат до 48 часа — след бенчмарк, не преди.

Каталог модели на Halvorn с дължина на контекста, цена за милион токена и латентност
МоделТипКонтекстВход $/MИзход $/Mp50 TTFTСкоростСтатус
vela-3-405bчат128k3,20 $3,20 $214 мс412 tok/sработи
vela-3-70bчат128k0,54 $0,72 $112 мс1184 tok/sработи
vela-3-8bчат128k0,06 $0,08 $71 мс2940 tok/sработи
orrin-coder-34bкод64k0,38 $0,48 $131 мс1026 tok/sработи
lumen-vl-90bзрение32k0,90 $1,10 $188 мс604 tok/sработи
tern-reason-32bразсъждение128k0,42 $1,68 $146 мс880 tok/sработи
sable-embed-2embed8k0,04 $—18 мс—работи
sable-rerank-2rerank8k0,05 $—24 мс—работи

Показани 8 от 62. Латентност: мерена от клиента, същия град, промпт от 512 токена, p50 за 30 дни.

03Бенчмаркове

2,4× пропускателност. 61% по-малко чакане.

vela-3-70b, еднакви тегла и настройки на семплиране при всеки доставчик. Публикуваме тестовата среда — пуснете я сами, преди да ни повярвате.

Изходна скорост · vela-3-70bповече е по-добре
  • Halvorn1184 tok/s
  • Доставчик A486 tok/s
  • Доставчик B352 tok/s
  • Доставчик C301 tok/s
  • Собствен сървър, 8 GPU238 tok/s
Време до първия токен · p50по-малко е по-добре
  • Halvorn112 мс
  • Доставчик A284 мс
  • Доставчик B391 мс
  • Доставчик C446 мс
  • Собствен сървър, 8 GPU612 мс
Натоварване512 входни / 1024 изходни токена, 32 паралелни потока
Период72 ч, 1,2 млн заявки, септ. 2026
Клиентв същия град като ендпойнта, HTTP/2 keep-alive
Доставчицианонимизирани, публична ценова листа

04Бърз старт

Сменете един URL. Кодът остава.

SDK-тата следват схемата chat completions, която вече ползвате. Повечето миграции са един base URL и едно име на модел.

  1. Създайте ключС обхват по проект и твърд месечен лимит на разходите.
  2. Насочете клиентаapi.halvorn.example/v1 или инсталирайте SDK-то.
  3. СтриймвайтеServer-sent events, извикване на инструменти и JSON режим наготово.
stream.py
from halvorn import Halvorn

client = Halvorn()  # чете HALVORN_API_KEY

stream = client.chat.completions.create(
    model="vela-3-70b",
    messages=[{"role": "user", "content": "Пускай го."}],
    max_tokens=512,
    stream=True,
)

for chunk in stream:
    print(chunk.delta, end="", flush=True)

05Региони

14 региона. Под 20 мс за 91% от интернет.

Anycast маршрутизацията праща всяка заявка до най-близкия здрав GPU пул. За местонахождение на данните закачете ключ към регион или само към ЕС.

Карта на 14-те GPU региона на Halvorn в Северна и Южна Америка, Европа, Азия и Океанияsfo1pdx1ord1yyz1iad1gru1lhr1fra1arn1bom1sin1icn1hnd1syd1
Региони с медианно време за двупосочно предаване от местния град
РегионГрадRTT
sfo1Сан Франциско4 мс
pdx1Портланд11 мс
ord1Чикаго9 мс
yyz1Торонто12 мс
iad1Ашбърн7 мс
gru1Сао Пауло18 мс
lhr1Лондон6 мс
fra1Франкфурт5 мс
arn1Стокхолм9 мс
bom1Мумбай14 мс
sin1Сингапур8 мс
icn1Сеул10 мс
hnd1Токио6 мс
syd1Сидни13 мс

06Цени

За милион токена. Нищо друго.

Без такси на потребител, без минимуми при serverless, без такси за изходящ трафик. Кешираният вход е със 75% отстъпка; batch API — с 50% и прозорец от 24 часа.

Serverless цена за милион токена в щатски долари
МоделВходКеширан входИзходBatch вход
vela-3-8b0,06 $0,015 $0,08 $0,03 $
vela-3-70b0,54 $0,135 $0,72 $0,27 $
vela-3-405b3,20 $0,80 $3,20 $1,60 $
orrin-coder-34b0,38 $0,095 $0,48 $0,19 $
tern-reason-32b0,42 $0,105 $1,68 $0,21 $
lumen-vl-90b0,90 $0,225 $1,10 $0,45 $
sable-embed-20,04 $——0,02 $

Serverless

0 $

за старт · плащане на токен

Споделени ендпойнти с автоматично мащабиране за всеки модел от каталога. Лимитите растат автоматично с разходите.

  • 5 $ безплатен кредит, без карта
  • 600 RPM → 60 000 RPM
  • Batch API с 50% отстъпка
  • Поддръжка от общността
Вземете API ключ

Dedicated

най-избиран

2,85 $

на GPU час · таксуване на секунда

Резервиран капацитет с ваши тегла, LoRA адаптери и частен ендпойнт във всеки регион.

  • Ваш собствен fine-tune
  • Автомащаб 1 → 512 GPU
  • SLA за наличност 99,95%
  • Общ Slack канал
Резервирайте капацитет

Enterprise

По договаряне

годишен ангажимент

Рънтаймът на Halvorn във вашия VPC или център за данни, с цени за ангажиран обем и посочен инженер.

  • VPC и on-prem внедряване
  • Нулево съхранение — по договор
  • SLA за наличност 99,99%
  • Отговор на P1 до 15 мин
Говорете с инженер

07Enterprise

Вашият VPC. Вашите ключове. Нулево съхранение.

Същият рънтайм, който обслужва 41,7 млрд токена на ден, внедрен там, където вече живеят данните ви. Контролната равнина е при нас, равнината на данните — при вас.

VPC

Работи във вашия облачен акаунт

Нашият шедулър и ядра се внедряват във вашия VPC с един Terraform модул. Тегла, промптове и логове никога не излизат извън периметъра ви.

0 с

Нулево съхранение на данни

Промптовете и отговорите стоят в паметта само докато трае заявката, после се изтриват. Никакво обучение върху трафика ви — записано е в договора.

BYOK

Вашите ключове, вашата одитна следа

Ключове за криптиране, управлявани от клиента, SSO със SCIM, лимити на разходите за всеки ключ и неизменим одитен лог, експортиран към вашия SIEM.

1:1

Посочен инженер по инференс

Планиране на капацитет, настройка на ядрата за вашите дължини на последователности и денонощен отговор на P1 до 15 минути.

08Клиенти

Измерено в продукция.

От стартъпи с трима души до екипи с над 2 млрд токена на ден. Цифрите са техни.

„Преместихме 2,3 млрд токена на ден за един уикенд. p95 латентността на агента ни за поддръжка падна от 2,1 с на 640 мс, а фактурата — с 41%.“
Mira CastellanosРъководител на платформата, Tidewater
„Нулевото съхранение беше условието на правния ни екип. Halvorn го вписа в MSA още на първия разговор, а не на четвъртия.“
Jonah LindqvistCTO, Parallax Legal
„Спекулативно декодиране върху нашия собствен fine-tune, в нашия VPC, без да пишем нито едно CUDA ядро. Това беше цялото обещание — и то се удържа.“
Priya RamanВодещ ML инженер, Halden Labs

09Говорете с инженер

Донесете натоварване. Тръгнете с цифра.

Кажете ни модела, пиковия RPM и дължините на последователностите. Отговаряме с оценка на латентност и разходи от реален бенчмарк — обикновено до ден.

  • Продажбиsales@halvorn.example
  • Поддръжкаhelp@halvorn.example
  • Телефон+00 415 010 2266
  • Централа480 Harrow St, 6-и етаж, Сан Франциско
Отговор до 1 работен ден. Без поредица от рекламни имейли.

10Въпроси

Какво питат инженерите първо.

Може ли API-то директно да замени това, което ползваме сега?

Halvorn реализира де факто стандартните схеми chat completions, embeddings и batch. Повечето екипи сменят един base URL и едно име на модел; стриймингът, извикването на инструменти и JSON режимът работят по същия начин.

Как се мери латентността?

p50 времето до първия токен се мери от клиента — от излизането на заявка от VM в същия град до първия стрийм байт, промптове от 512 токена, плъзгащ се прозорец от 30 дни. Публикуваме суровите перцентили всеки ден на status.halvorn.example.

Обучавате ли модели върху нашите промптове или отговори?

Не. Serverless трафикът по подразбиране се съхранява 0 секунди; включваното по желание 30-дневно логване е само за вашето дебъгване и е криптирано с вашия ключ.

Можем ли да пуснем собствени fine-tune тегла?

Да. Качете safetensors или ни посочете бъкет. Dedicated ендпойнтите обслужват пълни fine-tune модели; serverless ендпойнтите сменят в движение до 1000 LoRA адаптера на базов модел без допълнително заплащане.

Какво става, ако регион деградира?

Заявките се пренасочват към най-близкия здрав регион за под 3 секунди, освен ако не сте закачили местонахождение. Ключове, закачени към ЕС, се пренасочват само между lhr1, fra1 и arn1.

Как работи таксуването?

За милион токена при serverless, за GPU секунда при dedicated, и двете с месечна фактура. Кешираните входни токени се таксуват на 25% от цената за вход; batch API е с 50% отстъпка и прозорец от 24 часа.