Перейти к содержанию
Демо-концепт

Вымышленный бренд, спроектированный и созданный Get Ranked On Top. Не настоящая компания.

Перейти к содержанию

Все системы в норме · работают 14 из 14 регионов

Инференс со скоростью мысли.

112 мс — медианное время до первого токена. 1184 токена в секунду на модели 70B. Более 60 моделей с открытыми весами за одним API, на GPU, которые мы сами распределяем по 14 регионам: serverless, выделенные мощности или прямо в вашем VPC.

41,7 млрд
токенов в сутки
112 мс
p50 до первого токена
99,993 %
доступность API за 90 дней
14
регионов, GPU на трёх континентах

Работают в продакшене

HALDEN/LABStidewaterParallax▲LegalMOSAIC HEALTHquorum.aiLattice & LoomNORTHFORMbrevet

01Песочница

Посмотрите, как приходит первый токен.

Выберите промпт. Показатели — то, что наш edge измеряет на каждом запросе: время до первого токена, а затем устойчивую пропускную способность.

  • Спекулятивное декодированиевключено по умолчанию
  • Непрерывный батчинг256 посл. / GPU
  • Повторное использование KV-кеша−75 % на кешированный ввод
  • Холодный старт, serverless0 мс · всегда прогрет
playground · api.halvorn.example/v1ожидание
Выберите готовый промпт и запустите его на эндпоинте, который ведёт себя как настоящий.
// здесь появится потоковый ответ
// показатели считаются от начала запроса
модель
—
до первого токена
0 мс
пропускная способность
0 tok/s
токены
0

02Каталог моделей

62 модели. Один эндпоинт.

У каждой модели есть вызов инструментов, режим JSON и стриминг. Новые релизы с открытыми весами появляются в течение 48 часов — после бенчмарков, а не до.

Каталог моделей Halvorn: длина контекста, цена за миллион токенов и задержка
МодельТипКонтекстВвод $/MВывод $/Mp50 TTFTСкоростьСтатус
vela-3-405bчат128k3,20 $3,20 $214 мс412 tok/sработает
vela-3-70bчат128k0,54 $0,72 $112 мс1 184 tok/sработает
vela-3-8bчат128k0,06 $0,08 $71 мс2 940 tok/sработает
orrin-coder-34bкод64k0,38 $0,48 $131 мс1 026 tok/sработает
lumen-vl-90bзрение32k0,90 $1,10 $188 мс604 tok/sработает
tern-reason-32bрассуждение128k0,42 $1,68 $146 мс880 tok/sработает
sable-embed-2эмбеддинги8k0,04 $—18 мс—работает
sable-rerank-2реранк8k0,05 $—24 мс—работает

Показано 8 из 62. Задержка: замер на клиенте, тот же город, промпт 512 токенов, p50 за 30 дней.

03Бенчмарки

В 2,4 раза быстрее. Ждать на 61 % меньше.

vela-3-70b, одинаковые веса и настройки семплирования у каждого провайдера. Мы публикуем стенд — запустите его сами, прежде чем нам верить.

Скорость вывода · vela-3-70bбольше — лучше
  • Halvorn1 184 tok/s
  • Провайдер A486 tok/s
  • Провайдер B352 tok/s
  • Провайдер C301 tok/s
  • Свой сервер, 8 GPU238 tok/s
Время до первого токена · p50меньше — лучше
  • Halvorn112 мс
  • Провайдер A284 мс
  • Провайдер B391 мс
  • Провайдер C446 мс
  • Свой сервер, 8 GPU612 мс
Нагрузка512 токенов на вход / 1024 на выход, 32 параллельных потока
Период72 ч, 1,2 млн запросов, сентябрь 2026
Клиентв том же городе, что и эндпоинт, HTTP/2 keep-alive
Провайдерыанонимизированы, публичный прайс

04Быстрый старт

Поменяйте один URL. Код оставьте.

SDK следуют той же схеме chat completions, что у вас уже в продакшене. Обычно миграция — это base URL и название модели.

  1. Создайте ключС доступом на уровне проекта и жёстким месячным лимитом расходов.
  2. Направьте клиентapi.halvorn.example/v1 — или поставьте SDK.
  3. СтримьтеServer-sent events, вызов инструментов и режим JSON из коробки.
stream.py
from halvorn import Halvorn

client = Halvorn()  # читает HALVORN_API_KEY

stream = client.chat.completions.create(
    model="vela-3-70b",
    messages=[{"role": "user", "content": "Выкатываем."}],
    max_tokens=512,
    stream=True,
)

for chunk in stream:
    print(chunk.delta, end="", flush=True)

05Регионы

14 регионов. Меньше 20 мс для 91 % интернета.

Anycast-маршрутизация отправляет каждый запрос в ближайший исправный пул GPU. Для резидентности данных закрепите ключ за регионом или только за ЕС.

Карта 14 GPU-регионов Halvorn в Северной и Южной Америке, Европе, Азии и Океанииsfo1pdx1ord1yyz1iad1gru1lhr1fra1arn1bom1sin1icn1hnd1syd1
Регионы и медианное время приёма-передачи из местного города
РегионГородRTT
sfo1Сан-Франциско4 мс
pdx1Портленд11 мс
ord1Чикаго9 мс
yyz1Торонто12 мс
iad1Эшберн7 мс
gru1Сан-Паулу18 мс
lhr1Лондон6 мс
fra1Франкфурт5 мс
arn1Стокгольм9 мс
bom1Мумбаи14 мс
sin1Сингапур8 мс
icn1Сеул10 мс
hnd1Токио6 мс
syd1Сидней13 мс

06Цены

За миллион токенов. И всё.

Без платы за места, без минимумов на serverless, без платы за исходящий трафик. Кешированный ввод — на 75 % дешевле; batch API — на 50 % дешевле с окном 24 часа.

Цены serverless за миллион токенов в долларах США
МодельВводКеш. вводВыводBatch-ввод
vela-3-8b0,06 $0,015 $0,08 $0,03 $
vela-3-70b0,54 $0,135 $0,72 $0,27 $
vela-3-405b3,20 $0,80 $3,20 $1,60 $
orrin-coder-34b0,38 $0,095 $0,48 $0,19 $
tern-reason-32b0,42 $0,105 $1,68 $0,21 $
lumen-vl-90b0,90 $0,225 $1,10 $0,45 $
sable-embed-20,04 $——0,02 $

Serverless

0 $

на старте · оплата за токены

Общие эндпоинты с автомасштабированием для каждой модели каталога. Лимиты запросов растут вместе с расходами.

  • 5 $ бесплатно, без карты
  • 600 RPM → 60 000 RPM
  • Batch API со скидкой 50 %
  • Поддержка сообщества
Ключ API

Выделенный

выбирают чаще

2,85 $

за GPU-час · посекундная оплата

Зарезервированные мощности с вашими весами, LoRA-адаптерами и приватным эндпоинтом в любом регионе.

  • Ваш собственный файнтюн
  • Автомасштаб 1 → 512 GPU
  • SLA доступности 99,95 %
  • Общий канал в Slack
Забронировать мощности

Enterprise

Договорная

годовой контракт

Рантайм Halvorn в вашем VPC или дата-центре, цены за гарантированный объём и закреплённый инженер.

  • Развёртывание в VPC и on-prem
  • Нулевое хранение — по договору
  • SLA доступности 99,99 %
  • Ответ на P1 за 15 мин
Поговорить с инженером

07Enterprise

Ваш VPC. Ваши ключи. Ноль хранения.

Тот же рантайм, что обслуживает 41,7 млрд токенов в сутки, — там, где уже живут ваши данные. Управляющий слой у нас, слой данных — у вас.

VPC

Работает в вашем облаке

Наш планировщик и ядра разворачиваются в вашем VPC одним модулем Terraform. Веса, промпты и логи никогда не покидают ваш периметр.

0 с

Нулевое хранение данных

Промпты и ответы живут в памяти только на время запроса, потом удаляются. Никакого обучения на вашем трафике — это прописано в договоре.

BYOK

Ваши ключи, ваш аудит

Ключи шифрования под управлением клиента, SSO со SCIM, лимиты расходов на каждый ключ и неизменяемый журнал аудита с выгрузкой в ваш SIEM.

1:1

Закреплённый инженер по инференсу

Планирование мощностей, тюнинг ядер под ваши длины последовательностей и круглосуточный ответ на P1 за 15 минут.

08Клиенты

Измерено в продакшене.

От стартапов из трёх человек до команд, которые гонят больше 2 млрд токенов в день. Цифры — их собственные.

«Мы перенесли 2,3 млрд токенов в день за одни выходные. p95 задержки у нашего агента поддержки упал с 2,1 с до 640 мс, а счёт — на 41 %.»
Mira CastellanosРуководитель платформы, Tidewater
«Нулевое хранение было обязательным условием для нашего юротдела. Halvorn внёс его в MSA на первом же созвоне, а не на четвёртом.»
Jonah LindqvistCTO, Parallax Legal
«Спекулятивное декодирование на нашем собственном файнтюне, в нашем VPC, и нам не пришлось писать ни одного CUDA-ядра. В этом и было всё обещание — и оно сдержано.»
Priya RamanВедущий ML-инженер, Halden Labs

09Поговорить с инженером

Приходите с нагрузкой. Уходите с цифрой.

Расскажите о модели, пиковом RPM и длинах последовательностей. Мы ответим оценкой задержки и стоимости по реальному прогону бенчмарка — обычно в течение дня.

  • Продажиsales@halvorn.example
  • Поддержкаhelp@halvorn.example
  • Телефон+00 415 010 2266
  • Офис480 Harrow St, 6-й этаж, Сан-Франциско
Ответим за 1 рабочий день. Без цепочки продающих писем.

10Вопросы

Что инженеры спрашивают первым делом.

API можно просто подставить вместо того, что у нас сейчас?

Halvorn реализует де-факто стандартные схемы chat completions, embeddings и batch. Большинство команд меняют base URL и название модели; стриминг, вызов инструментов и режим JSON работают так же.

Как измеряется задержка?

p50 времени до первого токена замеряется на клиенте: от выхода запроса из ВМ в том же городе до первого байта потока, промпты по 512 токенов, скользящее окно 30 дней. Сырые перцентили мы ежедневно публикуем на status.halvorn.example.

Вы обучаете модели на наших промптах или ответах?

Нет. Serverless-трафик по умолчанию хранится 0 секунд; 30-дневное логирование включается только по вашему желанию, нужно лишь для вашей отладки и шифруется вашим ключом.

Можно запускать собственные дообученные веса?

Да. Загрузите safetensors или дайте ссылку на бакет. Выделенные эндпоинты обслуживают полные файнтюны; serverless-эндпоинты на лету переключают до 1000 LoRA-адаптеров на базовую модель без доплаты.

Что будет, если регион деградирует?

Запросы переключаются на ближайший исправный регион меньше чем за 3 секунды, если вы не закрепили резидентность. Ключи, закреплённые за ЕС, переключаются только между lhr1, fra1 и arn1.

Как устроена оплата?

За миллион токенов на serverless, за GPU-секунду на выделенных мощностях, счёт раз в месяц. Кешированные входные токены стоят 25 % от цены ввода; batch API — на 50 % дешевле с окном 24 часа.