Serverless
0 $
на старте · оплата за токены
Общие эндпоинты с автомасштабированием для каждой модели каталога. Лимиты запросов растут вместе с расходами.
- 5 $ бесплатно, без карты
- 600 RPM → 60 000 RPM
- Batch API со скидкой 50 %
- Поддержка сообщества
Вымышленный бренд, спроектированный и созданный Get Ranked On Top. Не настоящая компания.
Все системы в норме · работают 14 из 14 регионов
112 мс — медианное время до первого токена. 1184 токена в секунду на модели 70B. Более 60 моделей с открытыми весами за одним API, на GPU, которые мы сами распределяем по 14 регионам: serverless, выделенные мощности или прямо в вашем VPC.
Работают в продакшене
HALDEN/LABStidewaterParallax▲LegalMOSAIC HEALTHquorum.aiLattice & LoomNORTHFORMbrevet01Песочница
Выберите промпт. Показатели — то, что наш edge измеряет на каждом запросе: время до первого токена, а затем устойчивую пропускную способность.
// здесь появится потоковый ответ
// показатели считаются от начала запроса02Каталог моделей
У каждой модели есть вызов инструментов, режим JSON и стриминг. Новые релизы с открытыми весами появляются в течение 48 часов — после бенчмарков, а не до.
| Модель | Тип | Контекст | Ввод $/M | Вывод $/M | p50 TTFT | Скорость | Статус |
|---|---|---|---|---|---|---|---|
| vela-3-405b | чат | 128k | 3,20 $ | 3,20 $ | 214 мс | 412 tok/s | работает |
| vela-3-70b | чат | 128k | 0,54 $ | 0,72 $ | 112 мс | 1 184 tok/s | работает |
| vela-3-8b | чат | 128k | 0,06 $ | 0,08 $ | 71 мс | 2 940 tok/s | работает |
| orrin-coder-34b | код | 64k | 0,38 $ | 0,48 $ | 131 мс | 1 026 tok/s | работает |
| lumen-vl-90b | зрение | 32k | 0,90 $ | 1,10 $ | 188 мс | 604 tok/s | работает |
| tern-reason-32b | рассуждение | 128k | 0,42 $ | 1,68 $ | 146 мс | 880 tok/s | работает |
| sable-embed-2 | эмбеддинги | 8k | 0,04 $ | — | 18 мс | — | работает |
| sable-rerank-2 | реранк | 8k | 0,05 $ | — | 24 мс | — | работает |
Показано 8 из 62. Задержка: замер на клиенте, тот же город, промпт 512 токенов, p50 за 30 дней.
03Бенчмарки
vela-3-70b, одинаковые веса и настройки семплирования у каждого провайдера. Мы публикуем стенд — запустите его сами, прежде чем нам верить.
04Быстрый старт
SDK следуют той же схеме chat completions, что у вас уже в продакшене. Обычно миграция — это base URL и название модели.
from halvorn import Halvorn client = Halvorn() # читает HALVORN_API_KEY stream = client.chat.completions.create( model="vela-3-70b", messages=[{"role": "user", "content": "Выкатываем."}], max_tokens=512, stream=True, ) for chunk in stream: print(chunk.delta, end="", flush=True)
05Регионы
Anycast-маршрутизация отправляет каждый запрос в ближайший исправный пул GPU. Для резидентности данных закрепите ключ за регионом или только за ЕС.
| Регион | Город | RTT |
|---|---|---|
| sfo1 | Сан-Франциско | 4 мс |
| pdx1 | Портленд | 11 мс |
| ord1 | Чикаго | 9 мс |
| yyz1 | Торонто | 12 мс |
| iad1 | Эшберн | 7 мс |
| gru1 | Сан-Паулу | 18 мс |
| lhr1 | Лондон | 6 мс |
| fra1 | Франкфурт | 5 мс |
| arn1 | Стокгольм | 9 мс |
| bom1 | Мумбаи | 14 мс |
| sin1 | Сингапур | 8 мс |
| icn1 | Сеул | 10 мс |
| hnd1 | Токио | 6 мс |
| syd1 | Сидней | 13 мс |
06Цены
Без платы за места, без минимумов на serverless, без платы за исходящий трафик. Кешированный ввод — на 75 % дешевле; batch API — на 50 % дешевле с окном 24 часа.
| Модель | Ввод | Кеш. ввод | Вывод | Batch-ввод |
|---|---|---|---|---|
| vela-3-8b | 0,06 $ | 0,015 $ | 0,08 $ | 0,03 $ |
| vela-3-70b | 0,54 $ | 0,135 $ | 0,72 $ | 0,27 $ |
| vela-3-405b | 3,20 $ | 0,80 $ | 3,20 $ | 1,60 $ |
| orrin-coder-34b | 0,38 $ | 0,095 $ | 0,48 $ | 0,19 $ |
| tern-reason-32b | 0,42 $ | 0,105 $ | 1,68 $ | 0,21 $ |
| lumen-vl-90b | 0,90 $ | 0,225 $ | 1,10 $ | 0,45 $ |
| sable-embed-2 | 0,04 $ | — | — | 0,02 $ |
0 $
на старте · оплата за токены
Общие эндпоинты с автомасштабированием для каждой модели каталога. Лимиты запросов растут вместе с расходами.
2,85 $
за GPU-час · посекундная оплата
Зарезервированные мощности с вашими весами, LoRA-адаптерами и приватным эндпоинтом в любом регионе.
Договорная
годовой контракт
Рантайм Halvorn в вашем VPC или дата-центре, цены за гарантированный объём и закреплённый инженер.
07Enterprise
Тот же рантайм, что обслуживает 41,7 млрд токенов в сутки, — там, где уже живут ваши данные. Управляющий слой у нас, слой данных — у вас.
Наш планировщик и ядра разворачиваются в вашем VPC одним модулем Terraform. Веса, промпты и логи никогда не покидают ваш периметр.
Промпты и ответы живут в памяти только на время запроса, потом удаляются. Никакого обучения на вашем трафике — это прописано в договоре.
Ключи шифрования под управлением клиента, SSO со SCIM, лимиты расходов на каждый ключ и неизменяемый журнал аудита с выгрузкой в ваш SIEM.
Планирование мощностей, тюнинг ядер под ваши длины последовательностей и круглосуточный ответ на P1 за 15 минут.
08Клиенты
От стартапов из трёх человек до команд, которые гонят больше 2 млрд токенов в день. Цифры — их собственные.
«Мы перенесли 2,3 млрд токенов в день за одни выходные. p95 задержки у нашего агента поддержки упал с 2,1 с до 640 мс, а счёт — на 41 %.»
«Нулевое хранение было обязательным условием для нашего юротдела. Halvorn внёс его в MSA на первом же созвоне, а не на четвёртом.»
«Спекулятивное декодирование на нашем собственном файнтюне, в нашем VPC, и нам не пришлось писать ни одного CUDA-ядра. В этом и было всё обещание — и оно сдержано.»
09Поговорить с инженером
Расскажите о модели, пиковом RPM и длинах последовательностей. Мы ответим оценкой задержки и стоимости по реальному прогону бенчмарка — обычно в течение дня.
10Вопросы
Halvorn реализует де-факто стандартные схемы chat completions, embeddings и batch. Большинство команд меняют base URL и название модели; стриминг, вызов инструментов и режим JSON работают так же.
p50 времени до первого токена замеряется на клиенте: от выхода запроса из ВМ в том же городе до первого байта потока, промпты по 512 токенов, скользящее окно 30 дней. Сырые перцентили мы ежедневно публикуем на status.halvorn.example.
Нет. Serverless-трафик по умолчанию хранится 0 секунд; 30-дневное логирование включается только по вашему желанию, нужно лишь для вашей отладки и шифруется вашим ключом.
Да. Загрузите safetensors или дайте ссылку на бакет. Выделенные эндпоинты обслуживают полные файнтюны; serverless-эндпоинты на лету переключают до 1000 LoRA-адаптеров на базовую модель без доплаты.
Запросы переключаются на ближайший исправный регион меньше чем за 3 секунды, если вы не закрепили резидентность. Ключи, закреплённые за ЕС, переключаются только между lhr1, fra1 и arn1.
За миллион токенов на serverless, за GPU-секунду на выделенных мощностях, счёт раз в месяц. Кешированные входные токены стоят 25 % от цены ввода; batch API — на 50 % дешевле с окном 24 часа.