Lumaktaw sa nilalaman
Concept na demo

Isang kathang-isip na brand, dinisenyo at ginawa ng Get Ranked On Top. Hindi ito totoong kumpanya.

Lumaktaw sa nilalaman

Normal ang lahat ng system · 14 sa 14 na rehiyon ang tumatakbo

Inference na kasimbilis ng isip.

112 ms na median time-to-first-token. 1,184 na token kada segundo sa 70B na model. 60+ na open-weight model sa likod ng iisang API, sa mga GPU na kami mismo ang nag-iiskedyul sa 14 na rehiyon — serverless, dedicated, o sa loob mismo ng VPC ninyo.

41.7B
token na naise-serve kada araw
112 ms
p50 bago ang unang token
99.993%
uptime ng API, nakaraang 90 araw
14
rehiyon, GPU sa 3 kontinente

Gamit na sa production ng

HALDEN/LABStidewaterParallax▲LegalMOSAIC HEALTHquorum.aiLattice & LoomNORTHFORMbrevet

01Playground

Panoorin ang pagdating ng unang token.

Pumili ng prompt. Ipinapakita ng mga readout ang sinusukat ng aming edge sa bawat request: oras bago ang unang token, saka ang tuloy-tuloy na throughput.

  • Speculative decodingnaka-on by default
  • Continuous batching256 seq / GPU
  • Muling paggamit ng KV cache75% off sa cached input
  • Cold start, serverless0 ms · laging warm
playground · api.halvorn.example/v1handa
Pumili ng preset na prompt para patakbuhin ito sa endpoint na parang totoo.
// dito lalabas ang stream ng output
// sinusukat ang readouts mula sa simula ng request
model
—
bago ang unang token
0 ms
throughput
0 tok/s
token
0

02Katalogo ng model

62 na model. Iisang endpoint.

Bawat model ay may tool calling, JSON mode at streaming. Ang mga bagong open-weight release ay live sa loob ng 48 oras, naka-benchmark muna bago ilista.

Katalogo ng model ng Halvorn na may context length, presyo kada milyong token at latency
ModelUriContextInput $/MOutput $/Mp50 TTFTThroughputStatus
vela-3-405bchat128k$3.20$3.20214 ms412 tok/stumatakbo
vela-3-70bchat128k$0.54$0.72112 ms1,184 tok/stumatakbo
vela-3-8bchat128k$0.06$0.0871 ms2,940 tok/stumatakbo
orrin-coder-34bcode64k$0.38$0.48131 ms1,026 tok/stumatakbo
lumen-vl-90bvision32k$0.90$1.10188 ms604 tok/stumatakbo
tern-reason-32breasoning128k$0.42$1.68146 ms880 tok/stumatakbo
sable-embed-2embed8k$0.04—18 ms—tumatakbo
sable-rerank-2rerank8k$0.05—24 ms—tumatakbo

Ipinapakita ang 8 sa 62. Latency: sinukat sa client, parehong metro, 512-token na prompt, 30-araw na p50.

03Benchmark

2.4× ang throughput. 61% na mas maikling paghihintay.

vela-3-70b, parehong weights at sampling settings sa bawat provider. Inilalabas namin ang harness; patakbuhin ninyo muna bago kami paniwalaan.

Output throughput · vela-3-70bmas mataas, mas maganda
  • Halvorn1,184 tok/s
  • Provider A486 tok/s
  • Provider B352 tok/s
  • Provider C301 tok/s
  • Self-hosted, 8-GPU na node238 tok/s
Oras bago ang unang token · p50mas mababa, mas maganda
  • Halvorn112 ms
  • Provider A284 ms
  • Provider B391 ms
  • Provider C446 ms
  • Self-hosted, 8-GPU na node612 ms
Workload512 in / 1,024 out na token, 32 sabay na stream
Window72 oras, 1.2M na request, Set 2026
Clientparehong metro ng endpoint, HTTP/2 keep-alive
Mga provideranonymized, pampublikong list price tier

04Quickstart

Isang URL lang ang palitan. Hindi ang code.

Sinusunod ng mga SDK ang chat completions schema na gamit na ninyo. Karamihan ng migration ay base URL at pangalan ng model lang.

  1. Gumawa ng keyNaka-scope kada project, may mahigpit na buwanang spend cap.
  2. Ituro ang clientapi.halvorn.example/v1, o i-install ang SDK.
  3. Mag-streamServer-sent events, tool calls at JSON mode, handa agad.
stream.py
from halvorn import Halvorn

client = Halvorn()  # binabasa ang HALVORN_API_KEY

stream = client.chat.completions.create(
    model="vela-3-70b",
    messages=[{"role": "user", "content": "I-ship na."}],
    max_tokens=512,
    stream=True,
)

for chunk in stream:
    print(chunk.delta, end="", flush=True)

05Mga rehiyon

14 na rehiyon. Wala pang 20 ms mula sa 91% ng internet.

Ipinapadala ng anycast routing ang bawat request sa pinakamalapit na healthy na GPU pool. I-pin ang key sa isang rehiyon, o sa EU lang, para sa data residency.

Mapa ng 14 na GPU region ng Halvorn sa North America, South America, Europe, Asia at Oceaniasfo1pdx1ord1yyz1iad1gru1lhr1fra1arn1bom1sin1icn1hnd1syd1
Mga rehiyon at median round-trip time mula sa lokal na metro
RehiyonMetroRTT
sfo1San Francisco4 ms
pdx1Portland11 ms
ord1Chicago9 ms
yyz1Toronto12 ms
iad1Ashburn7 ms
gru1São Paulo18 ms
lhr1London6 ms
fra1Frankfurt5 ms
arn1Stockholm9 ms
bom1Mumbai14 ms
sin1Singapore8 ms
icn1Seoul10 ms
hnd1Tokyo6 ms
syd1Sydney13 ms

06Presyo

Kada milyong token. Wala nang iba.

Walang seat fee, walang minimum sa serverless, walang egress charge. 75% off ang cached input; 50% off ang batch API na may 24 na oras na window.

Presyo ng serverless kada milyong token sa US dollar
ModelInputCached inputOutputBatch input
vela-3-8b$0.06$0.015$0.08$0.03
vela-3-70b$0.54$0.135$0.72$0.27
vela-3-405b$3.20$0.80$3.20$1.60
orrin-coder-34b$0.38$0.095$0.48$0.19
tern-reason-32b$0.42$0.105$1.68$0.21
lumen-vl-90b$0.90$0.225$1.10$0.45
sable-embed-2$0.04——$0.02

Serverless

$0

para magsimula · bayad kada token

Shared at autoscaled na endpoint para sa bawat model sa katalogo. Kusang tumataas ang rate limit habang lumalaki ang gastos.

  • $5 na libreng credit, walang card
  • 600 RPM → 60,000 RPM
  • Batch API sa 50% off
  • Suporta ng community
Kumuha ng API key

Dedicated

pinakapinipili

$2.85

kada GPU-hour · bayad kada segundo

Nakareserbang capacity para sa sarili ninyong weights, LoRA adapter at pribadong endpoint sa kahit anong rehiyon.

  • Dalhin ang sariling fine-tune
  • Autoscale 1 → 512 GPU
  • 99.95% na uptime SLA
  • Shared na Slack channel
Mag-reserve ng capacity

Enterprise

Custom

taunang commitment

Ang runtime ng Halvorn sa VPC o data center ninyo, may committed-use pricing at sariling engineer.

  • VPC at on-prem na deploy
  • Zero retention, nakasulat sa kontrata
  • 99.99% na uptime SLA
  • 15-min na P1 response
Kausapin ang engineer

07Enterprise

Inyong VPC. Inyong key. Zero retention.

Ang parehong runtime na nagse-serve ng 41.7B na token kada araw, naka-deploy kung nasaan na ang data ninyo. Sa amin ang control plane, sa inyo ang data plane.

VPC

Tumatakbo sa cloud account ninyo

Naka-deploy ang aming scheduler at kernels sa VPC ninyo gamit ang iisang Terraform module. Hindi kailanman lumalabas sa boundary ninyo ang weights, prompt at log.

0 s

Zero data retention

Nasa memory lang ang prompt at completion habang tumatagal ang request, saka binubura. Hindi kailanman ginagamit sa training ang traffic ninyo — nasa kontrata iyan.

BYOK

Inyong key, inyong audit trail

Encryption key na hawak ng customer, SSO na may SCIM, spend cap kada key at immutable na audit log na ine-export sa SIEM ninyo.

1:1

Sariling inference engineer

Capacity planning, kernel tuning para sa sequence length ninyo, at 15-minutong P1 response window, 24/7.

08Mga customer

Sinukat sa production.

Mula sa mga startup na may 3 tao hanggang sa mga team na nagpapatakbo ng 2B+ na token kada araw. Sa kanila ang mga numero.

“Nailipat namin ang 2.3 bilyong token kada araw sa loob ng isang weekend. Bumaba ang p95 latency ng support agent namin mula 2.1 s hanggang 640 ms, at bumaba nang 41% ang invoice.”
Mira CastellanosHead of Platform, Tidewater
“Zero retention ang kondisyon ng legal team namin. Inilagay ito ng Halvorn sa MSA sa unang tawag pa lang, hindi sa ikaapat.”
Jonah LindqvistCTO, Parallax Legal
“Speculative decoding sa sarili naming fine-tune, sa VPC namin, nang hindi kami nagsusulat ng kahit isang CUDA kernel. Iyon ang buong pangako, at tinupad nila.”
Priya RamanStaff ML Engineer, Halden Labs

09Kausapin ang engineer

Magdala ng workload. Umuwi nang may numero.

Sabihin sa amin ang model, peak RPM at sequence length ninyo. Sasagot kami ng latency at cost estimate mula sa totoong benchmark run — kadalasan sa loob ng isang araw.

  • Salessales@halvorn.example
  • Suportahelp@halvorn.example
  • Telepono+00 415 010 2266
  • HQ480 Harrow St, 6th Floor, San Francisco
Sagot sa loob ng 1 business day. Walang sunod-sunod na sales email.

10FAQ

Mga unang tanong ng mga engineer.

Drop-in replacement ba ang API para sa gamit namin ngayon?

Ipinapatupad ng Halvorn ang de-facto na chat completions, embeddings at batch schema. Karamihan ng team ay nagpapalit lang ng base URL at model string; pareho ang kilos ng streaming, tool calls at JSON mode.

Paano sinusukat ang latency?

Sinusukat ang p50 time-to-first-token sa client side, mula sa paglabas ng request sa isang VM sa parehong metro hanggang sa unang streamed byte, 512-token na prompt, 30-araw na rolling window. Araw-araw naming inilalabas ang raw percentiles sa status.halvorn.example.

Ginagamit ba ninyo sa training ang prompt o output namin?

Hindi. By default, 0 segundo lang naiimbak ang serverless traffic; ang opt-in na 30-araw na logging ay para lang sa sarili ninyong debugging at naka-encrypt gamit ang key ninyo.

Puwede ba naming patakbuhin ang sarili naming fine-tuned weights?

Oo. Mag-upload ng safetensors o ituro kami sa isang bucket. Nagse-serve ng full fine-tune ang mga dedicated endpoint; ang mga serverless endpoint ay nakaka-hot-swap ng hanggang 1,000 LoRA adapter kada base model nang walang dagdag na bayad.

Ano'ng mangyayari kapag nag-degrade ang isang rehiyon?

Lilipat ang mga request sa pinakamalapit na healthy na rehiyon sa loob ng wala pang 3 segundo, maliban kung naka-pin ang residency. Ang mga key na naka-pin sa EU ay lumilipat lang sa pagitan ng lhr1, fra1 at arn1.

Paano ang billing?

Kada milyong token sa serverless, kada GPU-second sa dedicated, parehong buwanang invoice. Sinisingil ang cached input token sa 25% ng input rate; 50% off ang batch API na may 24 na oras na window.