跳至正文
概念演示

由 Get Ranked On Top 设计和制作的虚构品牌,并非真实公司。

跳到正文

全部系统正常 · 14 个区域全部在线

推理,快如思绪。

首 token 延迟中位数 112 ms。70B 模型每秒 1,184 个 token。60 多个开放权重模型,一个 API 全部调用,运行在我们自主调度、覆盖 14 个区域的 GPU 上——Serverless、专属部署,或直接跑在您的 VPC 里。

417 亿
每日处理 token
112 ms
首 token 延迟 p50
99.993%
API 可用性(近 90 天)
14
个区域,GPU 遍布三大洲

已在生产环境中使用

HALDEN/LABStidewaterParallax▲LegalMOSAIC HEALTHquorum.aiLattice & LoomNORTHFORMbrevet

01Playground

亲眼看首个 token 落地。

选一个提示词。读数显示的就是我们边缘节点对每个请求的实测:先是首 token 时间,然后是持续吞吐量。

  • 推测解码默认开启
  • 连续批处理每 GPU 256 序列
  • KV 缓存复用缓存输入 2.5 折
  • Serverless 冷启动0 ms · 始终预热
playground · api.halvorn.example/v1就绪
选择一个预设提示词,在仿真端点上运行。
// 输出将在此处流式显示
// 读数从请求发出时开始计算
模型
—
首 token 时间
0 ms
吞吐量
0 tok/s
token 数
0

02模型目录

62 个模型,一个端点。

每个模型都支持工具调用、JSON 模式和流式输出。新的开放权重模型发布后 48 小时内上线,先跑基准测试再上架。

Halvorn 模型目录:上下文长度、每百万 token 价格与延迟
模型类型上下文输入 $/M输出 $/Mp50 TTFT吞吐量状态
vela-3-405b对话128k$3.20$3.20214 ms412 tok/s服务中
vela-3-70b对话128k$0.54$0.72112 ms1,184 tok/s服务中
vela-3-8b对话128k$0.06$0.0871 ms2,940 tok/s服务中
orrin-coder-34b代码64k$0.38$0.48131 ms1,026 tok/s服务中
lumen-vl-90b视觉32k$0.90$1.10188 ms604 tok/s服务中
tern-reason-32b推理128k$0.42$1.68146 ms880 tok/s服务中
sable-embed-2嵌入8k$0.04—18 ms—服务中
sable-rerank-2重排8k$0.05—24 ms—服务中

显示 62 个中的 8 个。延迟:客户端实测,同城,512 token 提示词,30 天 p50。

03基准测试

吞吐量 2.4 倍,等待少 61%。

vela-3-70b,在每家服务商上使用相同的权重和采样设置。测试脚本我们公开发布——信我们之前,先自己跑一遍。

输出吞吐量 · vela-3-70b越高越好
  • Halvorn1,184 tok/s
  • 服务商 A486 tok/s
  • 服务商 B352 tok/s
  • 服务商 C301 tok/s
  • 自建,8 卡 GPU 节点238 tok/s
首 token 时间 · p50越低越好
  • Halvorn112 ms
  • 服务商 A284 ms
  • 服务商 B391 ms
  • 服务商 C446 ms
  • 自建,8 卡 GPU 节点612 ms
负载输入 512 / 输出 1,024 token,32 路并发流
时间窗72 小时,120 万次请求,2026 年 9 月
客户端与端点同城,HTTP/2 keep-alive
服务商已匿名,公开标价档位

04快速入门

改一个 URL,代码照旧。

SDK 遵循您已在用的 chat completions 结构。大多数迁移只需改一个 base URL 和一个模型名。

  1. 创建密钥按项目划分权限,每月消费设硬上限。
  2. 指向新端点api.halvorn.example/v1,或安装 SDK。
  3. 流式输出Server-sent events、工具调用和 JSON 模式开箱即用。
stream.py
from halvorn import Halvorn

client = Halvorn()  # 读取 HALVORN_API_KEY

stream = client.chat.completions.create(
    model="vela-3-70b",
    messages=[{"role": "user", "content": "上线吧。"}],
    max_tokens=512,
    stream=True,
)

for chunk in stream:
    print(chunk.delta, end="", flush=True)

05区域

14 个区域。91% 的互联网用户延迟低于 20 ms。

Anycast 路由把每个请求发往最近的健康 GPU 池。如需数据驻留,可将密钥固定到某个区域,或仅限欧盟。

Halvorn 14 个 GPU 区域分布图,覆盖北美、南美、欧洲、亚洲和大洋洲sfo1pdx1ord1yyz1iad1gru1lhr1fra1arn1bom1sin1icn1hnd1syd1
各区域及其到本地都市区的往返时延中位数
区域城市RTT
sfo1旧金山4 ms
pdx1波特兰11 ms
ord1芝加哥9 ms
yyz1多伦多12 ms
iad1阿什本7 ms
gru1圣保罗18 ms
lhr1伦敦6 ms
fra1法兰克福5 ms
arn1斯德哥尔摩9 ms
bom1孟买14 ms
sin1新加坡8 ms
icn1首尔10 ms
hnd1东京6 ms
syd1悉尼13 ms

06价格

按百万 token 计费,别无其他。

没有席位费,Serverless 无最低消费,不收出口流量费。缓存输入打 2.5 折;批处理 API 打 5 折,24 小时内完成。

Serverless 每百万 token 价格(美元)
模型输入缓存输入输出批处理输入
vela-3-8b$0.06$0.015$0.08$0.03
vela-3-70b$0.54$0.135$0.72$0.27
vela-3-405b$3.20$0.80$3.20$1.60
orrin-coder-34b$0.38$0.095$0.48$0.19
tern-reason-32b$0.42$0.105$1.68$0.21
lumen-vl-90b$0.90$0.225$1.10$0.45
sable-embed-2$0.04——$0.02

Serverless

$0

起步 · 按 token 付费

共享、自动扩缩容的端点,覆盖目录中所有模型。速率限制随消费自动提升。

  • $5 免费额度,无需绑卡
  • 600 RPM → 60,000 RPM
  • 批处理 API 5 折
  • 社区支持
获取 API 密钥

专属部署

最多人选

$2.85

每 GPU 小时 · 按秒计费

预留算力,部署您自己的权重和 LoRA 适配器,在任意区域拥有私有端点。

  • 自带微调模型
  • 自动扩缩 1 → 512 块 GPU
  • 99.95% 可用性 SLA
  • 共享 Slack 频道
预留算力

企业版

定制

年度承诺

Halvorn 运行时部署在您的 VPC 或数据中心,享承诺用量价格和专属工程师。

  • VPC 与本地部署
  • 零留存,写进合同
  • 99.99% 可用性 SLA
  • P1 问题 15 分钟响应
与工程师沟通

07企业版

您的 VPC。您的密钥。零留存。

每天处理 417 亿 token 的同一套运行时,部署到您数据所在的地方。控制面在我们这边,数据面在您那边。

VPC

运行在您的云账号里

我们的调度器和内核通过一个 Terraform 模块部署进您的 VPC。权重、提示词和日志从不越出您的边界。

0 秒

零数据留存

提示词和生成结果只在请求期间保存在内存中,随后即丢弃。绝不用您的流量训练模型——这写在合同里。

BYOK

您的密钥,您的审计记录

客户自管加密密钥、支持 SCIM 的 SSO、按密钥设置消费上限,以及导出到您 SIEM 的不可篡改审计日志。

1:1

专属推理工程师

容量规划、针对您序列长度的内核调优,以及全天候 15 分钟 P1 响应。

08客户

在生产环境中实测。

从 3 人创业团队到每天跑 20 亿以上 token 的团队。数字都是他们自己的。

“我们用一个周末就把每天 23 亿 token 的流量迁了过来。客服智能体的 p95 延迟从 2.1 秒降到 640 毫秒,账单也降了 41%。”
Mira Castellanos平台负责人,Tidewater
“零留存是我们法务团队的硬门槛。Halvorn 第一次通话就把它写进了 MSA,而不是拖到第四次。”
Jonah LindqvistCTO,Parallax Legal
“在我们自己的 VPC 里,对我们自己的微调模型做推测解码,而我们一行 CUDA 内核都不用写。这就是他们的全部承诺,而且兑现了。”
Priya Raman资深机器学习工程师,Halden Labs

09与工程师沟通

带上负载来,带着数字走。

告诉我们您的模型、峰值 RPM 和序列长度。我们会基于一次真实的基准测试,给出延迟和成本估算——通常一天之内。

  • 销售sales@halvorn.example
  • 支持help@halvorn.example
  • 电话+00 415 010 2266
  • 总部480 Harrow St, 6 楼, 旧金山
1 个工作日内回复。不会有销售轰炸。

10常见问题

工程师最先问的问题。

这个 API 能直接替换我们现在用的吗?

Halvorn 实现了事实标准的 chat completions、embeddings 和 batch 结构。大多数团队只需改一个 base URL 和一个模型名;流式输出、工具调用和 JSON 模式的行为完全一致。

延迟数据是怎么测的?

p50 首 token 时间在客户端测量:从同城虚拟机发出请求,到收到第一个流式字节为止,512 token 提示词,30 天滚动窗口。原始百分位数据每天发布在 status.halvorn.example。

你们会用我们的提示词或输出训练模型吗?

不会。Serverless 流量默认留存 0 秒;可选开启的 30 天日志仅供您自己调试,并用您的密钥加密。

能跑我们自己微调的权重吗?

可以。上传 safetensors,或给我们一个存储桶地址。专属端点支持完整微调模型;Serverless 端点每个基础模型可热切换最多 1,000 个 LoRA 适配器,不额外收费。

某个区域性能下降怎么办?

除非您固定了数据驻留,否则请求会在 3 秒内切换到最近的健康区域。固定在欧盟的密钥只会在 lhr1、fra1 和 arn1 之间切换。

怎么计费?

Serverless 按百万 token 计费,专属部署按 GPU 秒计费,均按月开票。缓存输入 token 按输入价格的 25% 计费;批处理 API 打 5 折,24 小时内完成。