Serverless
$0
起步 · 按 token 付费
共享、自动扩缩容的端点,覆盖目录中所有模型。速率限制随消费自动提升。
- $5 免费额度,无需绑卡
- 600 RPM → 60,000 RPM
- 批处理 API 5 折
- 社区支持
由 Get Ranked On Top 设计和制作的虚构品牌,并非真实公司。
全部系统正常 · 14 个区域全部在线
首 token 延迟中位数 112 ms。70B 模型每秒 1,184 个 token。60 多个开放权重模型,一个 API 全部调用,运行在我们自主调度、覆盖 14 个区域的 GPU 上——Serverless、专属部署,或直接跑在您的 VPC 里。
已在生产环境中使用
HALDEN/LABStidewaterParallax▲LegalMOSAIC HEALTHquorum.aiLattice & LoomNORTHFORMbrevet01Playground
选一个提示词。读数显示的就是我们边缘节点对每个请求的实测:先是首 token 时间,然后是持续吞吐量。
// 输出将在此处流式显示
// 读数从请求发出时开始计算02模型目录
每个模型都支持工具调用、JSON 模式和流式输出。新的开放权重模型发布后 48 小时内上线,先跑基准测试再上架。
| 模型 | 类型 | 上下文 | 输入 $/M | 输出 $/M | p50 TTFT | 吞吐量 | 状态 |
|---|---|---|---|---|---|---|---|
| vela-3-405b | 对话 | 128k | $3.20 | $3.20 | 214 ms | 412 tok/s | 服务中 |
| vela-3-70b | 对话 | 128k | $0.54 | $0.72 | 112 ms | 1,184 tok/s | 服务中 |
| vela-3-8b | 对话 | 128k | $0.06 | $0.08 | 71 ms | 2,940 tok/s | 服务中 |
| orrin-coder-34b | 代码 | 64k | $0.38 | $0.48 | 131 ms | 1,026 tok/s | 服务中 |
| lumen-vl-90b | 视觉 | 32k | $0.90 | $1.10 | 188 ms | 604 tok/s | 服务中 |
| tern-reason-32b | 推理 | 128k | $0.42 | $1.68 | 146 ms | 880 tok/s | 服务中 |
| sable-embed-2 | 嵌入 | 8k | $0.04 | — | 18 ms | — | 服务中 |
| sable-rerank-2 | 重排 | 8k | $0.05 | — | 24 ms | — | 服务中 |
显示 62 个中的 8 个。延迟:客户端实测,同城,512 token 提示词,30 天 p50。
03基准测试
vela-3-70b,在每家服务商上使用相同的权重和采样设置。测试脚本我们公开发布——信我们之前,先自己跑一遍。
04快速入门
SDK 遵循您已在用的 chat completions 结构。大多数迁移只需改一个 base URL 和一个模型名。
from halvorn import Halvorn client = Halvorn() # 读取 HALVORN_API_KEY stream = client.chat.completions.create( model="vela-3-70b", messages=[{"role": "user", "content": "上线吧。"}], max_tokens=512, stream=True, ) for chunk in stream: print(chunk.delta, end="", flush=True)
05区域
Anycast 路由把每个请求发往最近的健康 GPU 池。如需数据驻留,可将密钥固定到某个区域,或仅限欧盟。
| 区域 | 城市 | RTT |
|---|---|---|
| sfo1 | 旧金山 | 4 ms |
| pdx1 | 波特兰 | 11 ms |
| ord1 | 芝加哥 | 9 ms |
| yyz1 | 多伦多 | 12 ms |
| iad1 | 阿什本 | 7 ms |
| gru1 | 圣保罗 | 18 ms |
| lhr1 | 伦敦 | 6 ms |
| fra1 | 法兰克福 | 5 ms |
| arn1 | 斯德哥尔摩 | 9 ms |
| bom1 | 孟买 | 14 ms |
| sin1 | 新加坡 | 8 ms |
| icn1 | 首尔 | 10 ms |
| hnd1 | 东京 | 6 ms |
| syd1 | 悉尼 | 13 ms |
06价格
没有席位费,Serverless 无最低消费,不收出口流量费。缓存输入打 2.5 折;批处理 API 打 5 折,24 小时内完成。
| 模型 | 输入 | 缓存输入 | 输出 | 批处理输入 |
|---|---|---|---|---|
| vela-3-8b | $0.06 | $0.015 | $0.08 | $0.03 |
| vela-3-70b | $0.54 | $0.135 | $0.72 | $0.27 |
| vela-3-405b | $3.20 | $0.80 | $3.20 | $1.60 |
| orrin-coder-34b | $0.38 | $0.095 | $0.48 | $0.19 |
| tern-reason-32b | $0.42 | $0.105 | $1.68 | $0.21 |
| lumen-vl-90b | $0.90 | $0.225 | $1.10 | $0.45 |
| sable-embed-2 | $0.04 | — | — | $0.02 |
$0
起步 · 按 token 付费
共享、自动扩缩容的端点,覆盖目录中所有模型。速率限制随消费自动提升。
$2.85
每 GPU 小时 · 按秒计费
预留算力,部署您自己的权重和 LoRA 适配器,在任意区域拥有私有端点。
定制
年度承诺
Halvorn 运行时部署在您的 VPC 或数据中心,享承诺用量价格和专属工程师。
07企业版
每天处理 417 亿 token 的同一套运行时,部署到您数据所在的地方。控制面在我们这边,数据面在您那边。
我们的调度器和内核通过一个 Terraform 模块部署进您的 VPC。权重、提示词和日志从不越出您的边界。
提示词和生成结果只在请求期间保存在内存中,随后即丢弃。绝不用您的流量训练模型——这写在合同里。
客户自管加密密钥、支持 SCIM 的 SSO、按密钥设置消费上限,以及导出到您 SIEM 的不可篡改审计日志。
容量规划、针对您序列长度的内核调优,以及全天候 15 分钟 P1 响应。
08客户
从 3 人创业团队到每天跑 20 亿以上 token 的团队。数字都是他们自己的。
“我们用一个周末就把每天 23 亿 token 的流量迁了过来。客服智能体的 p95 延迟从 2.1 秒降到 640 毫秒,账单也降了 41%。”
“零留存是我们法务团队的硬门槛。Halvorn 第一次通话就把它写进了 MSA,而不是拖到第四次。”
“在我们自己的 VPC 里,对我们自己的微调模型做推测解码,而我们一行 CUDA 内核都不用写。这就是他们的全部承诺,而且兑现了。”
09与工程师沟通
告诉我们您的模型、峰值 RPM 和序列长度。我们会基于一次真实的基准测试,给出延迟和成本估算——通常一天之内。
10常见问题
Halvorn 实现了事实标准的 chat completions、embeddings 和 batch 结构。大多数团队只需改一个 base URL 和一个模型名;流式输出、工具调用和 JSON 模式的行为完全一致。
p50 首 token 时间在客户端测量:从同城虚拟机发出请求,到收到第一个流式字节为止,512 token 提示词,30 天滚动窗口。原始百分位数据每天发布在 status.halvorn.example。
不会。Serverless 流量默认留存 0 秒;可选开启的 30 天日志仅供您自己调试,并用您的密钥加密。
可以。上传 safetensors,或给我们一个存储桶地址。专属端点支持完整微调模型;Serverless 端点每个基础模型可热切换最多 1,000 个 LoRA 适配器,不额外收费。
除非您固定了数据驻留,否则请求会在 3 秒内切换到最近的健康区域。固定在欧盟的密钥只会在 lhr1、fra1 和 arn1 之间切换。
Serverless 按百万 token 计费,专属部署按 GPU 秒计费,均按月开票。缓存输入 token 按输入价格的 25% 计费;批处理 API 打 5 折,24 小时内完成。