最近公司在考虑搭建一个 内部 AI 助手平台,目标是让公司同事(不到 50 号人)都能用,比如:
目前计划使用 OpenClaw 作为统一入口和管理平台,但在 大模型部署方式上有两种方案在评估,想听听大家的经验。
架构大概是:
员工
│
OpenClaw (云服务器)
│
模型服务 (vLLM / Ollama 等)
│
GPU 服务器
│
大模型 (Qwen / Llama)
初步考虑的模型:
对 GPU 服务器和自建大模型不熟悉, 有没什么坑点, 需要怎么样的配置以及相关的费用怎么样.
架构:
员工
│
OpenClaw
│
API 模型
│
GLM / Minimax 等
个人其实更倾向于这个的, 领导倾向于第一种
但是也不太确定, 长期 API Token 成本怎么样, 比如买 GLM 的 Max 套餐(年付 4000), 或者 Minimax 的 Ultra(年付 8000 左右) 这些 coding plan, 套餐内能否支撑使用
是否真的需要 openclaw 这个不做讨论哈, 先提前谢谢大家分享经验。
1
NelsonZhao 1 天前
主要是隐私方面的问题吧,如果隐私不是特别重要我建议使用 api
|
2
hnbcinfo 1 天前
方案三:OpenClaw + CPA
兼容了你的方案一和方案二。即支持自建也支持外部 api ,甚至支持两个混合使用,还能做负载均衡。 |
3
hnbcinfo 1 天前
CPA--> CliProxyApi
|
4
goodryb 1 天前
自建模型起码得 27b 或者 35b-a3b 吧, 我试过 qwen3.5 9b 不太行
|