CloudFlare 推出 Workers AI，可以免费 serverless 的用 meta 家 llama 2 了
imes · 207 天前 · 1030 次点击这是一个创建于 207 天前的主题，其中的信息可能已经有所发展或是发生改变。
CloudFlare 给它家的 Workers 增加了接入 AI 的新功能，包含 meta 的 llama 2 ，具体如下：
- Text generation (large language model): meta/llama-2-7b-chat-int8
- Automatic speech recognition (ASR): openai/whisper
- Translation: meta/m2m100-1.2
- Text classification: huggingface/distilbert-sst-2-int8
- Image classification: microsoft/resnet-50
- Embeddings: baai/bge-base-en-v1.5
暂时还处于 early beta 的阶段，限制比较多，比如 llama 2 最多每分钟 50 次。
多提一句，llama 2 70b 版本的表现和 chatgpt3.5 差不多，而 workers ai 提供的 7b 大体上是 70b 的一半表现(评价标准各异，不是确切的数值)。
1 条回复 • 2023-10-10 20:50:06 +08:00
 |
1
justin2018 207 天前
Workers AI: serverless GPU-powered inference on Cloudflare’s global network
https://blog.cloudflare.com/workers-ai/ |
Select Language