V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  falconwang0110  ›  全部回复第 1 页 / 共 1 页
回复总数  6
无 GPU 推理有两个方案:
1. 调用 API ,这样你自己的服务端只需要接受用户输入并返回模型输出即可,1c2g 应该问题不大。
2. 线上推理,对于语言模型也可以用 CPU 进行 inference ,但是会很慢,量化为 INT4 后,4 代 Xeon 大概能做到每个 token 20~80ms ( 3B~20B 模型),reference: [Efficient LLM Inference on CPUs]
48 天前
回复了 iqoo 创建的主题 分享创造 改进了之前「按耳机发摩尔斯码」程序
已 star ,有意思,后面有计划开发连续输入词组或句子吗。
70 天前
回复了 moudy 创建的主题 问与答 激光彩打一体机哪家强?
不清楚你的使用频率 如果不是一两天就用一次的话还是上激光吧 喷墨的太久不用容易堵喷头
70 天前
回复了 moudy 创建的主题 问与答 激光彩打一体机哪家强?
买兄弟的黑白激光,第三方硒鼓很便宜,可灌墨粉,wifi 打印,打印质量没问题
我一直用的飞书云文档,非常好用。和语雀的逻辑几乎一致,但是更强大也更流畅,docs.feishu.cn 就能直接用,全免费。缺点就是确实有点儿重
2022-11-07 14:53:50 +08:00
回复了 HamHam 创建的主题 iPhone 你现在睡觉还给手机开飞行模式吗?
iphone 快捷指令,关闭 wifi 、蜂窝、蓝牙和媒体音量,手动检查一下铃声就 ok
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5480 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 08:58 · PVG 16:58 · LAX 00:58 · JFK 03:58
Developed with CodeLauncher
♥ Do have faith in what you're doing.