falconwang0110 最近的时间轴更新 falconwang0110 最近的时间轴更新 |
falconwang0110V2EX 第 507983 号会员，加入于 2020-09-14 13:46:15 +08:00今日活跃度排名 7101 |
falconwang0110 最近回复了
21 小时 34 分钟前 回复了 hoodjannn 创建的主题 › 程序员 › ai 小白请教，大模型必须要 gpu 服务器吗，单纯推理是不是 cpu 就可以了。 |
无 GPU 推理有两个方案：
1. 调用 API ，这样你自己的服务端只需要接受用户输入并返回模型输出即可，1c2g 应该问题不大。
2. 线上推理，对于语言模型也可以用 CPU 进行 inference ，但是会很慢，量化为 INT4 后，4 代 Xeon 大概能做到每个 token 20~80ms （ 3B~20B 模型），reference: [Efficient LLM Inference on CPUs]
1. 调用 API ，这样你自己的服务端只需要接受用户输入并返回模型输出即可，1c2g 应该问题不大。
2. 线上推理，对于语言模型也可以用 CPU 进行 inference ，但是会很慢，量化为 INT4 后，4 代 Xeon 大概能做到每个 token 20~80ms （ 3B~20B 模型），reference: [Efficient LLM Inference on CPUs]
47 天前 回复了 iqoo 创建的主题 › 分享创造 › 改进了之前「按耳机发摩尔斯码」程序 |
已 star ，有意思，后面有计划开发连续输入词组或句子吗。
70 天前 回复了 moudy 创建的主题 › 问与答 › 激光彩打一体机哪家强？ |
不清楚你的使用频率 如果不是一两天就用一次的话还是上激光吧 喷墨的太久不用容易堵喷头
70 天前 回复了 moudy 创建的主题 › 问与答 › 激光彩打一体机哪家强？ |
买兄弟的黑白激光，第三方硒鼓很便宜，可灌墨粉，wifi 打印，打印质量没问题
83 天前 回复了 p0w1r2takuya 创建的主题 › 软件 › 语雀 bug 太多，有没有推荐的可以平替语雀的云笔记？ |
我一直用的飞书云文档，非常好用。和语雀的逻辑几乎一致，但是更强大也更流畅，docs.feishu.cn 就能直接用，全免费。缺点就是确实有点儿重
2022-11-07 14:53:50 +08:00 回复了 HamHam 创建的主题 › iPhone › 你现在睡觉还给手机开飞行模式吗？ |
iphone 快捷指令，关闭 wifi 、蜂窝、蓝牙和媒体音量，手动检查一下铃声就 ok
Select Language