coefu

coefu

V2EX member #616381, joined on 2023-02-28 17:15:35 +08:00
Today's activity rank 5825
Per coefu's settings, the topics list is hidden
Deals info, including closed deals, is not hidden
coefu's recent replies
10h 18m ago
Replied to a topic by mountainl Local LLM 分享个自己在用的玩具
这个玩游戏很爽了。
glm5.1 Q8 模型大小 811G ,10 个人并发的 1M context kvcache ,算 Q4 压缩,一个人大概留 100G ,因为 agent 回反复读 context ,那么 10 个人就得 1T 。所以你要准备 2T 左右 gmem 的环境,目前能买到的 H20 单卡 96G ,起码准备 20 张,单机 8 卡,准备 3 台机器。

h20 96G. ebay 上目前大概 8w 一张,卡就要 160w ,算 40w 能搞到 3 台服务器,外加网络。200w 起步,还要自己搞环境,另外电费另算。
18h 51m ago
Replied to a topic by xiaolucha 职场话题 求助, offer 二选一,纠结中...
@xiaolucha 别搞笑了,你这份外包之后,还能不能再找到工作都是问题,就不要考虑什么以后了吧,当前最优抉择就是当前的利益最大化。这都看不明白,你在数据领域搞的这些年都在搞什么,自己对世界的认知一点都没提升啊。
1 day ago
Replied to a topic by langhuishan 程序员 现在 AI 编程聪明得令人后背发凉。
每天 vibe coding 很多没有任何商业价值的乐色,有什么用。
这么点成本的投入给公司集体用?就 amd 这机器的 umem 带宽,你自己一个人用都慢的无法接受,还给集体并发用,想什么呢。公司机器用没有个几百万的投入,都不用开始。
1 day ago
Replied to a topic by hotoh521 程序员 游戏行业最好的 AI 编程大模型
@hotoh521 我当然知道,我是说,你这个切入角度,是有商业价值的。
2 days ago
Replied to a topic by hotoh521 程序员 游戏行业最好的 AI 编程大模型
@yu6564172 你这个也有搞头,但是 命题太大了,比 OP 的这个盘子还大。你搞钱招人都不一定搞得定。
2 days ago
Replied to a topic by hotoh521 程序员 游戏行业最好的 AI 编程大模型
你这个有搞头的,可以搞钱做大,目前好像没看到这种集成方案,毕竟有点领域交叉。
当然是花钱买厂商 api ,厂商怎么计算 token 消耗量,还不是它们说了算,至于为什么要消耗那么多?不多空转几个逻辑让你充值,你以为厂商搞慈善啊,数据中心怎么回本?

什么,你说数据安全?你搞的那些项目有什么现实实际意义吗?厂商还嫌你上传的数据可能污染它们的训练数据呢,还讲什么数据安全,每天能用厂商 api vibe coding 的项目,保守点 90% 的 application ,你自己会掏钱用吗?
2 days ago
Replied to a topic by davidyin Local LLM 配置 kiro 的问题
我记得你之前 3 月份不是问过一样的问题吗? 3 个月了还没搞定?我都和你说了 Cline+vscode ,Cline 填 ollama 都 openAI api 就行了。哥们儿,有点儿菜了啊。

问 ChatGPT 也就是 1 分钟到事情。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1331 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 23:55 · PVG 07:55 · LAX 16:55 · JFK 19:55
♥ Do have faith in what you're doing.