V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  qieqie  ›  全部回复第 1 页 / 共 8 页
回复总数  153
1  2  3  4  5  6  7  8  
模型能力当然是 api 比 chat 上限高。但 chat 会有一些内置的小工具,比如文件/画图/搜索,对不懂 api 那一堆参数是干嘛的普通用户更方便。
@flyqie 大吞吐量下的内存分配、拷贝、GC 的压力。从 c++程序员视角来看,标准库里不符合预期的内存操作太多,不止是 net ,也包括 buffer, compress, hash 等等相关的库。
chat 参数是固定的,且一般都有软性上下文和输出长度的限制。
有一些能力只有 api 有,比如 tools, structured_outputs, 中间补全等等。
@bbao 天天糊屎山的 CRUD 仔确实用不上。之前我把某知名开源分布式存储的 http 组件从标准库重构到 fasthttp ,整体吞吐至少提升了 15%
28 天前
回复了 cat 创建的主题 问与答 DeepSeek 一直不稳定,为啥不推出付费渠道?
不在乎 c 端用户那三瓜俩枣
建议 Inference 额外显存里加上最大 context length 作为参数。
先把语言 spec 定稿写出来,有没有可能 parser generator 搞不定的语法从设计上就是错的?
技术路线不一样:有需要配合的灵动活体(做一系列眨眼、摇头之类的动作),不需要配合的炫彩、深度活体,早年还有一系列边框、摩尔纹检测的。
自驾去西藏的话,规划好每天在低海拔地区休息,高反几率不高。
Datagrip, DBeaver 这些早就支持 duckdb 了
279 天前
回复了 wueryi 创建的主题 Elasticsearch 请教个 es 向量查询的问题
ES knn 性能就是低的匪夷所思,甚至比 ssd ondisk 索引方案还低一个数量级。
因为存储引擎限制和避免 compaction 额外性能开销原因,分析型数据库一般不会支持实时的点删。
高效的方法一般是通过 TTL 异步淘汰,或者 drop partition 删除物理上连续的大批量数据。
319 天前
回复了 gongxuanzhang 创建的主题 程序员 在一个群里被恶心坏了
几周前我还在 B 站上刷到这个人锐评 TiDB ,看了 5 分钟就发现是个外行胡说八道,在评论区喷了他他都不敢回我。
320 天前
回复了 terrysnake 创建的主题 Apple 感觉现在的 AI LLM 趋势对苹果而言就是死局
本地不了一点,考虑过模型常驻内存的成本或者不常驻内存冷启动的延迟吗。更不用说还有个功耗限制。
至于保证隐私的实现路径也很多,最简单的就是云端大模型做任务规划,出一个 NL SDK 之类的让各个 APP 去把自己的 function call 的能力提供给系统,然后端侧小模型去执行就行。
321 天前
回复了 dododada 创建的主题 程序员 yoloV8 推理 cpu 占用问题
推理吃不满就是 GPU 并行度太低,延迟允许的话,把 batch 加上去看看
341 天前
回复了 fruitmonster 创建的主题 程序员 clickhouse 怎么修改数据呢?
试试在每台机器上单独执行而不是远程表。当然原子性和一致性需要你手动保障。
2024-03-22 14:06:56 +08:00
回复了 releaseme 创建的主题 程序员 fluence 的 FLT 上所了, 5000 个目前价值 3200U 左右 ~
拿 starknet 发的$交了手续费,白嫖到底
2024-02-23 18:59:01 +08:00
回复了 M4ster 创建的主题 程序员 GitHub 用户来领空投: TOP 5k 项目的贡献者可领取价值 $200 空投
大概给 2w+star 项目累计有 30+pr 了
保证了主库 binlog 和 redo 一致不代表可以保证集群的状态一致性,
同步 binlog 最多只能保证最终一致性,强一致性需要分布式事务去支持。
2024-01-09 20:30:16 +08:00
回复了 mayooot 创建的主题 Go 编程语言 调用接口的方式获取 NVDIA GPU 🤥
@mayooot 试试 nvidia-smi --query-gpu=index,uuid --format=csv,noheader,nounits
本地开发用 go 的编译 tags 控制下,mock 一个假的返回就行,我比较早一个项目就是这么搞的。
1  2  3  4  5  6  7  8  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5081 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 43ms · UTC 07:10 · PVG 15:10 · LAX 00:10 · JFK 03:10
Developed with CodeLauncher
♥ Do have faith in what you're doing.