V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  thorneLiu  ›  全部回复第 5 页 / 共 6 页
回复总数  116
1  2  3  4  5  6  
311 天前
回复了 icemanpro 创建的主题 C++ 在结构体中如何使用动态数组?
土问这个 a1 list[]合法吗
为啥不用 STL?
313 天前
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
@lyang 一个实例只能同时做一个推理 因为 LLM 推理有很多跟本次推理相关的过程量

所以要么他服务端这里拼了 batch 要么是在排队
313 天前
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
取决于你后面部署的推理服务怎么个策略
313 天前
回复了 lyang 创建的主题 程序员 大语言模型能单卡多用户访问吗
就 fastertransformer 而言
权重加载是共享的 但用于推理的 modelinstance 可以构建多个
所以是支持多用户推理的

但理论上 其实多用户输入进队列拼 batch 用一个 modelinstance 推理会比多 instance 单 batch 推理效果好一点
适合出租房房东
317 天前
回复了 tatuotuo 创建的主题 酷工作 [远程全职] 寻找会软件测试的实习生
需要临时工
317 天前
回复了 Shiweizhi 创建的主题 Linux 感觉 xfce 桌面好快
我的 x230 上也是用的 manjaro xfce
每期 利息=本金*利率
一般是一个月一次
自己算
318 天前
回复了 WWW888 创建的主题 问与答 现在还值不值得 入手一个 ipadmini
@wugp 哦哦 对对 就是那种传统耳机接口
318 天前
回复了 WWW888 创建的主题 问与答 现在还值不值得 入手一个 ipadmini
我在闲鱼收了一个带瑕疵的 ipad mini5 64G 蜂窝版
平时坐地铁看看腾讯视频 微信读书 打打和平精英 看 B 站都很够用

这款设备不重 300 来克 也不是那种直角边框
而且还带 2.5 耳机插口

A12 处理器性能也还行
总结起来 挺香
做高铁来杭州
321 天前
回复了 sdjl 创建的主题 问与答 你不喜欢自己父母的哪些习惯?
回避
父母喜欢回避问题
回避+节俭 伴生
341 天前
回复了 collery 创建的主题 程序员 开车通勤单程 1 个小时,途中有啥好建议
我住浦沿 在未科上班 也很蛋疼
344 天前
回复了 lilei2023 创建的主题 程序员 分享一段我司前辈的代码,哈哈!
@iapplebear 用得着三元?😂😂😂😂
345 天前
回复了 southsala 创建的主题 问与答 618 想买个平板,该怎么选
需求
看 pdf 、微信读书、看视频

我 1000 在小黄鱼了个 mini5 蜂窝版 64G
够用
坐着
黄金首饰
354 天前
回复了 ttys001 创建的主题 Apple Vision Pro 绝对不会卖爆
没啥卵用的垃圾玩意儿 还得接一个充电宝
2023-05-26 15:36:35 +08:00
回复了 madeye 创建的主题 酷工作 [上海/北京] NVIDIA 招聘 Deep Learning Performance Architect
工作地点是在上海吗?
我还用着 x230 我们这帮 thinkpad 遗老还有专门的论坛
1  2  3  4  5  6  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2342 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 35ms · UTC 11:40 · PVG 19:40 · LAX 04:40 · JFK 07:40
Developed with CodeLauncher
♥ Do have faith in what you're doing.