bli22ard

bli22ard

V2EX 第 597131 号会员,加入于 2022-10-12 11:36:31 +08:00
根据 bli22ard 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
bli22ard 最近回复了
3 天前
回复了 hez2010 创建的主题 程序员 运行 100 万个异步并发任务需要多少内存
@kneo

> 栈的特点就是动态增长。因为函数调用需要把子函数的存储也分配到这个栈上。函数的嵌套越多,需要的内存就越多。

> 栈空间不够用就需要重新分配内存并且把旧的栈数据复制过去。(这里指的是虚拟线程,原生线程收到操作系统限制> 可能无法修改栈大小。)

> 如果初始化栈过小,频繁的扩容会影响性能。

> 初始栈过大,会造成内存浪费。

> 2KB 是一个性能权衡的结果。

> 您可能需要找一些函数调用和栈内存的示意图看一下。不一定非是 GO 的。

我找了一些函数调用和栈内存的示意图看了下,2kb 的栈空间是用来保存现场的,go 做了一次预分配,在 op 提到的测试方法,这样预分配在内存占用方面确实会吃亏,反而动态堆分配的会占优势。
5 天前
回复了 hez2010 创建的主题 程序员 运行 100 万个异步并发任务需要多少内存
@kneo 就启动 goroutine ,不管是堆还是栈,没搞懂它有什么存,如果是参数,变量,为什么要是 2kb ,而不是这些参数、变量的实际大小
5 天前
回复了 hez2010 创建的主题 程序员 运行 100 万个异步并发任务需要多少内存
@kneo
> 我的理解这 2KB 就是预分配的栈大小。过小的初始栈可能会导致频繁的内存重新分配。
> 2KB 可能是 go 团队在性能测试之后得到的一个比较好的默认值。这个值也是经过多次调整的:

更本质的是,为什么需要这个 2kb 内存,这 2kb 存的什么东西,这个期待有实力的人研究一下 runtime 。
6 天前
回复了 hez2010 创建的主题 程序员 运行 100 万个异步并发任务需要多少内存
我不认为这个测试方法不专业,因为它能说明,在这个 sleep 场景下,goroutine 内存占比确实比 java 的 virtual thread 占用高。
我觉的叫 goroutine 为协程并没有什么问题,可能翻译得不够准确,但是当你说 go 协程,别人知道你指的是 goroutine 就可以了,没有什么大问题。

不过我觉得这个测试可能并不能很好的说明问题,不管是 goroutine ,rust 的 tokio ,或者是 c#的 async/await ,它们本质上解决两个问题,一个 io 就绪回调,一个 sleep 就绪回调。但是要实现这种回调,需要在资源没就绪时候,保存现场,腾出 cpu 给其他任务运行,保存完毕后,其他任务运行,资源就绪后,就有了再次被执行的机会。这个内存消耗主要在保存现场需要的内存上。由于这些异步框架实现方式不一,不排除有些实现,检查测试代码不需要保存现场,直接定时器回调实现,从而节省内存。
一种测试方法是通过每个任务去发起一个 tcp 连接,然后服务端 hold 10s 再返回,测试内存占用可能更能说明实际的问题。

另外还有就是执行时间问题,因为如果开一个 goroutine 排队执行,内存占用肯定比开 1m goroutine 小🤣


也有可能 java 的 virtual thread 和 c# async/await 确认非常优秀,全面领先 goroutine ,希望有实力的人从新设计测试方法。
比较好奇,每个 goroutine 2kb ,到底存的是什么
最后 @lesismal @kneo 两位高手来围观
18 天前
回复了 bli22ard 创建的主题 程序员 rust vs golang 交叉编译
@c0t 看得出来经验丰富啊👍。有个疑问,openssl-sys 为什么不直接映射 openssl 版本号发布,然后提供对应 rustup target list 所有编译后的版本,在 rust 层屏蔽各个平台的差异性,使用这个 crate 的人员就不用关心平台差异性。不然现在的 cargo build 看起来提供了 --target 支持交叉编译,但是大多数项目都会编译失败,tls 依赖的可能性太高了。现在这样--target ,这个参数太鸡肋了。
很多文章上用系统 openssl 编译 ,apt install libssl-dev 类似这种包管理器直接安装,这种编译使用系统 openssl 链接的,编译稳定性大大降低,因为系统各个版本安装的 openssl 版本不尽相同,难道 openssl 兼容性就这么好
20 天前
回复了 bli22ard 创建的主题 程序员 rust vs golang 交叉编译
@zengxs 感觉确实是这个思路,感觉大多数时间花费在搞编译器上了。


@undeflife golang ,带硬件加速的加密算法,以及 tls ,都是标准库自带,不依赖 cgo 。加密算法,以及 tls ,rust 没有全部原生 rust 实现。


@Donaldo 这个没试过,我是看到 rustls 里面有用到 ring 库。


@MrKrabs 性能快的不是特别多,但是带来的麻烦不小


@yplam 一看就是搞过的



@ihciah 看到过这个,但是没测试过,有时间试下
去农批商场, 进货橙子,有 5 家在卖橙子,价格不一样,请问根据什么判断,应该进货哪家橙子。你的对手有,美团买菜,朴朴买菜,钱大妈,肉联帮,百果园,相比这些你有什么优势
20 天前
回复了 bli22ard 创建的主题 程序员 rust vs golang 交叉编译
@PTLin


(base) PS C:\Users\3\RustroverProjects\rs-certbot> cargo tree --target=x86_64-unknown-linux-musl -i ring
ring v0.17.8
|-- instant-acme v0.7.2
| `-- rs-certbot v0.1.0 (C:\Users\3\RustroverProjects\rs-certbot)
|-- rcgen v0.13.1
| `-- rs-certbot v0.1.0 (C:\Users\3\RustroverProjects\rs-certbot)
|-- rustls v0.23.16
| |-- hyper-rustls v0.27.3
| | |-- instant-acme v0.7.2 (*)
| | `-- reqwest v0.12.9
| | `-- rs-certbot v0.1.0 (C:\Users\3\RustroverProjects\rs-certbot)
| |-- reqwest v0.12.9 (*)
| `-- tokio-rustls v0.26.0
| |-- hyper-rustls v0.27.3 (*)
| `-- reqwest v0.12.9 (*)
|-- rustls-webpki v0.102.8
| `-- rustls v0.23.16 (*)
`-- x509-parser v0.16.0
`-- rs-certbot v0.1.0 (C:\Users\3\RustroverProjects\rs-certbot)
(base) PS C:\Users\3\RustroverProjects\rs-certbot>




(base) PS C:\Users\3\RustroverProjects\rs-certbot> cargo tree --target=x86_64-unknown-linux-musl -i openssl-sys
error: package ID specification `openssl-sys` did not match any packages
(base) PS C:\Users\3\RustroverProjects\rs-certbot>
20 天前
回复了 bli22ard 创建的主题 程序员 rust vs golang 交叉编译
@mxT52CRuqR6o5
zig 貌似也有一些问题

@sunny352787
没用 cgo 情况下,golang ,linux 、mac 、windows 互相交叉编译没遇到过问题


@PTLin
😄,reqwest = {version = "0.12",default-features = false,features = ["rustls-tls"]} 加了这个, 但是编译时候,需要 gcc 来编译 ring
20 天前
回复了 bli22ard 创建的主题 程序员 rust vs golang 交叉编译
@pursuer aarch64-musl openssl 太难搞。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   778 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 9ms · UTC 21:23 · PVG 05:23 · LAX 13:23 · JFK 16:23
Developed with CodeLauncher
♥ Do have faith in what you're doing.