V2EX › leonme 的所有回复 › 第 42 页 / 共 157 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 38 39 40 41 42 43 44 45 46 47 ... 157

❮

❯

2022-09-18 21:16:47 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@noparking188 #9 是这样的，有个问题在于，MQ 采用 mafka ，有多个消费组订阅 topic ，对于某个消费组来说，有很多无关消息（上亿），导致瞬态流量很大（虽然直接 return ），cpu 瞬态使用率过高

2022-09-18 21:13:46 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@noparking188 #9 感谢，一般实践中是不会去控制"Spark 写 Parquet 文件"的速度，二是控制"DataX 之类工具读 Parquet 写 DB"的速度，是吧？

所以到我这块是要控制 MQ 消费的速度，而不是 Spark 发送 MQ 的速度

2022-09-18 17:36:04 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@kkeep #4 或者再假设一个场景，比如 Spark 将最终处理结果写入 DB ，但是 DB 的写入 QPS 有限，这块该如何限制呢？

2022-09-18 17:35:21 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@winglight2016 #6 或者再假设一个场景，比如 Spark 将最终处理结果写入 DB ，但是 DB 的写入 QPS 有限，这块该如何限制呢？

2022-09-18 14:06:43 +08:00

回复了 Lambert2022 创建的主题 › Apple › iPhone 手机膜

挑便宜的就行

2022-09-18 00:09:05 +08:00

回复了 e1o 创建的主题 › Java › 想请问下关于 ThreadLocal 的使用

@Hurriance 解释的很明白

2022-09-17 22:06:30 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@ruanimal #1 感谢回答
1 、基于外部存储限流是一个挺好的解决方案，但不确定是不是最佳实践。另外，对 Spark 不太熟悉，不知道它有没有内置一些流控的方式呢？
2 、如何在运行过程中动态的获取 worker 的数目呢？感觉占用的 executor 也是运行过程中根据实际资源占用动态分配的

2022-09-17 22:01:46 +08:00

回复了 badboy17 创建的主题 › Java › 关于限流组件，令牌桶和漏桶

"令牌桶可以允许突然的并发流量，但是漏桶不行"
-----------------------------------------------------------
没太理解这句话？

2022-09-15 16:44:59 +08:00

回复了 alexcding 创建的主题 › Apple › 极客湾 A16 评测

@hellojay 那 13 更适合

2022-09-14 23:59:29 +08:00

回复了 Glauben 创建的主题 › Apple › 没人讨论钟文泽 iPhone 14 的评测吗，感觉很不错啊。

@sharkli 内存影响切换是否加载卡顿，基带影响日常户外网络体验，可以说是日常最重要的了～什么灵动岛，什么 4800w ，都是锦上添花的东西……

2022-09-14 23:29:28 +08:00

回复了 Glauben 创建的主题 › Apple › 没人讨论钟文泽 iPhone 14 的评测吗，感觉很不错啊。

基带，信号，内存……重要的一个没说