kex0916 最近的时间轴更新

kex0916

V2EX 第 238839 号会员，加入于 2017-07-05 14:48:46 +08:00

今日活跃度排名 12173

kex0916 创建的所有主题提问技术话题好玩工作信息交易信息城市相关

根据 kex0916 的设置，主题列表被隐藏

kex0916 最近回复了

31 天前

回复了 ccfoucs 创建的主题 › 推广 › 双十一🐶东购物超强省钱方案来了，这样做直接返现！

邀请码:nlb4o8

233 天前

回复了 KOSKERS 创建的主题 › Scala › 请教下关于用 Flume+kafka+Spark 实现实时监控错误日志报警的功能

看官网吧，比较系统全面
http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html
http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html

238 天前

回复了 blackcurrant 创建的主题 › 程序员 › 上百亿个键值对使用什么数据库好？

hbase

281 天前

回复了 PingCAP 创建的主题 › 酷工作 › 这些「神秘」团队到底是做什么的？| PingCAP 招聘季

@qiuyesuifeng 我看官网上大数据岗位在北京，成都有岗位吗?

288 天前

回复了 leechow 创建的主题 › 成都 › 成都招银网络科技云平台（云计算）开发社招

@leechow 好的，谢谢

290 天前

回复了 leechow 创建的主题 › 成都 › 成都招银网络科技云平台（云计算）开发社招

老哥可以帮推大数据的吗

295 天前

回复了 casillasyi 创建的主题 › 程序员 › 最近在准备弃了 Java ，入 Clojure 的坑

可以试试 scala 瑟

313 天前

回复了 qqq8724 创建的主题 › 问与答 › 问个 Spark 的问题,为什么 stage 没跑完,整个 job 就已经完了

你要找应用真正停止的原因，是正常执行完还是遇到了错误
ERROR scheduler.LiveListenerBus: SparkListenerBus has already stopped! 这个应该是 SparkContext 停止引起的，java.io.IOException: Broken pipe 这个要看看调用栈
数据的话你可以重新跑这个任务吗，计算一下条数什么的比较一下

313 天前

回复了 qqq8724 创建的主题 › 问与答 › 问个 Spark 的问题,为什么 stage 没跑完,整个 job 就已经完了

看样子是 task 提交被拒绝了，你有开启 spark task 推测执行吗，具体的原因要看一下 driver 的日志
如果被拒绝的原因是因为已经执行完成的话对数据没有影响，如果是因为已经标记失败的话那可能对数据有影响，如果 task 重试成功可能会重复，如果重试失败可能丢数据

313 天前

回复了 qqq8724 创建的主题 › 问与答 › 问个 Spark 的问题,为什么 stage 没跑完,整个 job 就已经完了

你点有 failed 的 stages，应该能看到失败的原因，或者去查看 executor 的日志应该也能找到失败原因
数据准确性这块你是保存文本数据，写出操作不是幂等的话在出错的时候是保证不了有且仅有一次的

» kex0916 创建的更多回复