yaoyuan7571 最近的时间轴更新
yaoyuan7571

yaoyuan7571

V2EX 第 178953 号会员,加入于 2016-06-24 21:42:36 +08:00
yaoyuan7571 最近回复了
2016-07-22 10:18:03 +08:00
回复了 soli 创建的主题 程序员 求个能 beats 90% 以上的 Move Zeroes 算法
void moveZeroes(vector<int>& nums) {
int zero_count=0;
for (int i=0; i<nums.size(); i++) {
if (nums[i] == 0) {
zero_count++;
} else {
int j=i-zero_count;
nums[j] = nums[i];
}
}
int last = nums.size()-1;
for (int i=0;i<zero_count;i++) {
nums[last]=0;
last--;
}
}
2016-07-06 15:08:41 +08:00
回复了 HeartJ 创建的主题 Hadoop Hadoop streaming C++ MapReduce 求助
可以试着看下 reduce 程序中是否有代码或数据错误导致程序崩溃,减少 reducer 数目,然后在代码中输出一些调试日志,然后在 jobtracker 界面查看日志,确定程序崩溃位置,推荐使用 java 开发
2016-06-27 22:08:50 +08:00
回复了 qfdk 创建的主题 Spark Apache Spark 之间的共享项目配置文件问题
@qfdk sbt run 命令调用的是 project 中的 main class, 而 spark 任务需要使用 spark-submit 脚本提交任务,应该用不到 sbt run 这个命令吧,打包的话可以使用 sbt+assembly 插件(也可以使用 maven 管理项目)生成一个包含所有依赖的全包(去除 spark-core 这种框架已提供的), 外部使用单独的 shell 脚本执行生成的 jar 包
2016-06-27 19:56:10 +08:00
回复了 qfdk 创建的主题 Spark Apache Spark 之间的共享项目配置文件问题
@qfdk 贴出来的信息量太少,看不出哪里问题,你可以再仔细看下异常堆栈,应该是其他方面的问题
2016-06-25 09:13:14 +08:00
回复了 qfdk 创建的主题 Spark Apache Spark 之间的共享项目配置文件问题
对于 yarn-cluster,可以试下--files /home/expertise/BigData2016/conf/project.properties#project.properties,读取的时候改为
def conf(file: String): Properties = {
val properties = new Properties()
try {
properties.load(new FileInputStream(file))
} catch {
case e : FileNotFoundException =>
properties.load(new FileInputStream((new File(file)).getName())
case e : Throwable => throw e
}
properties
}
因为没有环境不太方便验证,如果不行可以在试一试添加
--conf spark.driver.extraClassPath=./ --conf spark.executor.extraClassPath
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2987 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 10ms · UTC 15:05 · PVG 23:05 · LAX 08:05 · JFK 11:05
Developed with CodeLauncher
♥ Do have faith in what you're doing.