• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
这是一个创建于 1083 天前的主题，其中的信息可能已经有所发展或是发生改变。
岗位职责：
1 、负责爬虫的设计和开发；
2 、负责网页和 APP 数据的解析和入库；
3 、负责爬虫的部署，调度，维护等工作；
4 、负责抓取数据的深度提取和挖掘。
5 、负责寻找同类型资源
职位要求：
1 、计算机或相关专业本科以上学历；
2 、熟悉 python/java 语言任意一种，1 年以上爬虫经验
3 、要求熟练使用 Python ， 熟练使用 scrapy 框架，以及 scrapy-redis 分布式框架；
4 、熟悉 JavaScript ，java ， 能读懂 JS ，java 代码；
5 、精通网页抓取原理及技术的实现细节，精通 Xpath 和正则表达式，从结构化的和非结构化的数据中获取信息，对网页抓取、信息抽取、去重、清洗、匹配有一定经验；
6 、至少熟悉一种数据库，mysql 、mongodb ，redis ，hive ，ES ；
7 、有数据分析或信息检索开发经验者优先；
8 、有用 hadoop ，spark 等大数据组件做过海量数据处理会优先考虑；
9 、有 APP 反编译经验的优先；
10 、熟练使用 docker 的优先
支持在家办公
待遇 15K
邮箱 ： [email protected]
1 、负责爬虫的设计和开发；
2 、负责网页和 APP 数据的解析和入库；
3 、负责爬虫的部署，调度，维护等工作；
4 、负责抓取数据的深度提取和挖掘。
5 、负责寻找同类型资源
职位要求：
1 、计算机或相关专业本科以上学历；
2 、熟悉 python/java 语言任意一种，1 年以上爬虫经验
3 、要求熟练使用 Python ， 熟练使用 scrapy 框架，以及 scrapy-redis 分布式框架；
4 、熟悉 JavaScript ，java ， 能读懂 JS ，java 代码；
5 、精通网页抓取原理及技术的实现细节，精通 Xpath 和正则表达式，从结构化的和非结构化的数据中获取信息，对网页抓取、信息抽取、去重、清洗、匹配有一定经验；
6 、至少熟悉一种数据库，mysql 、mongodb ，redis ，hive ，ES ；
7 、有数据分析或信息检索开发经验者优先；
8 、有用 hadoop ，spark 等大数据组件做过海量数据处理会优先考虑；
9 、有 APP 反编译经验的优先；
10 、熟练使用 docker 的优先
支持在家办公
待遇 15K
邮箱 ： [email protected]
Select Language