公司业务发展比较快,希望寻求一些有大数据开发相关经验的朋友加入。我本人是部门(内部叫 数据平台组)负责人,大家有问题、感兴趣都可以直接联系我(liyangliang <at> yimian.com.cn
)。
简单介绍一下公司,一面数据(官网)成立于 2014 年,主要通过数据分析和人工智能技术为消费行业提供商业洞察和决策指导。公司在 2019 年被跨国公司 Ascential (艾盛集团) 收购。我们在知乎上有个关注人数 26 万+ 的专栏 数据冰山。
回到正题,我们组目前使用的技术栈包括 Hadoop ( CDH 版)、Spark 、Kafka 、ClickHouse 、TiDB 、MySQL 、Airflow 等,开发语言主要使用 Python 和 SQL.
日常工作主要是做项目(我们是 ToB 公司),一个典型的流程是先把爬虫采集的数据(在 TiDB 或 HBase Phoenix ) 同步到 Hive,再用 SQL 或 Spark 做 ETL 搭建数仓。内部基于 Airflow 开发了一个 Web 的数据开发平台(内部叫 OneFlow ),实现了数据同步、运行 Spark/SQL/Python 脚本、任务编排和调度等功能,大多数工作都在这个平台上开发。
除了做 ETL,也有报表开发( Excel 和 CSV 报表,主要使用 Pandas + SQL + openpyxl )、工具研发(抽象和复用)、新技术调研的工作。
我想简单划分为硬技能和软技能两部分。
硬技能其实在前面写得比较清楚了,如果您有相关经验,就能很快上手;如果没有,但能快速学习掌握,也是可以的。
软技能看起来会比较虚,但其实在工作中非常重要。我们经常需要跟其他部门合作,所以需要有良好的沟通意愿和能力。ToB 业务对交付质量和时间都比较严格,所以需要有良好的质量意识、deadline 意识。另外,大家通常能看到的自我进化、主人翁意识、主动分享等能力和习惯也是我们所认同和鼓励的。
我 2013 年毕业,之后主要从事 Web 和 大数据开发。2017 年开始担任公司数据平台组的负责人,负责大数据团队的组建,团队从最初的 3 人发展到现在 13 人。前面提到的很多技术都是我选型和搭建的,OneFlow 也是我牵头开发。大家如果感兴趣,可以通过 我的知乎主页 和 我的个人博客 了解更多信息。
如果感兴趣,可以随时联系我,简历发到我的工作邮箱 liyangliang <at> yimian.com.cn
1
DeanThompson OP 本招聘长期有效,欢迎来交流。
|
2
user919lx 2020-10-23 10:21:28 +08:00
公众号看起来不错
|
3
DeanThompson OP 顶一下,希望有合适的朋友们加入
|
4
aurinko 2020-10-23 16:12:00 +08:00
帮顶。投简历当天就回复了,面试官人很 nice~
|
5
DeanThompson OP 感谢 V 站,已经有个小伙伴入职了。继续招聘~
|