目前我总结的问题有以下几点: 1、数据采集(数据埋点,用 elasticsearch 收集埋点数据); 2、数据抽取(之前用存储过程,不易维护;也用过开源 ETL 工具,talend,效率低;现在用 python 脚本,成本较大) 3、数据整合(埋点数据和业务数据整合),数据存放在 mysql,目前没有用到数据仓库;
想知道大家在工作中会遇到哪些数据上的问题,一起探讨一下呀!
1
vanton 2019-07-08 17:52:25 +08:00
> 数据存放在 mysql
最好不要这么干。 |
2
qianc1990 2019-07-09 09:42:10 +08:00
上阿里云 dataworks
|