很厉害👍，祝好

为全人类谋幸福

@NorthSea #18 各个岗位情况不同吧，我大学同学在地方融媒体中心，她有个应届刚进来的同事就是本三硕士，符合条件就录取了，事业编，待遇还是很不错的，她本科只能给企业编。仅供参考，有错误欢迎指出

@NorthSea #15 我毕业四年了，现在在备考非全。据我有限的了解，全日制研究生，无论学校，是不少编制内岗位的硬性条件。看个人职业规划吧，我自己觉得提升学历对职业发展很有帮助，以后机会更多。

我以前就做数据清洗掉，经常有类似需求。

我写了个工具辅助做数据清洗，楼主有需要可以参考下，https://github.com/zhiweio/porter

描述：Porter 是一个数据清洗辅助工具，能够将 MySQL 、MongoDB 和文本文件（ CSV/TSV/JSON ）等数据源数据全量扫描推入到 Redis 队列，支持断点续传、自定义等待延迟和 Batch Size 。

流程：全量遍历数据不断推进 Redis 队列，然后另外写脚本并发取数后清洗再更新，写业务逻辑就行，不需要考虑多线程编程，脚本多起几个任务就行，更推荐的是用 Lambda Function 。

以前做过的方案，仅供参考

我 17 岁微机课重考复习，考不过没资格参加高考，找人借了台笔记本练习 Office 操作题，那台电脑的开机键不灵，我不会开机，很捉急，我哥来帮我开机，说：不是好开呢嘛。
他走了我再试，还是开不了机，我想不通，他也想不通，又来帮我开机，和我爸说，没有坏啊，一按就开机了。
10 年过去了，现在我哥买电脑前还特地来咨询下我的意见，因为我学了计算机，现在专业弄电脑的（写代码）。

小兄弟你的技术挺不错的了，问题是现在需求低迷，竞争激烈，你现在的履历很难脱颖而出，可以多认识些人找内推看看，比海投强太多
我个人建议你考研，有硕士学位择业面更广，也能丰富履历

老哥，建筑行业黄金时代过去了，新能源、汽车？

@AllenTsui #6 看苏师傅说的，房地产拉不动，今年指望汽车行业了，投资和消费

你家有钱吗，有钱这么讲究没事
我妈刚也发了，我忙学习没理

有过类似需求，需要对下载过程中的 stream 数据进行处理，搜到篇文章 [How to stream Microsoft SQL Server to S3 using BCP on linux]( https://dstan.medium.com/streaming-microsoft-sql-server-to-s3-using-bcp-35241967d2e0)，原理就是借助 named pipe 来对不支持 pipe 的下载工具截取 stream 进行处理。

基于这个原理我写了个迁移 SQL Server 到 S3 的小工具： https://github.com/zhiweio/StreamXfer

楼主可以参考下，读于你描述的需求，需要一个进程实时写 stream 到 named pipe ，另一个进程实时读 stream 写到其它地方，类似：
1. mkfifo /tmp/fifo
2. wget 'https://www.stats.govt.nz/assets/Uploads/Annual-enterprise-survey/Annual-enterprise-survey-2021-financial-year-provisional/Download-data/annual-enterprise-survey-2021-financial-year-provisional-csv.csv' -o /tmp/fifo &
3. cat /tmp/fifo | aws s3 cp - s3://bucket/xxx

希望能够有帮助，如果可以的话欢迎给我一个 star ，谢谢 :)

CDC 到队列，自己写程序或者 lambda 写 ES ，可行吗，是不是更简单一点？
我之前的公司是双写+重试，错了人肉纠正

英文听说能力强制要求吗

我建议看城市群，大湾区、长三角啥的

@xiamuguizhi #112 👍 生命不息，折腾不止

计算机，然后考研去好学校

最后我迁移到 Notion 平台，感觉很方便，很适合写文章，database 功能也很有用，贴图片附件复制粘贴就好，外链的 preview 也很好看，比如 github 的卡片。因为简单，写的博客比前几年都多了