V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  RicherWQ  ›  全部回复第 2 页 / 共 2 页
回复总数  29
1  2  
首先上亿数据很常见,目前你们的处理方式问题很多:
1.几亿数据为什么不做分库分表?做了分库分表,都是小表就查呗
2.为什么不让查询?数据库没做主从架构,有了这个架构,查询从库出问题也没啥影响啊
3.主管技术问题?数据再多用 id 查询单条数据也是问题不大的,先通过 es 查到数据的 ID ,再根据 id 去数据库查询呗
129 天前
回复了 oukichi 创建的主题 创业组队 有没有 ux 一起来弄个社交 app
@oukichi 可能你把太多精力放在小事上了,我觉得产品可以失败,但是原因不应该是精力不足。如果你真的觉得产品没问题,核心是自己精力问题的话,我觉得可以有很多方案可以解决,如果你还想搞类似东西的话,我可以帮助你。
129 天前
回复了 15342 创建的主题 程序员 大量数据同步一致性问题
@15342 这个要自己考虑,和业务场景有关,先不考虑目前你们的数据方案是否合理,默认合理的话,无论修改的人和地方有多少都无所谓,首先可以确保修改的原数据没有问题就可以了,然后就是同步的问题了,你数据本身有版本号,每次变更都要加 1 ,这样就能知道哪个数据版本是新的了,你要同步到 starrocks ,那么就需要判断如果你同步过来的数据比 starrocks 里边的版本号低就不同步,反之就同步。如果你们数据变化多的话,你定时同步增量数据期间还会产生大量不一致数据,这个时候就要单挑变化一起同步了。
129 天前
回复了 15342 创建的主题 程序员 大量数据同步一致性问题
@nnegier 定时批量遍历查询写入
130 天前
回复了 oukichi 创建的主题 创业组队 有没有 ux 一起来弄个社交 app
两年过去了,你这个产品如何了?
130 天前
回复了 xlinux 创建的主题 数据库 你倾向于设置数据库字段的默认值吗?
除非特殊情况,不然必须设置默认值。专业 DBA 都会这样做。
131 天前
回复了 whoisyou 创建的主题 奇思妙想 如何再造宇宙厂所有 APP?
感谢您不计回报的为用户发光发热
感谢你不计回报的为用户业发光发热
131 天前
回复了 15342 创建的主题 程序员 大量数据同步一致性问题
我们之前是这么做的, 分全量同步和部分同步,全量同步每天定时同步一次, 部分同步就是业务触发的时候进行同步。要求你每条数据有版本号,这样更新的时候如果本地版本新就不更新了。
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2702 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 18ms · UTC 15:11 · PVG 23:11 · LAX 08:11 · JFK 11:11
Developed with CodeLauncher
♥ Do have faith in what you're doing.