1
raycool 216 天前
现在用的啥
|
2
drymonfidelia OP @raycool 现在用的 MySQL ,太卡顿了,而且数据库体积非常大,正在计划重构
|
3
jhdxr 216 天前
直接 ETL ?
|
4
jhdxr 216 天前
打错了,我想说 ELK
|
5
Belmode 216 天前
之前做过类似的,这种系统用 MongoDB 类的数据库,天然合适。不过有点需要主要,需要规划好文档结构和集合规模,还有要考虑索引的 key 。
因为数量达到一定程度,还是会慢,并且数据集合过大,MongoDB 直接无法 count 了。 1 、预估数据规模,设定需要的硬件配置 2 、选择单独分片还是分片分表,决定集群方案 3 、尽可能减少索引数据量,因为 MongoDB 会在 index 时把所有对应的索引完全载入内存,会导致内存占用高 4 、仅作业务分析,避免多文档事务 5 、聚合计算尽可能降低规模,提高查询效率、count 效率。 基本上单集合几亿数据毫无压力 |
6
locoz 216 天前 via Android
建议考虑用 ES ,应该会比 MongoDB 更适合
|
7
qW7bo2FbzbC0 216 天前
MongoDB 数据量大了,官方只有逻辑备份的工具,备份挺困难的,一次备份持续好几天。percona 物理备份工具需要使用 percona 分支的 MongoDB 。
elastic 需不需要备份,有物理备份方式吗? |
8
dododada 216 天前
@qW7bo2FbzbC0 上海机房备份到北京机房?
|
9
vczyh 216 天前
@qW7bo2FbzbC0 直接把 data 目录备份可行不
|
10
vczyh 216 天前
@qW7bo2FbzbC0 MongoDB
|
11
qW7bo2FbzbC0 216 天前
|
12
lenmore 216 天前
@qW7bo2FbzbC0 我是用 LVM 卷的 snapshot 做物理备份。
|
13
vczyh 210 天前
|