用什么数据库存储访问日志做分析比较好？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

这是一个创建于 4430 天前的主题，其中的信息可能已经有所发展或是发生改变。

不是web server的日志是经过加工后的业务日志数据量一天在几百万需要做统计分析

目前用的是mysql 不知道数据量大了之后性能如何？

大家都用的是什么？求方案求推荐

日志

数据量

Web

14 条回复 • 1970-01-01 08:00:00 +08:00

feiandxs

2012-10-12 14:35:23 +08:00

问到我心坎儿里去了= =
目前是原始文件打包，近几日的进memcach...
没楼主那么大，所以memcache还足够用。但也怕断电，就要重新抓，很麻烦。
用mysql塞过web日志，其实还行，但目前我更倾向于用mongodb了。
mark一下，坐等看各路高手经验。

ritksm

2012-10-12 14:37:50 +08:00

mongodb+redis...

phuslu

2012-10-12 14:40:16 +08:00

之前一个项目用的 mongodb, 按分钟压缩保存 raw log 和 summarized info, 30 TB.
感想就是 mongodb cluster 部署和维护成本很高.

richiefans

2012-10-12 15:03:24 +08:00

@ritksm @phuslu
落伍了，我只是了解了下mongodb，redis，还没实际用过
貌似redis累死K-V存储
mongodb 貌似是可以按行存数据按条件查询的

这样看来 mongodb貌似是可以的

richiefans

2012-10-12 15:04:03 +08:00

@feiandxs
放到memcache 如何做查询分析啊？

ritksm

2012-10-12 15:20:30 +08:00

@richiefans redis是有数据结构的。。。不是简单的k-v。。。我的做法是。。。mongodb存当天的。。。然后分析出来一堆结果。。。然后把可以distinct的值存到redis里面做周的分析。。。然后周-》月也一样。。。当然。。。如果硬盘足够大。。。可以完全用mongodb完成。。。

haijd

2012-10-12 21:03:14 +08:00

postgresql

aveline

2012-10-12 21:08:06 +08:00

我是mongodb...觉得存储成本有点高

twm

2012-10-12 21:11:59 +08:00

mysql足够

ioiioi

2012-10-13 18:31:39 +08:00

logstash + elasticsearch, elasticsearch可以做cluster，logstash可以做过滤和规整。
这两天我正在实践，网外有不少成功案例。

zxp

2012-10-14 23:26:55 +08:00

最近很火的 splunk，不管什么日志数据，只要用各种方式扔给Splunk，剩下的工作就交给这个号称IT界的Google来处理了。详见 http://zh-hans.splunk.com/

superisaac

2012-10-15 15:48:14 +08:00

纯文本啊，用一堆脚本去分析。有必要用数据库？

superisaac

2012-10-15 15:53:41 +08:00

或者用mysql archive engine, 只支持insert 和select, 压缩率比myisampack大。

AntiGameZ

2012-10-15 16:22:30 +08:00

splunk+1, 但是很贵，如果超过500m/天的quota