基于 Hadoop 的 SparkSQL/impala 不支持 update，有什么分布式系统推荐的？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

这是一个创建于 2937 天前的主题，其中的信息可能已经有所发展或是发生改变。

本来基于 HDFS 的 spark/impala 的 sql-like 的语法是挺好用的，性能也很不错，无奈 hdfs 上的存储系统一般不支持 update/delete ，只支持 insert ，刚接触 Bigdata 、 DW 这一块，不是很了解这方面的技术 /产品，有什么推荐的吗？

目前有要求如下

分布式，方便扩展
sql-like 是最好的
需要支持 update/delete 等修改
尽量是开源免费，而且不那么小众的

目前我知道 GreenPlum ， Any other ideas?

PS:没找到合适的节点。

11 条回复 • 2016-11-16 23:48:15 +08:00

k00baa

2016-11-16 09:34:43 +08:00

ElasticSearch 可以满足你的需求

tchekai704

2016-11-16 09:43:03 +08:00

@k00baa 看了一下 ElasticSearch 的 SQL 并不强大，而且是三方的。还是谢谢推荐！

miaoever

2016-11-16 09:46:18 +08:00

目前我接触过的数仓上一般都不支持 update ，基本都是 insert overwrite 或者新建 table 然后 drop 掉原来的 table.

yuankui

2016-11-16 10:18:23 +08:00

那就是 cassandra 啦。。

yuankui

2016-11-16 10:19:33 +08:00

楼主你可以先去查查，为什么这些数据仓库都不支持 update 。。
难道他们 SB 吗？

est

2016-11-16 10:44:26 +08:00

Cassandra

vus520

2016-11-16 10:55:58 +08:00

写了一大通，想了想，还是删掉了

wmttom

2016-11-16 13:51:37 +08:00

既然是 hadoop 生态，我能想到的就是 kudu 了

tchekai704

2016-11-16 13:56:51 +08:00

@yuankui
我所知道的基于 Oracle 的 OLAP 的可以支持 update ，但是同时操作相关索引的性能代价很大； hdfs 本身并不支持修改数据，所以 HBase 这样的产品也是用插入新行并且后期进行 compact 来模拟 update ；至于传统的 DW 产品为什么不支持 update 确实是不知道。

tchekai704

2016-11-16 16:17:18 +08:00 via iPhone

@vus520 please!

liprais

2016-11-16 23:48:15 +08:00 via iPad

hive 是支持的