请问 hadoop 多块磁盘只部署一个 datanode 好还是每块磁盘各部署一个 datanode
pmispig · 2022-07-27 13:01:09 +08:00 · 1478 次点击这是一个创建于 882 天前的主题，其中的信息可能已经有所发展或是发生改变。
CPU 24 核 256G 内存的机器，有 10 块硬盘.
请问部署方式是选择仅部署一个 datanode ，让这个 datanode 使用 10 块磁盘？
还是部署 10 个 datanode ，每个 node 仅使用一块磁盘？
请问两种姿势各有什么优势和缺点呢？
 |
1
israinbow 2022-07-27 14:36:53 +08:00
10 块硬盘准备如何给一个 DataNode 用? 首先 RAID 0 不推荐给 HDFS 用, RAID 0 会造成磁盘数量 (n) 倍的不可用几率;
而 HDFS 本身就是多个磁盘共用, 并发读写, 在多个磁盘上部署 DataNode 可以满足高可用 (互备) 和高 IO 性能. 详见 https://stackoverflow.com/questions/27988955/why-is-raid-not-recommended-for-hadoop-hdfs-setups |
 |
2
superchijinpeng 2022-07-27 14:41:24 +08:00
只部署一个就可以了，我司是每个 DN 22 块盘
|
 |
3
liprais 2022-07-27 14:46:12 +08:00
配的时候每个磁盘上一个目录就行
|
 |
4
Anybfans 2022-07-27 16:10:53 +08:00
不知道 lvm 格式行不行，有大佬指导一下吗
|
 |
7
pmispig OP @Anybfans 也毛病，lvm 对性能也没啥损失，我以前也是用 raid,现在测试 raid 速度比直通模式速度差了好多
|
Select Language