ZFS 持续写入变慢问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Distributions

› Ubuntu

› Fedora

› CentOS

中文资源站

› 网易开源镜像站

这是一个创建于 429 天前的主题，其中的信息可能已经有所发展或是发生改变。

我用 11 个东芝 18TB 企业盘（ MG09ACA18TE ）组的 RAIDZ1 ，机子内存 256GB 。
用 fio 测试顺序写入最高才 150MB/s, 之前测试上面这个单盘直写能有 250MB/s 。可能是组了 RAIDZ1 损耗了性能。
但更要命的是测试写入 1TB 数据：
前 5% 基本有 110 ～ 130 浮动；
到 20% 基本在 60 ～ 90MB/s 浮动；
到 50%基本在只有～ 48MB/s ；
到 60%基本在只有～ 40MB/s ；

ZFS 上的配置：
Type: FILESYSTEM
Sync: ALWAYS
Compression Level: LZ4
Enable Atime: OFF
ZFS Deduplication: OFF
Case Sensitivity: ON

观察了 CPU 使用率非常低，才 5%不到；
内存使用如下：
251.8GiB total available (ECC)
Free: 115.8 GiB
ZFS Cache: 126.0 GiB
Services: 9.9 GiB

FIO 测试命令：
fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --size 1000GB --bs=4m --iodepth=1 --readwrite=write

第一次用 ZFS ，不知道问题在哪，还是说这就是 ZFS 的标准性能。

ZFS

写入

raidz1

off

17 条回复 • 2023-11-06 09:30:25 +08:00

ladypxy

2023-10-23 05:48:55 +08:00 via iPhone

参考 https://icesquare.com/wordpress/how-to-improve-zfs-performance/

sNullp

2023-10-23 06:54:45 +08:00

ashift 多少？

sNullp

2023-10-23 06:59:15 +08:00

另外你的 storage controller 是啥？会不会再 expander 上有瓶颈？
我的 6*14TB zfs pool raidz2 用你的 fio 写大概有 550MB/s

sNullp

2023-10-23 07:02:50 +08:00

破案了
Sync: ALWAYS
你这就硬是把 async io 转换成 sync io 来写。你这不配个 SLOG SSD 的话估计就这么点速度了。

hefish

2023-10-23 07:28:20 +08:00

zfs 这东西就不能太多盘，我 12 个盘做 zfs ，经常 hung up 。另一台 12 个盘，每 6 个做了一个 pool ，反而跑的很欢，从来没 hung up 的情况。

louisxxx

2023-10-23 07:51:40 +08:00

@sNullp
NAME PROPERTY VALUE SOURCE
data01 ashift 12 local

放内存异步写容易掉数据，可能得加个 NVME 才行。storage controller = AOM-S3108M-H8L-P
看了背板 1 是接了 2 根 SLIMLINE SAS to MiniSAS HD ，然后背板 2 连接到背板 1 用的 2 根 MINI SAS HD

sNullp

2023-10-23 09:02:37 +08:00 via iPhone

@louisxxx 你这就是闭门造车了。行吧，你非要 force sync 建议上 optane

zzboat0422

2023-10-23 09:08:51 +08:00

额外提醒一下，在数据中心中，东芝盘的故障率是最高，粗略感受约为另外三家的十倍以上，建议多设置冗余，多备份数据。

mikewang

2023-10-23 10:47:12 +08:00 via iPhone

Sync: ALWAYS
强制同步的问题，速度低正常。我两个 NVME 盘开强制同步速度也就剩不到 200M/s 了，损失明显。
建议关掉 Sync ，怕丢数据上一个靠谱的 UPS 吧。

lianyanjiajia

2023-10-23 12:02:58 +08:00

你这个也太慢了 truenas core 4 盘 4t rz1 顺序读写都有 3 400mb/s

louisxxx

2023-10-23 23:33:46 +08:00

@zzboat0422 哪里的数据？我之前看 dropbox 的数据东芝盘的故障率最低好像

louisxxx

2023-10-23 23:39:04 +08:00

@zzboat0422 数据在这里 https://www.backblaze.com/blog/backblaze-drive-stats-for-2022/

louisxxx

2023-10-24 06:00:28 +08:00

@lianyanjiajia 我测试我这里顺序读才 200-300MB 。感觉极度不正常。打算装个 md 软 raid 再测试下速度看

zzboat0422

2023-10-25 08:52:04 +08:00

@louisxxx 实测的，本人管理的硬盘大概几万块，其中东芝盘数量占比不到 10%，故障率占比超过 60%。v2 上也就运维少，这在运维行业都不是秘密。之前 B 站因东芝盘故障率高影响太大，一口气换掉了数据中心几千块东芝盘，无论好坏。

zzboat0422

2023-10-25 09:06:30 +08:00

@louisxxx 我看了一下，确实没有我们这边东芝 6T 8T 10T 容量的规格。后面我们新签的采购协议已经禁止东芝盘了，所以没有更大容量的东芝盘的故障率数据。

louisxxx

2023-10-25 09:56:50 +08:00 via iPhone

@zzboat0422 不清楚什么情况😳 我 8 年前的东芝硬盘现在都还好好的

lianyanjiajia

2023-11-06 09:30:25 +08:00

@louisxxx
你是 scale 吗我用 scale 就慢的要死换了 core 就好了