10/08/2021
Основные аппаратные ресурсы любого серверного оборудования – это процессор, ОЗУ и дисковая подсистема. Определение их производительности и мониторинг – одни из ключевых задач в эксплуатации такой техники. Тут хотелось бы остановиться на вопросе определения производительности дисковой подсистемы. При этом под таковой я подразумеваю не только один обычный жесткий диск, но и различные сложные системы для хранения данных, которые используются в серверных системах. Современные программно определяемые стораджи настолько далеко ушли в технологиях, что нет смысла в данном контектсе останавливаться на специфике их работы. Давайте рассмотрим ситуацию, когда у нас есть виртуальная или физическая машина с ОС Linux, на которой доступен физический или логический жесткий диск, производительность которого хотелось бы протестировать. Для этих целей идеально подходит небольшая утилита fio. Она очень гибкая и богатая по фунционалу. Позволяет провести разнообразные тесты ввода-вывода дисковых подсистем.
Проведение тестов
Итак, давайте посмотрим, как мы можем использовать fio, чтобы оценить производительность конкретной дисковой подсистемы. Для начала, нужно установить данную утилиту в системе. Так, в операционной системе Ubuntu Linux 18.04/20.04 это можно сделать следующим образом.
# sudo apt update
# sudo apt install fio
Сама по себе утилита fio может быть разрушительной и удалить все данные в системе, если ею пользоваться без необходимых знаний. Поэтому перед использованием данной программы крайне желательно хотя бы бегло ознакомиться с мануалом и сопутствующими инструкциями. Так, при запуске fio можно начать писать и читать данные непосредственно на диск, а можно и на определенную директорию файловой системы диска.
Давайте посмотрим, как мы можем узнать, сколько может дать наша дисковая подсистема в операциях на чтение, при этом используя для тестов отдельную папку на диске (/tmp/fio). Предварительно мы должны создать эту папку, если она не существует в системе. Ниже приводится простейший пример команды fio с необходимыми опциями, а также вывод, показывающий результат работы тестов.
# fio --name=fiotest01 --ioengine=libaio --rw=read --direct=1 --size=1G --runtime=240 --group_reporting --directory=/tmp/fio/
fiotest01: (g=0): rw=read, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.16
Starting 1 process
fiotest01: Laying out IO file (1 file / 1024MiB)
Jobs: 1 (f=1): [R(1)][100.0%][r=3311KiB/s][r=827 IOPS][eta 00m:00s]
fiotest01: (groupid=0, jobs=1): err= 0: pid=292277: Tue Aug 10 08:37:37 2021
read: IOPS=772, BW=3091KiB/s (3165kB/s)(724MiB/240001msec)
slat (usec): min=10, max=643, avg=24.35, stdev= 8.56
clat (usec): min=243, max=530802, avg=1266.70, stdev=4813.97
lat (usec): min=305, max=530827, avg=1291.71, stdev=4814.60
clat percentiles (usec):
| 1.00th=[ 355], 5.00th=[ 420], 10.00th=[ 478], 20.00th=[ 594],
| 30.00th=[ 676], 40.00th=[ 742], 50.00th=[ 799], 60.00th=[ 848],
| 70.00th=[ 898], 80.00th=[ 971], 90.00th=[ 1090], 95.00th=[ 1483],
| 99.00th=[ 12911], 99.50th=[ 19530], 99.90th=[ 57934], 99.95th=[ 88605],
| 99.99th=[206570]
bw ( KiB/s): min= 8, max= 6978, per=99.99%, avg=3089.62, stdev=1263.49, samples=479
iops : min= 2, max= 1744, avg=772.39, stdev=315.88, samples=479
lat (usec) : 250=0.01%, 500=12.27%, 750=29.09%, 1000=42.49%
lat (msec) : 2=12.11%, 4=0.69%, 10=1.97%, 20=0.90%, 50=0.36%
lat (msec) : 100=0.08%, 250=0.04%, 500=0.01%, 750=0.01%
cpu : usr=0.71%, sys=2.76%, ctx=185945, majf=0, minf=14
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=185440,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=1
Run status group 0 (all jobs):
READ: bw=3091KiB/s (3165kB/s), 3091KiB/s-3091KiB/s (3165kB/s-3165kB/s), io=724MiB (760MB), run=240001-240001msec
Disk stats (read/write):
dm-0: ios=185315/149, merge=0/0, ticks=233360/5320, in_queue=238680, util=100.00%, aggrios=185440/119, aggrmerge=0/30, aggrticks=235232/4512, aggrin_queue=85892, aggrutil=99.99%
sda: ios=185440/119, merge=0/30, ticks=235232/4512, in_queue=85892, util=99.99%
В вышеприведенной команде, мы запустили тест на последовательное чтение, что указано в параметре –rw=read. Кроме этого, мы использовали параметр –ioengine=libaio, что заставляет fio использовать библиотеку libaio при тестировании. На сегодняшний момент эта библиотека является лучшим вариантом для получения точных данных о производительности дисковой подсистемы в ОС Linux. Также опция –direct=1 указывает на то, что не надо использовать буфферизацию при выполнении команды. При этом указав –size=1G, мы обозначили размер файла, который будет использован при тестировании, а с помощью –runtime=240, мы ограничили выполнение команды 240 секундами.
Отдельно стоит глубже осветить параметр –rw команды fio. С помощью данной опции мы можем указать, какой тип операций ввода-вывода будет использоваться. Доступны следующие варианты: последовательное чтение (read), случайное чтение (randread), последовательная запись (write), случайна запись (randwrite), а также одновременное использование операций чтения и записи (readwrite). В зависимости от планируемого типа нагрузки, нужно проводить какие-то определенные тесты по типу IOPS, либо все возможные варианты.
Теперь давайте рассмотрим реальный случай использования данной утилиты. Задействуем сразу несколько одновременных процессов, а также создадим глубину очереди IOPS в 16. В данном примере мы проведем тест на последовательную запись. Сама команда и ее вывод приведены ниже. При этом опять будем использовать директорию /tmp/fio для проведения тестов.
# fio --name=fiotest02 --ioengine=libaio --iodepth=16 --rw=write --bs=4k --direct=1 --size=4G --numjobs=4 --runtime=240 --group_reporting --directory=/tmp/fio/
fiotest02: (g=0): rw=write, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=16
...
fio-3.16
Starting 4 processes
fiotest02: Laying out IO file (1 file / 4096MiB)
fiotest02: Laying out IO file (1 file / 4096MiB)
fiotest02: Laying out IO file (1 file / 4096MiB)
fiotest02: Laying out IO file (1 file / 4096MiB)
Jobs: 4 (f=4): [W(4)][100.0%][w=3603KiB/s][w=900 IOPS][eta 00m:00s]
fiotest02: (groupid=0, jobs=4): err= 0: pid=293062: Tue Aug 10 12:19:09 2021
write: IOPS=871, BW=3485KiB/s (3568kB/s)(817MiB/240050msec); 0 zone resets
slat (usec): min=11, max=147475, avg=33.16, stdev=769.51
clat (msec): min=7, max=1508, avg=73.42, stdev=63.70
lat (msec): min=7, max=1508, avg=73.46, stdev=63.70
clat percentiles (msec):
| 1.00th=[ 17], 5.00th=[ 18], 10.00th=[ 18], 20.00th=[ 24],
| 30.00th=[ 31], 40.00th=[ 44], 50.00th=[ 61], 60.00th=[ 73],
| 70.00th=[ 89], 80.00th=[ 110], 90.00th=[ 146], 95.00th=[ 180],
| 99.00th=[ 313], 99.50th=[ 393], 99.90th=[ 542], 99.95th=[ 609],
| 99.99th=[ 802]
bw ( KiB/s): min= 408, max= 8688, per=100.00%, avg=3491.23, stdev=376.01, samples=1916
iops : min= 102, max= 2172, avg=872.73, stdev=94.01, samples=1916
lat (msec) : 10=0.04%, 20=14.82%, 50=28.91%, 100=31.94%, 250=22.45%
lat (msec) : 500=1.70%, 750=0.12%, 1000=0.03%, 2000=0.01%
cpu : usr=0.11%, sys=0.61%, ctx=85872, majf=0, minf=50
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=100.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=0,209126,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=16
Run status group 0 (all jobs):
WRITE: bw=3485KiB/s (3568kB/s), 3485KiB/s-3485KiB/s (3568kB/s-3568kB/s), io=817MiB (857MB), run=240050-240050msec
Disk stats (read/write):
dm-0: ios=0/209796, merge=0/0, ticks=0/15231692, in_queue=15231692, util=99.95%, aggrios=0/209402, aggrmerge=0/535, aggrticks=0/15186568, aggrin_queue=14782288, aggrutil=99.94%
sda: ios=0/209402, merge=0/535, ticks=0/15186568, in_queue=14782288, util=99.94%
И напоследок, рассмотрим случай использования утилиты fio, при которой будет производится запись напрямую на диск. При этом данные на /dev/sdb1, который используется в этом примере, будут повреждены. При осуществлении подобных тестов нужно быть особенно осторожным. Пример такой команды и ее вывод в командной строке Linux привиден далее по тексту.
# fio --name=fiotest03 --ioengine=libaio --iodepth=16 --rw=write --bs=4k --direct=1 --size=4G --runtime=240 --group_reporting --filename=/dev/sdb1
fiotest03: (g=0): rw=write, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=16
fio-3.16
Starting 1 process
Jobs: 1 (f=1): [W(1)][100.0%][w=6756KiB/s][w=1689 IOPS][eta 00m:00s]
fiotest03: (groupid=0, jobs=1): err= 0: pid=293329: Tue Aug 10 12:58:44 2021
write: IOPS=1778, BW=7115KiB/s (7285kB/s)(1668MiB/240009msec); 0 zone resets
slat (usec): min=2, max=571, avg=10.08, stdev= 8.71
clat (msec): min=2, max=411, avg= 8.98, stdev= 7.23
lat (msec): min=2, max=411, avg= 8.99, stdev= 7.23
clat percentiles (msec):
| 1.00th=[ 5], 5.00th=[ 6], 10.00th=[ 6], 20.00th=[ 7],
| 30.00th=[ 8], 40.00th=[ 8], 50.00th=[ 9], 60.00th=[ 9],
| 70.00th=[ 10], 80.00th=[ 11], 90.00th=[ 13], 95.00th=[ 14],
| 99.00th=[ 18], 99.50th=[ 21], 99.90th=[ 117], 99.95th=[ 167],
| 99.99th=[ 305]
bw ( KiB/s): min= 1888, max=11488, per=100.00%, avg=7114.10, stdev=1402.75, samples=480
iops : min= 472, max= 2872, avg=1778.51, stdev=350.69, samples=480
lat (msec) : 4=0.55%, 10=72.74%, 20=26.16%, 50=0.35%, 100=0.07%
lat (msec) : 250=0.12%, 500=0.02%
cpu : usr=0.99%, sys=2.40%, ctx=108948, majf=0, minf=12
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=100.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.1%, 32=0.0%, 64=0.0%, >=64=0.0%
issued rwts: total=0,426889,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=16
Run status group 0 (all jobs):
WRITE: bw=7115KiB/s (7285kB/s), 7115KiB/s-7115KiB/s (7285kB/s-7285kB/s), io=1668MiB (1749MB), run=240009-240009msec
Disk stats (read/write):
sdb: ios=29/426695, merge=0/0, ticks=52/3815361, in_queue=2955868, util=100.00%
Заключение
В статье постарался привести способы, как быстро и довольно точно оценить производительность дисковой подсистемы в операционной системе Linux. Это бывает крайне актуально при использовании высоко-нагруженных приложений, баз данных, а также в ряде других случаев. При этом понимание сколько IOPS дает та или иная дисковая система во многих случаях у администраторов отсутствует. До поры до времени это не приводит к последствиям, но с ростом нагрузки и сложности систем, любому специалисту придется иметь дело с необходимостью определения возможностей дисковых подсистем. Надеюсь, приведенная информация поможет справиться с этой задачей легко и изящно.
