Multiples nvme lentos en una placa Gigabyte Z790

ediaz · 20 Jun 2023

Hola a todo os describo mi sistema:

root@adycotest:/etc# inxi -v 7
System: Host: adycotest Kernel: 6.1.0-0.deb11.7-amd64 x86_64 bits: 64 compiler: gcc v: 10.2.1 Console: tty 0
Distro: Debian GNU/Linux 11 (bullseye)
Machine: Type: Desktop Mobo: Gigabyte model: Z790 AORUS ELITE AX v: x.x serial: N/A UEFI: American Megatrends LLC. v: FD
date: 06/06/2023
Memory: RAM: total: 125.59 GiB used: 1.97 GiB (1.6%)
Array-1: capacity: 128 GiB slots: 4 EC: None max module size: 32 GiB note: est.
Device-1: Controller0-ChannelA-DIMM0 size: 32 GiB speed: spec: 4800 MT/s actual: 4000 MT/s type: <OUT OF SPEC>
detail: synchronous bus width: 64 bits total: 64 bits manufacturer: Crucial Technology part-no: CT32G48C40U5.M16A1
serial: E7283E6A
Device-2: Controller0-ChannelA-DIMM1 size: 32 GiB speed: spec: 4800 MT/s actual: 4000 MT/s type: <OUT OF SPEC>
detail: synchronous bus width: 64 bits total: 64 bits manufacturer: Crucial Technology part-no: CT32G48C40U5.M16A1
serial: E7283E74
Device-3: Controller1-ChannelA-DIMM0 size: 32 GiB speed: spec: 4800 MT/s actual: 4000 MT/s type: <OUT OF SPEC>
detail: synchronous bus width: 64 bits total: 64 bits manufacturer: Crucial Technology part-no: CT32G48C40U5.M16A1
serial: E7283C86
Device-4: Controller1-ChannelA-DIMM1 size: 32 GiB speed: spec: 4800 MT/s actual: 4000 MT/s type: <OUT OF SPEC>
detail: synchronous bus width: 64 bits total: 64 bits manufacturer: Crucial Technology part-no: CT32G48C40U5.M16A1
serial: E7283744
CPU: Info: 16-Core model: 13th Gen Intel Core i9-13900K bits: 64 type: MT MCP arch: N/A rev: 1 L1 cache: 2.1 MiB
L2 cache: 36 MiB L3 cache: 70.3 MiB bogomips: 191692
Speed: 3000 MHz min/max: 800/5500 MHz volts: 0.9 V ext-clock: 100 MHz Core speeds (MHz): 1: 3000 2: 3000 3: 3000
4: 3000 5: 3000 6: 3000 7: 3000 8: 3000 9: 3000 10: 3000 11: 3000 12: 3000 13: 1100 14: 3000 15: 3000 16: 3000
17: 3000 18: 3000 19: 3000 20: 3000 21: 3000 22: 3000 23: 3000 24: 3000 25: 3000 26: 3000 27: 3000 28: 3000
29: 3000 30: 3000 31: 3000 32: 3000
Flags: 3dnowprefetch abm acpi adx aes aperfmperf apic arat arch_capabilities arch_lbr arch_perfmon art avx avx2
avx_vnni bmi1 bmi2 bts clflush clflushopt clwb cmov constant_tsc cpuid cpuid_fault cx16 cx8 de ds_cpl dtes64 dtherm
dts ept ept_ad erms est f16c flexpriority flush_l1d fma fpu fsgsbase fsrm fxsr gfni hfi ht hwp hwp_act_window
hwp_epp hwp_notify hwp_pkg_req ibpb ibrs ibrs_enhanced ibt ida intel_pt invpcid invpcid_single lahf_lm lm mca mce
md_clear mmx monitor movbe movdir64b movdiri msr mtrr nonstop_tsc nopl nx ospke pae pat pbe pcid pclmulqdq pconfig
pdcm pdpe1gb pebs pge pku pln pni popcnt pse pse36 pts rdpid rdrand rdseed rdtscp rep_good sdbg sep serialize
sha_ni smap smep smx split_lock_detect ss ssbd sse sse2 sse4_1 sse4_2 ssse3 stibp syscall tm tm2 tme tpr_shadow tsc
tsc_adjust tsc_deadline_timer tsc_known_freq umip vaes vme vmx vnmi vpclmulqdq vpid waitpkg x2apic xgetbv1 xsave
xsavec xsaveopt xsaves xtopology xtpr
Graphics: Device-1: Intel vendor: Gigabyte driver: i915 v: kernel bus ID: 00:02.0 chip ID: 8086:a780 class ID: 0300
Display: server: X.org 1.20.11 driver: loaded: vesa unloaded: fbdev,modesetting tty: 185x61
Message: Advanced graphics data unavailable in console for root.
Audio: Message: No Device data found.
Network: Device-1: Intel driver: N/A port: 6000 bus ID: 00:14.3 chip ID: 8086:7a70 class ID: 0280
Device-2: Realtek RTL8125 2.5GbE vendor: Gigabyte driver: r8169 v: kernel port: 4000 bus ID: 06:00.0
chip ID: 10ec:8125 class ID: 0200
IF: enp6s0 state: up speed: 1000 Mbps duplex: full mac: 74:56:3c:71:3d:39
IP v4: 192.168.2.87/24 type: dynamic noprefixroute scope: global broadcast: 192.168.2.255
IP v6: fe80::7656:3cff:fe71:3d39/64 type: noprefixroute scope: link
WAN IP: 212.231.226.164
Bluetooth: Device-1: Intel type: USB driver: btusb v: 0.8 bus ID: 1-14:6 chip ID: 8087:0033 class ID: e001
Report: ID: hci0 state: down address: 00:00:00:00:00:00
RAID: Supported mdraid levels: linear multipath raid0 raid1 raid6 raid5 raid4 raid10
Device-1: md6 type: mdraid level: raid-5 status: active size: 10.92 TiB
Info: report: 4/4 UUUU blocks: 11720656128 chunk size: 128k super blocks: 1.2 algorithm: 2
Components: Online: 0: nvme1n1p1 1: nvme2n1p1 2: nvme3n1p1 4: nvme0n1p1
Drives: Local Storage: total: raw: 16.37 TiB usable: 12.74 TiB used: 9.99 GiB (0.1%)
ID-1: /dev/nvme0n1 vendor: Crucial model: CT4000P3PSSD8 size: 3.64 TiB speed: 63.2 Gb/s lanes: 4 rotation: SSD
serial: 2317E6CE96AD rev: P9CR40A temp: 39 C scheme: GPT
ID-2: /dev/nvme1n1 vendor: Crucial model: CT4000P3PSSD8 size: 3.64 TiB speed: 63.2 Gb/s lanes: 4 rotation: SSD
serial: 2317E6CE96FA rev: P9CR40A temp: 45 C scheme: GPT
ID-3: /dev/nvme2n1 vendor: Crucial model: CT4000P3PSSD8 size: 3.64 TiB speed: 63.2 Gb/s lanes: 4 rotation: SSD
serial: 2309E6B42386 rev: P9CR40A temp: 43 C scheme: GPT
ID-4: /dev/nvme3n1 vendor: Crucial model: CT4000P3PSSD8 size: 3.64 TiB speed: 63.2 Gb/s lanes: 4 rotation: SSD
serial: 2317E6CF079C rev: P9CR40A temp: 42 C scheme: GPT
ID-5: /dev/sda vendor: SanDisk model: SDSSDH32000G size: 1.82 TiB speed: 6.0 Gb/s rotation: SSD
serial: 191804801018 rev: 70RL temp: 27 C scheme: GPT
Message: No Optical or Floppy data was found.
Partition: ID-1: / size: 91.11 GiB used: 9.99 GiB (11.0%) fs: ext4 dev: /dev/sda1 label: N/A
uuid: 5397a994-f421-45b4-a195-756c0456d637
ID-2: /boot/efi size: 952.1 MiB used: 5.8 MiB (0.6%) fs: vfat dev: /dev/sda2 label: N/A uuid: 07A1-7B6D
Swap: ID-1: swap-1 type: partition size: 9.31 GiB used: 0 KiB (0.0%) priority: -2 dev: /dev/sda3 label: N/A
uuid: 6741a2f8-79bb-446b-9f0f-9a961b4543ac
Unmounted: ID-1: /dev/nvme3n1p1 size: 3.64 TiB fs: dm_integrity label: N/A uuid: N/A
USB: Hub-1: 1-0:1 info: Full speed (or root) Hub ports: 16 rev: 2.0 speed: 480 Mb/s chip ID: 1d6b:0002 class ID: 0900
Hub-2: 1-11:2 info: Genesys Logic Hub ports: 4 rev: 2.0 speed: 480 Mb/s chip ID: 05e3:0608 class ID: 0900
Hub-3: 1-12:3 info: Genesys Logic Hub ports: 4 rev: 2.0 speed: 480 Mb/s chip ID: 05e3:0608 class ID: 0900
Device-1: 1-12.1:5 info: Logitech Unifying Receiver type: Keyboard,Mouse driver: logitech-djreceiver,usbhid
interfaces: 2 rev: 2.0 speed: 12 Mb/s chip ID: 046d:c534 class ID: 0301
Device-2: 1-13:4 info: Integrated Express ITE Device type: HID driver: hid-generic,usbhid interfaces: 1 rev: 2.0
speed: 12 Mb/s chip ID: 048d:5702 class ID: 0300
Device-3: 1-14:6 info: Intel type: Bluetooth driver: btusb interfaces: 2 rev: 2.0 speed: 12 Mb/s chip ID: 8087:0033
class ID: e001
Hub-4: 2-0:1 info: Full speed (or root) Hub ports: 9 rev: 3.1 speed: 20 Gb/s chip ID: 1d6b:0003 class ID: 0900
Sensors: System Temperatures: cpu: 27.8 C mobo: 16.8 C
Fan Speeds (RPM): N/A
Info: Processes: 343 Uptime: 1h 17m wakeups: 0 Init: systemd v: 247 runlevel: 3 target: multi-user.target Compilers:
gcc: 10.2.1 alt: 10 Packages: apt: 2699 Shell: Bash v: 5.1.4 running in: tty 0 (SSH) inxi: 3.3.01

Como vereis es un pepino ahora mismo tiene instalados 4 nvme discos crucial en los diferentes accesos.

El problema es que va lento (digo lento que no pasa de 1G por segundo en lecturas. (menos misteriosamente uno de ellos que no es el que esta en la CPU)...

root@adycotest:/etc# hdparm -tT --direct /dev/nvme0n1;hdparm -tT --direct /dev/nvme1n1;hdparm -tT --direct /dev/nvme2n1;hdparm -tT --direct /dev/nvme3n1

/dev/nvme0n1:
Timing O_DIRECT cached reads: 3144 MB in 2.00 seconds = 1572.86 MB/sec
Timing O_DIRECT disk reads: 8070 MB in 3.00 seconds = 2689.81 MB/sec

/dev/nvme1n1:
Timing O_DIRECT cached reads: 3734 MB in 2.00 seconds = 1867.49 MB/sec
Timing O_DIRECT disk reads: 3410 MB in 3.00 seconds = 1136.54 MB/sec

/dev/nvme2n1:
Timing O_DIRECT cached reads: 9284 MB in 2.00 seconds = 4645.28 MB/sec
Timing O_DIRECT disk reads: 14194 MB in 3.00 seconds = 4730.72 MB/sec

/dev/nvme3n1:
Timing O_DIRECT cached reads: 2472 MB in 2.00 seconds = 1235.73 MB/sec
Timing O_DIRECT disk reads: 2368 MB in 3.00 seconds = 789.07 MB/sec

Como veis tengo un rendimiento muy desigual, los 3 son la misma marca de ssd :

root@adycotest:/etc# nvme list
Node SN Model Namespace Usage Format FW Rev
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1 2317E6CE96AD CT4000P3PSSD8 1 4.00 TB / 4.00 TB 512 B + 0 B P9CR40A
/dev/nvme1n1 2317E6CE96FA CT4000P3PSSD8 1 4.00 TB / 4.00 TB 512 B + 0 B P9CR40A
/dev/nvme2n1 2309E6B42386 CT4000P3PSSD8 1 4.00 TB / 4.00 TB 512 B + 0 B P9CR40A
/dev/nvme3n1 2317E6CF079C CT4000P3PSSD8 1 4.00 TB / 4.00 TB 512 B + 0 B P9CR40A

En su momento los probe independientemente y la velocidad si es adecuada, (unos 4700) como el nvme2n1. pero el resto no se porque no van a la velocidad correcta.

Alguien tiene una idea de que probar o que mirar, porque no encuentro porque unos funcionan a una velocidad u otra?,

Por lo que tengo entendido en este modelo se comparte el PCIe con el SSD y si usas un nvme no puedes usar el ssd, pero en cualquier caso deberian de ir a la velocidad de nvme2 .. sls!

ahora solo hay un discon en el ssd. para las pruebas

tasadarf · 21 Jun 2023

Yo intentaria probar con otro test. Ese al ser pocos segundos yo recuerdo que me daba problemas. Echa un vistazo a la suite de test phoronix seguro que hay varios para probar. Si tienes windows en ese ordenador puedes probar con crystaldiskmark por descartar que sea algun problema de Linux.

Corsair MP700: PCIe 5.0 NVMe SSD But Not Without Issues Review - Phoronix

www.phoronix.com

Aqui uno interesante de lectura y escritura parece que es el "FLexible IO"

ediaz · 22 Jun 2023

He probado literalmente de todo, he comrpado varias tarjetas para hacer pruebas tambien, con y sin PCI voy a dedicarle un tiempo a poner pruebas aqui...

por ahora con la configuracion que tengo sigo igual.. la que esta conectado a la CPU va como un tiro, el resto? van fatal

Ahroa mismo pienso que quizas sea un tema de las PCIe lanes que estan repartidas y solo estan usando una, aunque en la configuracion pone bus a 16G y a por x4 tengo la sensacion de que algo les hace a ir a 16G y a x1, (he puesto una tarjeta de PCIe 3.0 externa y el disco va a 800 max :-O

Gracias por contestar sigo investigando..

algunos test.

root@adycotest:/mnt/1/test/2# ./fio-cdm .
| | Read(MB/s)|Write(MB/s)|
|------|-----------|-----------|
| Seq | 2926.000| 1793.000|
| 512K | 1996.000| 1188.000|
| 4K | 50.700| 29.600|
|4KQD32| 1715.000| 594.000|

esto es un raid 5 creado con los 4 nvme.

Código:

root@adycotest:/mnt/1# cdm -s 10G
tests: 5, size: 10.0GiB, target: /mnt/1 71.4GiB/10.0TiB
|SEQ1M Q8 T1 |     4788.82|     1950.68|
|SEQ1M Q1 T1 |     3205.90|     1625.81|
|RND4K Q32T8 |      517.76|      301.91|
|. IOPS      |   126406.56|    73708.57|
|. latency us|     2021.92|     3464.62|
|RND4K Q1 T1 |       51.59|       30.82|
|. IOPS      |    12595.08|     7524.90|
|. latency us|       78.91|      130.77|

Ahora la version con cada uno de los entornos montados de manera indiependiente

tests: 5, size: 1.0GiB, target: /mnt/0 26.0GiB/3.6TiB (esta es la nvma conectada por PCIe 3.0 en la tarjeta se nota que es la mas lenta de todas.
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     2492.44|     2668.34|
|SEQ1M Q1 T1 |     2088.18|     1468.06|
|RND4K Q32T8 |      465.77|     2284.95|
|. IOPS      |   113714.37|   557848.83|
|. latency us|     2248.07|      454.02|
|RND4K Q1 T1 |       49.21|      349.75|
|. IOPS      |    12013.60|    85389.40|
|. latency us|       82.48|       10.99|
tests: 5, size: 1.0GiB, target: /mnt/1 26.0GiB/3.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     2719.71|     4336.60|
|SEQ1M Q1 T1 |     2298.25|     2438.11|
|RND4K Q32T8 |      488.70|     3535.03|
|. IOPS      |   119311.01|   863044.59|
|. latency us|     2142.63|      291.78|
|RND4K Q1 T1 |       51.69|      433.39|
|. IOPS      |    12618.48|   105808.84|
|. latency us|       78.51|        8.76|
tests: 5, size: 1.0GiB, target: /mnt/2 26.0GiB/3.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     2863.31|     4382.62|
|SEQ1M Q1 T1 |     2555.31|     2460.45|
|RND4K Q32T8 |      474.53|     3208.65|
|. IOPS      |   115853.09|   783360.93|
|. latency us|     2206.42|      322.46|
|RND4K Q1 T1 |       49.56|      354.90|
|. IOPS      |    12098.98|    86646.60|
|. latency us|       82.13|       10.98|
tests: 5, size: 1.0GiB, target: /mnt/3 26.0GiB/3.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     2635.60|     3851.30|
|SEQ1M Q1 T1 |     2387.15|     2083.32|
|RND4K Q32T8 |      458.54|     3050.82|
|. IOPS      |   111949.23|   744829.70|
|. latency us|     2283.53|      339.05|
|RND4K Q1 T1 |       42.62|      383.20|
|. IOPS      |    10404.32|    93553.89|
|. latency us|       95.36|       10.11|

ediaz · 22 Jun 2023

tasadarf dijo:
Yo intentaria probar con otro test. Ese al ser pocos segundos yo recuerdo que me daba problemas. Echa un vistazo a la suite de test phoronix seguro que hay varios para probar. Si tienes windows en ese ordenador puedes probar con crystaldiskmark por descartar que sea algun problema de Linux.

Corsair MP700: PCIe 5.0 NVMe SSD But Not Without Issues Review - Phoronix

www.phoronix.com

Aqui uno interesante de lectura y escritura parece que es el "FLexible IO"

Gracias por respuesta te he mandado una donacion :-D como ves los fio tampoco son tan malos de echo, en la lectura es donde va algo mal, pero estoy ya cansado de test y prueba voy a montar el sistema y asi se va a quedar :-D, claramente el Raid5 perjudica al sistema tengo que buscar una buena convinacion de raid5 para discos nvme porque el rendimiento esta bien pero no es nada del otro mundo

ediaz · 22 Jun 2023

me he vuelto loco con el tema y he cambiado el formato de sizing de disco a ver que tal va..

Switching your NVME ssd to 4k - Bjonnh.net

I recently got a WD SN850. There is a little trick to do when you receive it to switch it to 4k LBA and thus getting better performance by using native block size.

www.bjonnh.net

Pego los valores, no llego a ninguna conclusion... la verdad..

Código:

|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     2653.84|     2900.44|
|SEQ1M Q1 T1 |     2268.15|     1356.42|
|RND4K Q32T8 |      477.72|     2383.83|
|. IOPS      |   116630.42|   581990.20|
|. latency us|     2191.91|      434.87|
|RND4K Q1 T1 |       51.81|      356.12|
|. IOPS      |    12648.87|    86944.40|
|. latency us|       78.37|       10.81|
tests: 5, size: 1.0GiB, target: /mnt/1 26.0GiB/3.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     2930.52|     4267.65|
|SEQ1M Q1 T1 |     2857.22|     2407.49|
|RND4K Q32T8 |      501.67|     3698.50|
|. IOPS      |   122477.71|   902955.21|
|. latency us|     2087.00|      278.82|
|RND4K Q1 T1 |       53.46|      434.84|
|. IOPS      |    13051.19|   106161.60|
|. latency us|       75.93|        8.73|
|SEQ1M Q8 T1 |     3167.38|     4375.48|
tests: 5, size: 1.0GiB, target: /mnt/2 27.0GiB/3.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q1 T1 |     2581.11|     2434.79|
|RND4K Q32T8 |      474.33|     3216.44|
|. IOPS      |   115802.72|   785263.09|
|. latency us|     2207.47|      321.87|
|RND4K Q1 T1 |       50.48|      379.48|
|. IOPS      |    12323.74|    92645.67|
|. latency us|       80.64|       10.22|
tests: 5, size: 1.0GiB, target: /mnt/3 26.0GiB/3.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     2980.96|     4354.18|
|SEQ1M Q1 T1 |     2568.76|     2397.82|
|RND4K Q32T8 |      473.06|     3197.31|
|. IOPS      |   115493.90|   780593.28|
|. latency us|     2213.41|      323.26|
|RND4K Q1 T1 |       51.90|      387.02|
|. IOPS      |    12670.47|    94486.20|
|. latency us|       78.49|       10.02|

tasadarf · 22 Jun 2023

ediaz dijo:
Gracias por respuesta te he mandado una donacion :-D como ves los fio tampoco son tan malos de echo, en la lectura es donde va algo mal, pero estoy ya cansado de test y prueba voy a montar el sistema y asi se va a quedar :-D, claramente el Raid5 perjudica al sistema tengo que buscar una buena convinacion de raid5 para discos nvme porque el rendimiento esta bien pero no es nada del otro mundo

Muchas gracias por la donacion. Acabo de ver justo ahora al leer el log del kernel que es raid 5. Trabajo mañana y tarde asi que esta noche tranquilamente te echo un vistazo y te lo analizo minuciosamente. De momento la sensaciones que el raid actual que llevan las placas base no es por "hardware" aunque lo parezca es por software y se tiene que encargar de gestionar todo el procesador asi que puede que esto afecte a al rendimiento, al ser velocidades tan grandes es probable que afecte mas.

De lineas PCIe yo jamas he visto ningun problema si te dice que una ranura PCIe o M.2 soporta una velocidad siempre se cumple, cuando no se cumple lo pone en las especificaciones o bien baja de velocidad o se desactiva te paso el esquema de tu placa base y las especificaciones oficiales. Lo unico que pone que hay 2 conectores SATA que comparten ancho de banda con el M.2_4 pero que se desactivan si tienes M.2 conectado para que no influyen.

Captura-de-pantalla-de-2023-06-22-16-12-28 hosted at ImgBB

Image Captura-de-pantalla-de-2023-06-22-16-12-28 hosted in ImgBB

ibb.co

Captura-de-pantalla-de-2023-06-22-16-12-00 hosted at ImgBB

Image Captura-de-pantalla-de-2023-06-22-16-12-00 hosted in ImgBB

ibb.co

¿Cual es el uso que quieres dar al almacenamiento???

ediaz · 23 Jun 2023

tasadarf dijo:
Muchas gracias por la donacion. Acabo de ver justo ahora al leer el log del kernel que es raid 5. Trabajo mañana y tarde asi que esta noche tranquilamente te echo un vistazo y te lo analizo minuciosamente. De momento la sensaciones que el raid actual que llevan las placas base no es por "hardware" aunque lo parezca es por software y se tiene que encargar de gestionar todo el procesador asi que puede que esto afecte a al rendimiento, al ser velocidades tan grandes es probable que afecte mas.

De lineas PCIe yo jamas he visto ningun problema si te dice que una ranura PCIe o M.2 soporta una velocidad siempre se cumple, cuando no se cumple lo pone en las especificaciones o bien baja de velocidad o se desactiva te paso el esquema de tu placa base y las especificaciones oficiales. Lo unico que pone que hay 2 conectores SATA que comparten ancho de banda con el M.2_4 pero que se desactivan si tienes M.2 conectado para que no influyen.

Captura-de-pantalla-de-2023-06-22-16-12-28 hosted at ImgBB

Image Captura-de-pantalla-de-2023-06-22-16-12-28 hosted in ImgBB

ibb.co

Captura-de-pantalla-de-2023-06-22-16-12-00 hosted at ImgBB

Image Captura-de-pantalla-de-2023-06-22-16-12-00 hosted in ImgBB

ibb.co

¿Cual es el uso que quieres dar al almacenamiento??

La idea es montar un servidor de ficheros para linux que tenga bastante potencia de ficheros, virtualice maquinas ademas llevara varios discos de 8T para copias de seguridad.

Las tarjetas M2 solo están conectadas las tres primeras de la placa la ultima la voy a dejar para tener discos SSD disponibles para conectar ya que me interesa tener todos los SSD disponibles he comprado la tarjeta extensora de aorus de 4 M2, pero como mi bus pci solo puede hacer bifurcación a 8x8x pues solo veo dos tarjetas.

posiblemente si amplio sera mas adelante, por ahora van a quedar 3 en placa y 1 en la aours de m2. y dejar otra libre para ampliar discos o restaurar discos en error.

creo que voy a volver al espacio de 512b porque no veo mejor rendimiento y lo único que puede dar son problemas de compatibilidad voy a montar todo y mando una foto para que veais como ha quedado.

le voy a dar una vuelta al tuning de raid que voy a montar y fuera..

ediaz · 23 Jun 2023

he cambiado a una tarjeta directa al bus pci 4.0 que le va a ser mas util al raid que quiero montar..

estos son los test en xfs

Código:

tests: 5, size: 1.0GiB, target: /mnt/0 26.0GiB/3.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     2938.54|     4379.04|
|SEQ1M Q1 T1 |     2483.21|     2667.02|
|RND4K Q32T8 |      501.12|     3684.19|
|. IOPS      |   122344.06|   899460.11|
|. latency us|     2089.71|      280.01|
|RND4K Q1 T1 |       50.88|      465.29|
|. IOPS      |    12421.12|   113595.20|
|. latency us|       79.77|        8.15|
tests: 5, size: 1.0GiB, target: /mnt/1 26.0GiB/3.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     3006.00|     4429.63|
|SEQ1M Q1 T1 |     2518.16|     2442.54|
|RND4K Q32T8 |      473.85|     3252.19|
|. IOPS      |   115686.79|   793991.20|
|. latency us|     2209.73|      317.97|
|RND4K Q1 T1 |       51.18|      370.74|
|. IOPS      |    12495.30|    90513.30|
|. latency us|       79.60|       10.46|
tests: 5, size: 1.0GiB, target: /mnt/2 26.0GiB/3.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     2877.12|     4357.72|
|SEQ1M Q1 T1 |     2592.33|     2452.59|
|RND4K Q32T8 |      473.50|     3182.86|
|. IOPS      |   115601.64|   777065.59|
|. latency us|     2211.28|      325.02|
|RND4K Q1 T1 |       55.83|      391.11|
|. IOPS      |    13631.07|    95486.50|
|. latency us|       73.10|        9.90|
tests: 5, size: 1.0GiB, target: /mnt/3 26.0GiB/3.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     2881.75|     4336.60|
|SEQ1M Q1 T1 |     2571.22|     2626.57|
|RND4K Q32T8 |      472.63|     3225.80|
|. IOPS      |   115386.97|   787549.49|
|. latency us|     2215.20|      320.30|
|RND4K Q1 T1 |       43.50|      372.17|
|. IOPS      |    10620.68|    90862.80|
|. latency us|       93.41|       10.33|

tasadarf · 23 Jun 2023

Hola.

A mi tambien me parecen raros los datos que te dan los test anteriores probablemente influya algo el raid, se supone que los test (individuales) se deben hacer sin configurar ningun raid y cuando se configura el raid 5 los test deben hacerse a la unidad nueva creada formada por todos los discos que pertenecen al raid. He estado investigando un poco raid pero no hay muchas pruebas y todas hacen la prueba con la unidad final.

En el nuevo test lo bueno es que todos los M.2 tienen velocidades similares, algo que me resulta curioso es que tiene mayor velocidad de escritura que lectura esto no es posible, asi que imagino que esta usando la RAM o algun tipo de cache para acelerar la velocidad.

¿Que tarjeta estas intentando usar?

ediaz · 23 Jun 2023

tasadarf dijo:
Hola.

A mi tambien me parecen raros los datos que te dan los test anteriores probablemente influya algo el raid, se supone que los test (individuales) se deben hacer sin configurar ningun raid y cuando se configura el raid 5 los test deben hacerse a la unidad nueva creada formada por todos los discos que pertenecen al raid. He estado investigando un poco raid pero no hay muchas pruebas y todas hacen la prueba con la unidad final.

En el nuevo test lo bueno es que todos los M.2 tienen velocidades similares, algo que me resulta curioso es que tiene mayor velocidad de escritura que lectura esto no es posible, asi que imagino que esta usando la RAM o algun tipo de cache para acelerar la velocidad.

¿Que tarjeta estas intentando usar?

Es todo la leche de raro

, la tarjeta que he montado es una de glotrends que va directa al PCI lo bueno es que funciona a x4 y es 4.0 (confirmado en bios)

he borrado todo de 0 y he creado he realizado un par de test raid0 raid0stripe, raid5 montando en xfs.. os los pongo.

Código:

RAid 0 stripe

tests: 5, size: 1.0GiB, target: /mnt/0 103.9GiB/14.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     3788.79|     7747.06|
|SEQ1M Q1 T1 |     3184.29|     3550.73|
|RND4K Q32T8 |      536.63|     3677.28|
|. IOPS      |   131013.19|   897773.85|
|. latency us|     1951.22|      280.24|
|RND4K Q1 T1 |       45.88|      345.68|
|. IOPS      |    11201.56|    84395.32|
|. latency us|       88.54|       11.15|


raid0 mdadm

root@adycotest:/mnt# cat fichero.raid0mdadm
tests: 5, size: 1.0GiB, target: /mnt/0 103.9GiB/14.6TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     3848.54|     8209.04|
|SEQ1M Q1 T1 |     3067.83|     3441.48|
|RND4K Q32T8 |      535.02|     3665.37|
|. IOPS      |   130620.95|   894866.23|
|. latency us|     1956.88|      281.35|
|RND4K Q1 T1 |       45.38|      347.17|
|. IOPS      |    11079.38|    84759.05|
|. latency us|       89.48|       11.11|


Raid 5 4 discos
tests: 5, size: 1.0GiB, target: /mnt/0 78.0GiB/10.9TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     2435.89|     1350.62|
|SEQ1M Q1 T1 |     1895.73|     1201.86|
|RND4K Q32T8 |      530.91|      376.45|
|. IOPS      |   129617.23|    91907.46|
|. latency us|     1971.75|     2777.20|
|RND4K Q1 T1 |       45.07|       47.00|
|. IOPS      |    11004.60|    11474.11|
|. latency us|       90.13|       86.06|

Raid 5 por defecto con la configuracion y todo por defecto que se crea..

tests: 5, size: 1.0GiB, target: /mnt/0 78.0GiB/10.9TiB
|Name        |  Read(MB/s)| Write(MB/s)|
|------------|------------|------------|
|SEQ1M Q8 T1 |     3415.21|     1457.70|
|SEQ1M Q1 T1 |     2756.01|     1279.18|
|RND4K Q32T8 |      530.75|      327.87|
|. IOPS      |   129576.77|    80046.55|
|. latency us|     1972.86|     3189.52|
|RND4K Q1 T1 |       60.65|       30.10|
|. IOPS      |    14807.44|     7347.66|
|. latency us|       67.30|      133.84|

Para los test estoy usando fio y este script para hacerlos sinteticos. cdmpy

ediaz · 26 Jun 2023

Bueno el sistema va montado ya... os contare como funciona pero al final se ha quedado por defecto..

este verano si me siento inspirado con bash preparare un script para manejar el smart en nvme.

Multiples nvme lentos en una placa Gigabyte Z790

ediaz

Chapucillas

tasadarf

Chapuzas sin vida social

Corsair MP700: PCIe 5.0 NVMe SSD But Not Without Issues Review - Phoronix

ediaz

Chapucillas

ediaz

Chapucillas

Corsair MP700: PCIe 5.0 NVMe SSD But Not Without Issues Review - Phoronix

ediaz

Chapucillas

Switching your NVME ssd to 4k - Bjonnh.net

tasadarf

Chapuzas sin vida social

Captura-de-pantalla-de-2023-06-22-16-12-28 hosted at ImgBB

Captura-de-pantalla-de-2023-06-22-16-12-00 hosted at ImgBB

ediaz

Chapucillas

Captura-de-pantalla-de-2023-06-22-16-12-28 hosted at ImgBB

Captura-de-pantalla-de-2023-06-22-16-12-00 hosted at ImgBB

ediaz

Chapucillas

tasadarf

Chapuzas sin vida social

ediaz

Chapucillas

ediaz

Chapucillas