<div dir="ltr"><div>Hi,<br><br>we're running Ubuntu 16.04.4, mdadm - v3.3 and Kernel 4.13.0-36.<br>We have created raid10 using 22 960GB SSDs [1] . The problem we're<br>experiencing is that /usr/share/mdadm/checkarray<br>(executed by cron, included in a mdadm pkg) results in (soft?)<br>deadlock - load on the node spikes up to 500-700 and all I/O operations<br>are blocked for a period of time. We can see traces liek these [2] in<br>our kernel log.<br><br>e.g. it ends up in static state like<br><br>test@os-node1:~$ cat /proc/mdstat<br>Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]<br>md1 : active raid10 dm-23[9] dm-22[8] dm-21[7] dm-20[6] dm-18[4] dm-19[5] dm-17[3]<br>                    dm-16[21] dm-15[20] dm-14[2] dm-13[19] dm-12[18] dm-11[17]<br>                    dm-10[16] dm-9[15] dm-8[14] dm-7[13] dm-6[12] dm-5[11] dm-4[10] dm-3[1] dm-2[0]<br>      10313171968 blocks super 1.2 512K chunks 2 near-copies [22/22] [UUUUUUUUUUUUUUUUUUUUUU]<br>      [===>.................]  check = 19.0% (1965748032/10313171968) finish=1034728.8min speed=134K/sec<br>      bitmap: 0/39 pages [0KB], 131072KB chunk<br>unused devices: <none><br><br>and the only solution is to hard reboot the node. What we found out is that it<br>doesn't happen on idle raid, we have to generate some significant load<br>(10 VMs running fio[3] with 500GB HDDs.) to be able to reproduce the issue.<br><br>Anyone ever experienced similar issues? Do you have any suggestions how to<br>better trouble shoot this issue and maybe identify if disks or software layer<br>is responsible for this behaviour<br><br>[1] <a href="http://www.samsung.com/us/dell/pdfs/PM1633a_Flyer_2016_v4.pdf">http://www.samsung.com/us/dell/pdfs/PM1633a_Flyer_2016_v4.pdf</a><br>[2] <a href="https://gist.github.com/haad/09213bab1bc30a00c7d255c0bc60897b">https://gist.github.com/haad/09213bab1bc30a00c7d255c0bc60897b</a><br>[3] <a href="https://github.com/axboe/fio">https://github.com/axboe/fio</a><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><div class="gmail_signature">Regards<br>Adam.<br><br>Adam Hamsik<br>00421 904 937 495<br><a href="mailto:adam.hamsik@chillisys.com" target="_blank">adam.hamsik@chillisys.com</a><br><a href="mailto:haad@netbsd.org" target="_blank">haad@netbsd.org</a></div></div>
</div>