<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Apr 4, 2017 at 8:56 AM, Kevin O'Gorman <span dir="ltr"><<a href="mailto:kogorman@gmail.com" target="_blank">kogorman@gmail.com</a>></span> wrote:<br><div> <br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div><div><div><div><span style="font-family:monospace,monospace"></span></div></div></div></div></div></div></div><div class="gmail-HOEnZb"><div class="gmail-h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Apr 4, 2017 at 8:48 AM, Kevin O'Gorman <span dir="ltr"><<a href="mailto:kogorman@gmail.com" target="_blank">kogorman@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><div><div class="gmail-m_4764241622754361744h5"><br><div class="gmail_quote">On Tue, Apr 4, 2017 at 8:18 AM, Kevin O'Gorman <span dir="ltr"><<a href="mailto:kogorman@gmail.com" target="_blank">kogorman@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote"><span class="gmail-m_4764241622754361744m_4879490441869333238gmail-">On Tue, Apr 4, 2017 at 6:50 AM, Rashkae <span dir="ltr"><<a href="mailto:ubuntu@tigershaunt.com" target="_blank">ubuntu@tigershaunt.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="gmail-m_4764241622754361744m_4879490441869333238gmail-m_6922382863583632898gmail-">On 17-04-04 12:17 AM, Kevin O'Gorman wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
I've been fooling with this for a while.  Some things are fixed, but the<br>
darned thing still isn't right.<br>
<br>
</blockquote>
<br></span>
It looks like you've partitioned your RAID device itself.  I'm not too sure how that's supposed to look, as I've never set them up that way.<br>
(I partition the physical devices, as you've done, then create a raid array, and create my FS directly on that array.)<br>
<br>
That's not to say what you have here is wrong, just that I'm not sure how to interpret the blkid output.<br>
<br>
But actually fixing your current situation is probably going to be simple.. *Don't* use device names in your fstab.. put in the UUID<br>
<br>
Example:<br>
<br>
<br>
UUID=a6470f33-4709-4c96-8cf4-2<wbr>fc0a4c2cdf9 /raid3        ext4   defaults  0    2<br>
<br>
(Note the removal of nofail, and changing the last field to 2)<br>
<br>
<br>
You might also want to update your mdadm.conf<br>
<br>
Check the device name of your running array with cat /proc/mdstat<br>
<br>
Assuming it's the same as you have in the original message, md127<br>
<br>
mdadm --detail --scan /dev/md127<br>
<br>
Use the output of that command to replace the ARRAY /dev/md3 metadata=1.2 name=camelot-x:3<br>
UUID=07c3d55f:2c9b1534:6b0d5b7<wbr>8:dd9856ed<span class="gmail-m_4764241622754361744m_4879490441869333238gmail-m_6922382863583632898gmail-HOEnZb"><font color="#888888"><br>
</font></span></blockquote><div><br></div></span><div>Thanks...<br><br></div><div>I tried your entry in my /etc/fstab, and "mount /raid3", and while the mount finished without reporting an error, there<br></div><div>was no filesystem on /raid3, and /var/log/syslog now ends with<br><br><span style="font-family:monospace,monospace">Apr  4 07:37:14 camelot-x wpa_supplicant[1553]: wlp7s0: WPA: Group rekeying completed with b4:75:0e:fc:84:9a [GTK=TKIP]<br>Apr  4 07:46:46 camelot-x kernel: [38933.017667] EXT4-fs (md127p1): mounted filesystem with ordered data mode. Opts: (null)<br>Apr  4 07:46:46 camelot-x systemd[1]: raid3.mount: Unit is bound to inactive unit dev-md3p1.device. Stopping, too.<br>Apr  4 07:46:46 camelot-x systemd[1]: Unmounting /raid3...<br>Apr  4 07:46:46 camelot-x systemd[1]: Unmounted /raid3.<br><br></span></div><div><span style="font-family:monospace,monospace">All of this in spite of /proc/mdstat reporting an active RAID array....<br></span></div><div><br></div><div>So I tried putting the filesystem directly on the RAID, as you suggested, with<br></div><div style="margin-left:40px"><span style="font-family:monospace,monospace">dd if=/dev/zero of=/dev/md127 bs=1024 count=1024<br></span></div><div style="margin-left:40px"><span style="font-family:monospace,monospace">mdadm --stop /dev/md127<br></span></div><div style="margin-left:40px"><span style="font-family:monospace,monospace">mdadm --remove /dev/md127<br></span></div><div style="margin-left:40px"><span style="font-family:monospace,monospace">mdadm -A --scan /dev/md3<br></span></div><div><div style="margin-left:40px"><span style="font-family:monospace,monospace">mkfs.ext4 -m .01 -b 4096 -E stride=32,stripe-width=64 /dev/md3</span><br></div><div style="margin-left:40px"><span style="font-family:monospace,monospace"></span></div><span style="font-family:monospace,monospace"><br></span></div><div><span style="font-family:monospace,monospace">And was still unable to mount /raid3, but now I can see the syslog is complaining that /raid3 is still bound to the<br></span></div><div><span style="font-family:monospace,monospace">non-existent partition /dev/md3p1.  So I mounted it on a new directory /raid3x.  It seems okay, in that it has<br></span></div><div><span style="font-family:monospace,monospace">lost+found and lots of space.  But it did so last time too.<br><br></span></div><div><span style="font-family:monospace,monospace">I'm going to stick with my /etc/fstab entry for now, because I want to be sure I get a warning if it ever gets assembled<br></span></div><div><span style="font-family:monospace,monospace">as anything except /dev/md3.  The mdadm.conf entry is still correct, so I'm going to reboot to make sure everything gets<br></span></div><div><span style="font-family:monospace,monospace">assembled correctly.  Back in a few.....<br></span></div><div><br></div></div><span class="gmail-m_4764241622754361744m_4879490441869333238gmail-">-- <br><div class="gmail-m_4764241622754361744m_4879490441869333238gmail-m_6922382863583632898gmail_signature"><div dir="ltr"><div>Kevin O'Gorman<br></div>#define QUESTION ((bb) || (!bb))   /* Shakespeare */<br><br><div><span style="line-height:normal;font-variant:normal;font-size:10pt;font-style:normal;font-weight:normal"><span style="line-height:normal;font-variant:normal;font-size:10pt;font-style:normal;font-weight:normal"></span></span><table cellspacing="0" cellpadding="0" width="448" border="0"><tbody><tr><td width="25"><img src="cid:XVHDKDFDBURW.IMAGE_60.gif" height="21" width="25"></td>
<td width="423"><span style="font-family:verdana,geneva,sans-serif;color:rgb(0,153,0);margin-left:5px;font-size:10px">Please consider the environment before printing this email.</span></td></tr></tbody></table><br></div></div></div>
</span></div></div>
</blockquote></div></div></div>That did NOT work.  Not exactly, anyway.<br><br></div><div class="gmail_extra">There was nothing mounted on /raid3 after the reboot, and there was a /dev/md127 that I cannot get rid of in spite of multiple tries at <br></div><span><div class="gmail_extra"><div style="margin-left:40px"><span style="font-family:monospace,monospace">mdadm --stop /dev/md127<br>mdadm --remove /dev/md127</span><br></div></div></span><div class="gmail_extra">But it did not show up in /proc/mdstat any more so I reassembled it<br><div style="margin-left:40px"><span style="font-family:monospace,monospace">mdadm -A --scan /dev/md3</span><br></div>And it was not only assembled but mounted too.<br><br></div><div class="gmail_extra"><span style="font-family:monospace,monospace">lsblk</span> shows<br><div style="margin-left:40px"><span>sdd       8:48   0   3.7T  0 disk  <br>└─sdd1    8:49   0   3.7T  0 part  <br></span>  └─md3   9:3    0   7.3T  0 raid5 /raid3<span><br>sde       8:64   0   3.7T  0 disk  <br>└─sde1    8:65   0   3.7T  0 part  <br></span>  └─md3   9:3    0   7.3T  0 raid5 /raid3<span><br>sdf       8:80   0   3.7T  0 disk  <br>└─sdf1    8:81   0   3.7T  0 part  <br></span>  └─md3   9:3    0   7.3T  0 raid5 /raid3<br><br></div><span style="font-family:monospace,monospace">blkid</span> shows<br><div style="margin-left:40px"><span style="font-family:monospace,monospace">/dev/sdd1: UUID="07c3d55f-2c9b-1534-6b0d-<wbr>5b78dd9856ed" UUID_SUB="24275237-b493-169e-9<wbr>e88-df0debaae551" LABEL="camelot-x:3" TYPE="linux_raid_member" PARTLABEL="cam-raid5-a" PARTUUID="729558f8-fbcf-45c1-9<wbr>d9b-c6bfe6ec4bf6"<br>/dev/sde1: UUID="07c3d55f-2c9b-1534-6b0d-<wbr>5b78dd9856ed" UUID_SUB="cf36e69a-c110-b0ae-b<wbr>504-fcfeb2dea024" LABEL="camelot-x:3" TYPE="linux_raid_member" PARTLABEL="cam-raid5-c" PARTUUID="654fc581-f6ef-43a4-b<wbr>583-6f3cd7d52e61"<br>/dev/sdf1: UUID="07c3d55f-2c9b-1534-6b0d-<wbr>5b78dd9856ed" UUID_SUB="54fbf294-766f-c8eb-9<wbr>663-02a39534003f" LABEL="camelot-x:3" TYPE="linux_raid_member" PARTLABEL="cam-raid5-b" PARTUUID="f6a7ba77-278e-4b64-8<wbr>f7e-16041b85f097"<br></span></div>and<br></div><div class="gmail_extra"><span style="font-family:monospace,monospace"></span><div style="margin-left:40px"><span style="font-family:monospace,monospace">/dev/md3: UUID="97309dc0-0f54-45d8-853f-<wbr>af99dead3ed2" TYPE="ext4"</span><br></div></div><div class="gmail_extra"><br></div><div class="gmail_extra"><span style="font-family:monospace,monospace">df -h</span> shows<br></div><div class="gmail_extra"><div style="margin-left:40px">/dev/md3        7.3T   51M  7.3T   1% /raid3<br><br></div>QUESIONS:<br><br>So why is there still a /dev/md127, and why does the array not assemble as /dev/md3?<br></div><div class="gmail_extra">/etc/mdadm/mdadm.conf contains just the one array:<span><br><div style="margin-left:40px"><span style="font-family:monospace,monospace">ARRAY /dev/md3 metadata=1.2 name=camelot-x:3 UUID=07c3d55f:2c9b1534:6b0d5b7<wbr>8:dd9856ed<br></span></div></span>which is still what I get from <br><div style="margin-left:40px">mdadm --detail --scan<br></div></div><div class="gmail_extra"><span style="font-family:monospace,monospace"></span></div><div class="gmail_extra"><br></div><div class="gmail_extra">mount and umount commands work as expected, both with my original /etc/fstab entry or with yours.  I'll leave yours in place and try a reboot....<br></div><span><div class="gmail_extra"><br></div><div class="gmail_extra">-- <br><div class="gmail-m_4764241622754361744m_4879490441869333238gmail_signature"><div dir="ltr"><div>Kevin O'Gorman<br></div>#define QUESTION ((bb) || (!bb))   /* Shakespeare */<br><br><div><span style="line-height:normal;font-variant:normal;font-size:10pt;font-style:normal;font-weight:normal"><span style="line-height:normal;font-variant:normal;font-size:10pt;font-style:normal;font-weight:normal"></span></span><table cellspacing="0" cellpadding="0" width="448" border="0"><tbody><tr><td width="25"><img src="cid:XVHDKDFDBURW.IMAGE_60.gif" height="21" width="25"></td>
<td width="423"><span style="font-family:verdana,geneva,sans-serif;color:rgb(0,153,0);margin-left:5px;font-size:10px">Please consider the environment before printing this email.</span></td></tr></tbody></table></div></div></div></div></span></div></blockquote></div><div class="gmail-m_4764241622754361744gmail_signature"><div dir="ltr"><div><span style="line-height:normal;font-variant:normal;font-size:10pt;font-style:normal;font-weight:normal"><span style="line-height:normal;font-variant:normal;font-size:10pt;font-style:normal;font-weight:normal"></span></span><table cellspacing="0" cellpadding="0" width="448" border="0"><tbody><tr><td width="25"><br></td><td width="423"><br></td></tr></tbody></table></div></div></div></div></div></div></blockquote></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div>SUCCESS.  Sort of.  It raises another question.<br><br></div>On
 reboot, I had /raid3.  But it is mounted on /dev/md127.  It appears the
 system is ignoring the device in my mdadm.conf entry.  Here it is 
again:<span class="gmail-"><br><div style="margin-left:40px"><span style="font-family:monospace,monospace">ARRAY /dev/md3 metadata=1.2 name=camelot-x:3 UUID=07c3d55f:2c9b1534:<wbr>6b0d5b78:dd9856ed<br></span></div></span>And here's the output of mdadm --detail --scan<br></div><div style="margin-left:40px">ARRAY /dev/md/camelot-x:3 metadata=1.2 name=camelot-x:3 UUID=07c3d55f:2c9b1534:<wbr>6b0d5b78:dd9856ed<br></div><br></div>And indeed there is a /dev/camelot-x:3<br></div></blockquote><div><br></div><div>Sorry, clicked before I got a chance to finish and make this a bottom-post.  Anyway, the above is a link to /dev/md127<br><br></div>So on startup, it's going to make its own choices of device...  And it then makes sense to use UUID in the /etc/fstab entry.<br><br></div><div class="gmail_extra">Yet another discrepancy with the docs I was using.<br clear="all"></div><div class="gmail_extra"><br>-- <br><div class="gmail_signature"><div dir="ltr"><div>Kevin O'Gorman<br></div>#define QUESTION ((bb) || (!bb))   /* Shakespeare */<br><br><div><span style="line-height:normal;font-variant:normal;font-size:10pt;font-style:normal;font-weight:normal"><span style="line-height:normal;font-variant:normal;font-size:10pt;font-style:normal;font-weight:normal"></span></span><table cellspacing="0" cellpadding="0" width="448" border="0"><tbody><tr><td width="25"><img src="cid:XVHDKDFDBURW.IMAGE_60.gif" height="21" width="25"></td>
<td width="423"><span style="font-family:verdana,geneva,sans-serif;color:rgb(0,153,0);margin-left:5px;font-size:10px">Please consider the environment before printing this email.</span></td></tr></tbody></table><br></div></div></div>
</div></div>