Proxmox does it quite nicely using LVM ontop of iSCSI targets - the LVM locking only allows an LV to be accessed by one host at a time, but if its deactivated on one host it can be reactivated on another<div><br></div><div>

<a href="http://pve.proxmox.com/wiki/Storage_Model#LVM_Groups_with_Network_Backing">http://pve.proxmox.com/wiki/Storage_Model#LVM_Groups_with_Network_Backing</a><br><br><div class="gmail_quote">On 10 March 2011 21:02,  <span dir="ltr"><<a href="mailto:jurgen.depicker@let.be">jurgen.depicker@let.be</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><font size="2" face="sans-serif">Hi all.</font>
<br>
<br><font size="2" face="sans-serif">Presently, 7 VMs (4 windows, 3 ubuntu)
are using the same nfs pool.  The machine serving that NFS pool (VLET1)
has high load as soon as there is some continuous disk activity:</font>
<br>
<br><font size="2" face="sans-serif">top - 13:25:30 up 23:16,  5 users,
 load average: 4.51, 4.41, 3.98</font>
<br><font size="2" face="sans-serif">Tasks: 191 total,   1 running,
189 sleeping,   0 stopped,   1 zombie</font>
<br><font size="2" face="sans-serif">Cpu0  :  3.0%us,  2.6%sy,
 0.0%ni, 44.6%id, 49.8%wa,  0.0%hi,  0.0%si,  0.0%st</font>
<br><font size="2" face="sans-serif">Cpu1  :  4.2%us,  2.9%sy,
 0.0%ni, 54.2%id, 38.1%wa,  0.0%hi,  0.6%si,  0.0%st</font>
<br><font size="2" face="sans-serif">Cpu2  :  3.6%us,  2.3%sy,
 0.0%ni, 55.4%id, 38.7%wa,  0.0%hi,  0.0%si,  0.0%st</font>
<br><font size="2" face="sans-serif">Cpu3  :  2.9%us,  4.2%sy,
 0.0%ni, 56.4%id, 36.5%wa,  0.0%hi,  0.0%si,  0.0%st</font>
<br>
<br><font size="2" face="sans-serif">It's a quad-core Xeon, running SW Raid
on sataII disks:</font>
<br><font size="2" face="sans-serif">cat /proc/mdstat</font>
<br><font size="2" face="sans-serif">Personalities : [linear] [multipath]
[raid0] [raid1] [raid6] [raid5] [raid4] [raid10]</font>
<br><font size="2" face="sans-serif">md0 : active raid1 sdb1[1] sda1[0]</font>
<br><font size="2" face="sans-serif">      966796224 blocks
[2/2] [UU]</font>
<br>
<br><font size="2" face="sans-serif">When the VM client's disk activity is
low, the load on VLET1 is very minimal:</font>
<br><font size="2" face="sans-serif">top - 13:53:30 up 23:44,  5 users,
 load average: 0.11, 0.81, 1.83</font>
<br><font size="2" face="sans-serif">Tasks: 191 total,   1 running,
189 sleeping,   0 stopped,   1 zombie</font>
<br><font size="2" face="sans-serif">Cpu0  :  1.0%us,  2.0%sy,
 0.0%ni, 92.1%id,  4.6%wa,  0.0%hi,  0.3%si,  0.0%st</font>
<br><font size="2" face="sans-serif">Cpu1  :  2.2%us,  5.3%sy,
 0.0%ni, 90.7%id,  1.9%wa,  0.0%hi,  0.0%si,  0.0%st</font>
<br><font size="2" face="sans-serif">Cpu2  :  4.2%us,  3.6%sy,
 0.0%ni, 87.7%id,  4.5%wa,  0.0%hi,  0.0%si,  0.0%st</font>
<br><font size="2" face="sans-serif">Cpu3  :  3.2%us,  3.2%sy,
 0.0%ni, 93.3%id,  0.3%wa,  0.0%hi,  0.0%si,  0.0%st</font>
<br>
<br><font size="2" face="sans-serif">What can I do to reduce the load?  Now,
sometimes a VM refuses to come up (windows blue screen) except when I launch
it on the same host (VLET1) hosting the nfs share.  After booting
the VM, I can live migrate it to another VM host, eg VLET2.</font>
<br><font size="2" face="sans-serif">I did spot an error in /var/log/messages
at boot failure of the windows VM when starting it on VLET2:</font>
<br><font size="2" face="sans-serif">Mar 10 11:06:46 VLET2 libvirtd: 11:06:46.137:
warning : qemudParsePCIDeviceStrs:1422 : Unexpected exit status '1', qemu
probably failedbut I'm not sure this is related.</font>
<br>
<br><font size="2" face="sans-serif">This is a test config; our company's
mail server will soon be running in this cluster of KVM hosts (VLET1 and
VLET2 will be joined by VLET3 next week).  Since the Domino mail server
is very disk intensive, I'm a bit worried now.  I would rather not
run it on local disks, sionce this makes live migration impossible.  I'll
need to decide where to put the storage pool, and using which protocol
(NFS or iSCSI).</font>
<br>
<br><font size="2" face="sans-serif">Which brings me to my last question:
I was wondering whether it would be better to use iSCSI instead of NFS?
 I started with this, but couldn't get a pool defined through virt-manager
(it always showed as 100% full, even when I created a completely new iSCSI
target/lun).  According to e.g. </font><a href="http://communities.vmware.com/thread/150775" target="_blank"><font size="2" face="sans-serif">http://communities.vmware.com/thread/150775</font></a><font size="2" face="sans-serif">
it doesn't seem to make much difference, whether I use iSCSI or NFS, performance-wise.
 Anyhow, I don't grasp how KVM running on different hosts, connected
to the same iSCSI LUN, can work?  It corrupts data, having the same
LUN mounted on different hosts...  I obviously understood something
wrong about iSCSI...</font>
<br>
<p><font size="2" face="sans-serif">Regards, Jürgen</font></p><br>--<br>
ubuntu-server mailing list<br>
<a href="mailto:ubuntu-server@lists.ubuntu.com">ubuntu-server@lists.ubuntu.com</a><br>
<a href="https://lists.ubuntu.com/mailman/listinfo/ubuntu-server" target="_blank">https://lists.ubuntu.com/mailman/listinfo/ubuntu-server</a><br>
More info: <a href="https://wiki.ubuntu.com/ServerTeam" target="_blank">https://wiki.ubuntu.com/ServerTeam</a><br></blockquote></div><br><br clear="all"><br>-- <br>Adon Metcalfe<br>Labyrinth Data Services Pty Ltd<br><a href="http://www.labyrinthdata.net.au">http://www.labyrinthdata.net.au</a><br>


</div>