<div dir="ltr">Diskless is tricky using the current structure of MAAS (at least on the stage I last tested it around 1 year ago), its fairly simple to do, but not if you follow a install with a reboot in to OS, similar to kickstart installations, structure.<div><br></div><div>For diskless you need to pxe boot a initial initrd and kernel image, load the same kernel as your OS image, find a way of downloading your image (bit torrent is an idea as much silly as it might sound, deployment of 1000's of servers is really hard even for very fast networks), decompress that image to RAM, chrooting and loading your OS system with services and all.<br></div><div><br></div><div>Diskless is fancy and cool, but not required to do HPC, after all you don't keep deploying a cluster day after day (even running diskless the up time is amazing), stability is the word. 99% of the clusters you see in the field are with some sort of HDDs. The only one I remember have seen installed by my company was big 3k nodes recently, but the last one was more than a year ago.</div><div><br></div><div>Would love to see MAAS and juju deploying clusters of nodes and seeing Ubuntu have its rightful place in that area, if I had the time to work on that it would be lovely, but unfortunately am just too busy, does not mean that I can't share the idea :) </div><div><br></div><div>Regards,</div><div><br></div><div>Bruno Pereira</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Aug 25, 2015 at 2:49 PM, Mark Shuttleworth <span dir="ltr"><<a href="mailto:mark@ubuntu.com" target="_blank">mark@ubuntu.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Bruno<br>
<br>
HPC is interesting to us. For 16.04 LTS one of the goals is diskless<br>
MAAS, which is in part driven by a desire to drive large-scale<br>
automation in some of the super-computers where Ubuntu is in heavy use<br>
already. That would dovetail nicely with your interests, by the look of<br>
it, if there were charms of these services.<br>
<br>
Mark<br>
<br>
On 25/08/15 13:39, Bruno Pereira wrote:<br>
> Hello all,<br>
><br>
> #about the "what services would you like to see juju'ed" question<br>
><br>
> I have been working on high performance computing supplying Linux clusters<br>
> to research facilities for the last 2,5 years, one of the things that could<br>
> make (maas +) juju extremely attractive to such institutions and businesses<br>
> would be to see juju charms deploying common HPC cluster services.<br>
><br>
> A cluster is in principle very easy to setup and composed by very little<br>
> services and required configuration:<br>
><br>
> - SSH keys between the nodes distribuited;<br>
> - A scheduler for compute jobs (slurm, sge, torque, etc) composed by the<br>
> server and client packages, optional: some sort of database for accounting,<br>
> authentication service (munge is very common) for security;<br>
> - A set of libraries and mpi implementations that the nodes can use to run<br>
> compute jobs.<br>
> - Power control (already implemented in maas if not mistaken) and<br>
> monitoring (nagios or sorts).<br>
><br>
> That will be your basic cluster structure and should allow you to run jobs<br>
> between nodes.<br>
><br>
> HPC is niche that can translate to big business. Seeing Ubuntu direct some<br>
> effort to that direction would be, imho, very attractive depending on<br>
> Canonical's will.<br>
><br>
<br>
<br>
</blockquote></div><br></div>