<div dir="ltr">And a third question: is there a repo for this charm outside of bigtop? I'd like to put this info in the readme but don't really want to go through the bigtop process for doing this.</div><div class="gmail_extra"><br><div class="gmail_quote">2017-01-03 15:15 GMT+01:00 Merlijn Sebrechts <span dir="ltr"><<a href="mailto:merlijn.sebrechts@gmail.com" target="_blank">merlijn.sebrechts@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Konstantinos<div><br></div><div>Thanks for the explanation. Another question. The icon of the "hadoop plugin" doesn't include the bigtop tag. Doesn't the plugin supply bigtop-specific libraries?</div><div><br></div><div>I'm not sure if you can really change the execution modes at job deploy. When you submit applications to Spark in YARN mode, you can choose from two "deploy modes": `client` or `cluster`[1]. This is different from the execution modes (YARN, Standalone, Mesos). In `client` mode on YARN, Spark jobs still run on YARN, but the Spark driver runs on the Spark node. This means that the Spark node needs to stay alive and connected during the duration of the job. In `cluster` mode on yarn, the Spark driver itself also runs on Yarn, so when the Spark node goes down, the job will keep on running.</div><div><br></div><div>From what I gather, `cluster` mode is for when you have long-running applications. `client` mode is for interactive querying and development of spark applications.</div><div><br></div><div>[1]: <a href="http://spark.apache.org/docs/latest/running-on-yarn.html" target="_blank">http://spark.apache.org/d<wbr>ocs/latest/running-on-yarn.htm<wbr>l</a></div><div><br></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">2017-01-03 14:44 GMT+01:00 Konstantinos Tsakalozos <span dir="ltr"><<a href="mailto:kos.tsakalozos@canonical.com" target="_blank">kos.tsakalozos@canonical.com</a>></span><wbr>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi <span id="m_2360217035939579182m_-6189176358480825209:1px.1">Merlijn</span>,<div><br></div><div>You are right Zookeeper is used only for HA in the standalone mode of Spark. In the initial setup of the <span id="m_2360217035939579182m_-6189176358480825209:1px.2">hadoop</span>-spark bundle Zookeeper is not used. However, we decided to have Zookeeper there to accommodate the case where you start with <span id="m_2360217035939579182m_-6189176358480825209:1px.3">hadoop</span>-spark bundle and you switch to the standalone execution mode. If I remember correctly you can also override the execution mode during job submission.</div><div><br></div><div>Thanks,</div><div><span id="m_2360217035939579182m_-6189176358480825209:1px.4">Konstantinos</span></div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_2360217035939579182h5">On Tue, Jan 3, 2017 at 3:25 PM, Merlijn Sebrechts <span dir="ltr"><<a href="mailto:merlijn.sebrechts@gmail.com" target="_blank">merlijn.sebrechts@gmail.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_2360217035939579182h5"><div dir="ltr">Hi all<div><br></div><div><br></div><div>According to the bigtop spark charm[1] zookeeper is used for standalone HA mode. If this is the case, then why does the hadoop-spark[2] bundle include a relationship between Spark and Zookeeper when spark_execution_mode is"yarn-client"?</div><div><br></div><div>[1] <a href="https://jujucharms.com/spark/xenial" target="_blank">https://jujucharms.com/spa<wbr>rk/xenial</a></div><div>[2] <a href="https://jujucharms.com/hadoop-spark/" target="_blank">https://jujucharms.com/hadoop-<wbr>spark/</a><br></div><div><br></div><div><br></div><div><br></div><div>Kind regards</div><span class="m_2360217035939579182m_-6189176358480825209HOEnZb"><font color="#888888"><div>Merlijn</div></font></span></div>
<br></div></div><span class="m_2360217035939579182HOEnZb"><font color="#888888">--<br>
Bigdata mailing list<br>
<a href="mailto:Bigdata@lists.ubuntu.com" target="_blank">Bigdata@lists.ubuntu.com</a><br>
Modify settings or unsubscribe at: <a href="https://lists.ubuntu.com/mailman/listinfo/bigdata" rel="noreferrer" target="_blank">https://lists.ubuntu.com/mailm<wbr>an/listinfo/bigdata</a><br>
<br></font></span></blockquote></div><br></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>