<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Mar 7, 2016 at 9:24 PM, Leo Arias <span dir="ltr"><<a href="mailto:leo.arias@canonical.com" target="_blank">leo.arias@canonical.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">-----BEGIN PGP SIGNED MESSAGE-----<br>
Hash: SHA256<br>
<br>
</span><span class="">On 2016-03-02 08:56, Gustavo Niemeyer wrote:<br>
> On Wed, Mar 2, 2016 at 11:46 AM, Leo Arias<br>
</span>> <<a href="mailto:leo.arias@canonical.com">leo.arias@canonical.com</a> We shouldn't be forced to use Beta just<br>
<span class="">> because the Snappy infrastructure supports it. If we do use it, the<br>
> difference should be more meaningful.<br>
<br>
</span>Of course we are not using a channel just because. The idea is to gate<br>
master/edge on pull requests, so we need to take good care about the<br>
time it takes to get a green result to allow the pr to land. We also<br>
need to care a little about the resources we consume, and about the<br>
likelihood of misleading errors due to infrastructure problems. So the<br>
first gate will be a subset of the second, with a balance that makes<br>
the devs and us happy. The second will be the whole enchilada, testing<br>
as many platforms as we can. As long as this second one takes less<br>
than 23 hours to complete, we are good.<br></blockquote><div><br></div><div>If we have automated tests that can run daily to release to the beta channel, why are we not running those for the edge channel instead?  Because people said they were fine with more risk? Huh?</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">
> Stable:<br>
><br>
> Once we are happy with the exploratory testing on RC, we will<br>
> promote to Stable. After the promotion, we will trigger the<br>
> automated tests again and verify updates and rollbacks.<br>
><br>
><br>
> Why?  Anything relevant happening here should have been done on the<br>
> RC. If we think we need to run tests twice because it's not quite<br>
> safe to run only once, we should do it twice on the RC itself.<br>
> After it reaches stable, it's too late. We'll have a massive number<br>
> of people "testing" it for us.<br>
<br>
</span>Mainly, because it doesn't hurt much to re-run the tests. If they fail </blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
it would be late, but hopefully not as late as if we wait for a user<br>
to report the bug. Other than that, the rc channel is not exactly the<br>
same as the stable channel. They are handled by almost the same code,<br>
but there must be a tiny "if" somewhere that's different. I have seen<br>
it all, so if a safety net is easy to get, why not?<br></blockquote><div><br></div><div>Have you ever seen a safety net which was under the ground? That's why. :-)</div><div><br></div><div>The release candidate is precisely the point where we test snaps that are about to go stable and be released. Any relevant tests should be done there, and in these tests it does not matter that the snap came from one channel or another. It's the exact same snap.</div><div><br></div><div>If you expect different results for different runs of the test, the test is not a very good one, but even when that's the case we should run the test multiple times before it reaches stable. </div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">And after today's meeting with iahmad and jibel I was thinking that we<br>
can generate the image only if this last group of tests succeed. Then<br>
a problem would hit all the people who have an image already installed<br>
and autoupdate enabled, but it won't hit people who are just<br>
downloading the image.<br></blockquote><div><br></div><div>Just think about that: this is basically saying we have automated tests which could fail, and we're releasing snaps to final users at the same time we are running those tests. But hey, that's okay because we're only destroying half of their systems.</div><div><br></div><div><br></div></div><div class="gmail_signature">gustavo @ <a href="http://niemeyer.net" target="_blank">http://niemeyer.net</a></div>
</div></div>