<div dir="ltr"><blockquote style="margin:0 0 0 40px;border:none;padding:0px"></blockquote>Never a good time to stop feature work entirely and fix what amounts to a race prone set of tests.  <br><blockquote style="margin:0 0 0 40px;border:none;padding:0px"></blockquote><br>But I would advocate building in some practices to improve the situation incrementally: <br><blockquote style="margin:0 0 0 40px;border:none;padding:0px"></blockquote><ul><li>fixing one major issue per team per week<br></li><li>promoting all issues which fail CI more than x times per week to Critical<br></li><li>blocking all branches on fridays except for fixes for bugs on the top issues list<br></li><li>or some other similar policy<br></li></ul><blockquote style="margin:0 0 0 40px;border:none;padding:0px"></blockquote><blockquote style="margin:0 0 0 40px;border:none;padding:0px"></blockquote>Over time over time any of the above policies will bring the total number of test failures down significantly, and would still allow progress on feature work.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Mar 28, 2016 at 1:05 PM, Nate Finch <span dir="ltr"><<a href="mailto:nate.finch@canonical.com" target="_blank">nate.finch@canonical.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I'll just note that we've had flaky tests for as long as I've been working on Juju, and there's never a "good" time to fix them. :)</div><div class="HOEnZb"><div class="h5"><br><div class="gmail_quote"><div dir="ltr">On Mon, Mar 28, 2016 at 11:48 AM Aaron Bentley <<a href="mailto:aaron.bentley@canonical.com" target="_blank">aaron.bentley@canonical.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">-----BEGIN PGP SIGNED MESSAGE-----<br>
Hash: SHA256<br>
<br>
On 2016-03-28 09:03 AM, Katherine Cox-Buday wrote:<br>
> Generally +1 on this, but I'm also intrigued by Martin's<br>
> statistic... do we currently weight test failures by how likely<br>
> they are to fail (i.e. how likely they are flaky)? That seems like<br>
> it would be a great metric to use to decide which to fix first.<br>
<br>
We don't do it on the likelihood of failure, but we do it on the<br>
frequency of failure.<br>
<br>
<a href="http://reports.vapour.ws/releases/top-issues" rel="noreferrer" target="_blank">http://reports.vapour.ws/releases/top-issues</a><br>
<br>
I report on these on the cross-team call, and once the 2.0 settles<br>
down, I'll be reporting them on the release call again.<br>
<br>
Aaron<br>
-----BEGIN PGP SIGNATURE-----<br>
Version: GnuPG v2<br>
<br>
iQEcBAEBCAAGBQJW+VJcAAoJEK84cMOcf+9hWrwH/0JradfscIE0wnt+yCW9nNCR<br>
9hTHI2U19v1VuP6pWI4UiC7srfojPI8EXXEXrrAhF9rT8tpVK4EcJRJK9RvWvvz5<br>
BEquHMS0+eROFOqDJFavEB8hU7BKHErzkSwSG8uKq7JuwHs9gNtQO9z9fIhVKjnr<br>
aP4z2IliCqbYfXbupfSTD8TmqhI0AipQymTg3QB4C3sJdXzc5GjzIIckUo/X7aJj<br>
zH1tEtlwOdP0c9F+8ZVs1j6AAkb+uDGc/1Qr4MT1kInqGkli2UNF4TOX/AihNPyH<br>
iwYgq6O7uOkijFTrL9obRfbXxIFw1WCc9cYzxbRYnGfQff47Dyj7/BUStPPH0i0=<br>
=8FQ6<br>
-----END PGP SIGNATURE-----<br>
<br>
--<br>
Juju-dev mailing list<br>
<a href="mailto:Juju-dev@lists.ubuntu.com" target="_blank">Juju-dev@lists.ubuntu.com</a><br>
Modify settings or unsubscribe at: <a href="https://lists.ubuntu.com/mailman/listinfo/juju-dev" rel="noreferrer" target="_blank">https://lists.ubuntu.com/mailman/listinfo/juju-dev</a><br>
</blockquote></div>
</div></div><br>--<br>
Juju-dev mailing list<br>
<a href="mailto:Juju-dev@lists.ubuntu.com">Juju-dev@lists.ubuntu.com</a><br>
Modify settings or unsubscribe at: <a href="https://lists.ubuntu.com/mailman/listinfo/juju-dev" rel="noreferrer" target="_blank">https://lists.ubuntu.com/mailman/listinfo/juju-dev</a><br>
<br></blockquote></div><br></div>