<div dir="ltr"><div><div><div><div><div><div><div><div>Hello!<br><br></div>I'm working with Federico Giménez in the quality assurance for snappy. For every new stable release, we will be sending a testing report like this one.<br><br></div>This is our first release as part of the team; so the approach we took was to spend as many days as we had available to run a small suite of manual tests and an extensive session of exploratory testing on different environments.<br><br></div>Summary<br>=======<br><br></div>We ran tests in BeagleBone Black Rev C, RaspberryPi 2 Model B, KVM, Microsoft Azure and Google Compute Engine.<br>You can see our full testing journal here: <a href="http://pad.ubuntu.com/testing-snappy">http://pad.ubuntu.com/testing-snappy</a><br><br></div>Results<br>======<br><br></div>We found no blockers for the release, only some bugs that can be resolved in the following versions, mostly related to the documentation and guides.<br><br>- The snappy getting started guide doesn't mention the serial console <a href="https://bugs.launchpad.net/developer-ubuntu-com/+bug/1457935">https://bugs.launchpad.net/developer-ubuntu-com/+bug/1457935</a><br>- Running set active without sudo gives lower level error than it should <a href="https://bugs.launchpad.net/snappy/+bug/1461070">https://bugs.launchpad.net/snappy/+bug/1461070</a><br>- snappy list error if executed during a snappy-autopilot update <a href="https://bugs.launchpad.net/snappy/+bug/1461487">https://bugs.launchpad.net/snappy/+bug/1461487</a><br>- raspberry pi downloads the update, asks for a reboot and then does nothing. <a href="https://trello.com/c/PJE5oYAF/84-disabling-updates-and-auto-update-when-using-sideloaded-kernel-snaps">https://trello.com/c/PJE5oYAF/84-disabling-updates-and-auto-update-when-using-sideloaded-kernel-snaps</a><br>- azure vm create command fails because the image doesn't exist <a href="https://bugs.launchpad.net/developer-ubuntu-com/+bug/1463600">https://bugs.launchpad.net/developer-ubuntu-com/+bug/1463600</a> <br>- azure vm create command fails because the specified DNS name is already taken <a href="https://bugs.launchpad.net/developer-ubuntu-com/+bug/1463602">https://bugs.launchpad.net/developer-ubuntu-com/+bug/1463602</a><br>- gcloud config set project requires the id of the project, not the name <a href="https://bugs.launchpad.net/developer-ubuntu-com/+bug/1463615">https://bugs.launchpad.net/developer-ubuntu-com/+bug/1463615</a><br>- the snappy guide for google compute engine doesn't mention that the api needs to be enabled <a href="https://bugs.launchpad.net/developer-ubuntu-com/+bug/1463620">https://bugs.launchpad.net/developer-ubuntu-com/+bug/1463620</a><br><br></div>To the developers: please help us triaging these bugs so we can start resolving them in order of importance. I'm now an editor on the developer site, so I can take care of most of the docs issues.<br><br clear="all"></div><div><div><div><div><div><div><div><div><div><div>Future<br>=====<br><br></div><div>This was mostly a learning exercise for us. We collected many questions and rough edges that make testing a little hard.<br>We have started planning the testing for the following release, that will be more interesting, with more automation, more people and opportunities for developers and community members. We'll send updates about our plan during the month.<br><br></div><div>And in our snappified world, testing is a full team effort that happens daily. So if you want to give us a hand and learn in the process, join #snappy on freenode and ping elopio and fgimenez.<br></div><div><br></div><div>pura vida<br></div><div>-- <br><div class="gmail_signature"><div dir="ltr"><div><font face="arial,helvetica,sans-serif">¡paz y baile!</font><br></div><a href="http://www.ubuntu.com" target="_blank">http://www.ubuntu.com</a><br></div></div>
</div></div></div></div></div></div></div></div></div></div></div>