<div dir="ltr"><div class="gmail_default" style="font-size:small">Hi,</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">taking this as a sample:</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small"><a href="https://autopkgtest.ubuntu.com/packages/f/fdroidserver/lunar/ppc64el">https://autopkgtest.ubuntu.com/packages/f/fdroidserver/lunar/ppc64el</a></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">It looks like something got slower since a few days ago, and tests started being killed due to a timeout ("kind: install" timeout, which has a default of 3000s in autopkgtest).</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">By the end of February 2023, the passing tests were taking about 20min. Then a little bit more up to 26min in March 2nd, and then they all started to fail.</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Looking at the logs, we see apt-get install being interrupted by the autopkgtest timeout mid package download:</div><div class="gmail_default" style="font-size:small"><pre style="color:rgb(0,0,0);white-space:pre-wrap">Get:242 <a href="http://ftpmaster.internal/ubuntu">http://ftpmaster.internal/ubuntu</a> lunar/universe ppc64el apksigner all 31.0.2-1 [438 kB]
Get:243 <a href="http://ftpmaster.internal/ubuntu">http://ftpmaster.internal/ubuntu</a> lunar/main ppc64el openjdk-17-jdk-headless ppc64el 17.0.6+10-1 [217 MB]
autopkgtest-virt-ssh [04:23:09]: ------- nova console-log 766e17f7-5365-4cdf-8202-35b6b88a7cdc (adt-lunar-ppc64el-fdroidserver-20230303-012357-lrg-root5) ------</pre></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">When the test were passing (in the 20min range), they were also downloading hundreds of packages. So something got slower since then. Or this is an isolated case.</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">We can add fdroidserver/ppc64el to "big_packages", or perhaps "long_tests", if this is expected, or if it will take a long time to be fixed. Otherwise I don't know what to do here, as just retrying will just burn through more energy without any clear indication that it will work.</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">FYI, fdroidserver/ppc64el is currently one of the packages blocking the openjdk-* migration.</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">I did a check with ./retry-autopkgtest-regressions --log-regex '\(kind: install\)'</div><div class="gmail_default" style="font-size:small">That returned 82 urls[1]:</div><div class="gmail_default" style="font-size:small">s390x: 32</div><div class="gmail_default" style="font-size:small">ppc64el: 31</div><div class="gmail_default" style="font-size:small">arm64: 19</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Should we wait and see if it gets better, assuming there is ongoing work in the DEP8 infra? Or bump the timeout? Or something else?</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">1. <a href="https://pastebin.ubuntu.com/p/Y42bDgVmcY/">https://pastebin.ubuntu.com/p/Y42bDgVmcY/</a></div></div>