<div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">All,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I wanted to send you an update on where we are at on this issue. So far I've narrowed down the problem to happening when a VM using a private network is removed causing certain iptable rules on the hypervisor to get out of order. It only seems to effect inbound connections to the VM as outbound seems to still work. I haven't been able to easily reproduce the issue unfortunately which makes it difficult to troubleshoot. I've looked through the source code and also looked online to see if anyone else had run into this without success.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I've rebooted all of the hypervisors on our x86 cluster and two on our ppc cluster (which was needed for the MDS updates). So far on the nodes that have been rebooted we haven't seen any issues, but I need to let those run for a few days to verify that theory. These machines were also due for a reboot also because of the CentOS 7.5 -> 7.6 upgrade so perhaps it's related to that.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">At any rate, I've deployed a temporary cronjob on the nodes that haven't been rebooted which should "fix" the networking issue. I have it set to run every minute so that the downtime should be minimal. </div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">I'll send another update as I have one.</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Thanks-</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, May 16, 2019 at 8:58 AM Lance Albertson <<a href="mailto:lance@osuosl.org">lance@osuosl.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">All,</div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif">Since the upgrade to Pike we've noticed virtual machines suddenly losing network connectivity. This issue seems to sometimes fix itself or when we restart the  <span style="font-family:Arial,Helvetica,sans-serif">neutron-linuxbridge-agent service on the hypervisors. We are doing our best to track down why this is happening and how to fix it. Since we're not monitoring every host on the cluster, it's difficult for us to know when it happens so if you do have a problem with one of your VMs, please let us know either via IRC in #osuosl on Freenode, or via a support email.</span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif"><br></span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif">I'll be sending further updates as we have them.</span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif"><br></span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif">Thanks for your patience!</span></div><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif"><br></span></div>-- <br><div dir="ltr" class="gmail-m_6291792430246129245gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><font face="arial, helvetica, sans-serif">Lance Albertson</font><div><div><font face="arial, helvetica, sans-serif">Director</font></div><div><span style="font-family:arial,helvetica,sans-serif">Oregon State University | </span><span style="font-family:arial,helvetica,sans-serif">Open Source Lab </span></div></div></div></div>