<div dir="ltr"><div dir="ltr">Observed some, but not huge.<div><br><div>CPU:</div><div><div><div><img src="cid:ii_jrneqz8h4" alt="image.png" style="margin-right: 0px;"><br></div></div></div><div><br></div><div>Bandwidth:</div><div><div><div><img src="cid:ii_jrnerej75" alt="image.png" width="500" height="135"><br></div></div></div><div><br></div><div>Connections (in: green, out: blue) (note: I've lost uplink on Tue)</div><div><div><div><img src="cid:ii_jrnermlf6" alt="image.png" width="500" height="135"><br></div></div></div><div><br></div><div>Mem</div><div><div><img src="cid:ii_jrneqi133" alt="image.png" width="500" height="135"><br></div></div><div><br></div><div>Consensus (=green, rate limit=blue)</div><div><div><img src="cid:ii_jrnet7it7" alt="image.png" width="500" height="135"><br></div></div><div><br></div><div>DoS logs, increasing but no jumps (reduced line lengths)</div><div><div>Jan 23 10:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1305 single refused.</div><div>Jan 23 16:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1344 single refused.</div><div>Jan 23 22:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1412 single refused.</div><div>Jan 24 04:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1443 single refused.</div><div>Jan 24 10:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1483 single refused.</div><div>Jan 24 16:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1538 single refused.</div><div>Jan 24 22:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1604 single refused.</div><div>Jan 25 04:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1622 single refused.</div><div>Jan 25 10:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1650 single refused.</div><div>Jan 25 16:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1683 single refused.</div><div>Jan 25 22:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1734 single refused.</div><div>Jan 26 04:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1753 single refused.</div><div>Jan 26 10:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1782 single refused.</div><div>Jan 26 16:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1805 single refused.</div><div>Jan 26 22:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1828 single refused.</div><div>Jan 27 04:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1854 single refused.</div><div>Jan 27 10:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1870 single refused.</div><div>Jan 27 16:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1905 single refused.</div><div>Jan 27 22:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1940 single refused.</div><div>Jan 28 04:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 1966 single refused.</div><div>Jan 28 10:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2019 single refused.</div><div>Jan 28 16:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2081 single refused.</div><div>Jan 28 22:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2187 single refused.</div><div>Jan 29 04:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2227 single refused.</div><div>Jan 29 10:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2252 single refused.</div><div>Jan 29 16:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2311 single refused.</div><div>Jan 29 22:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2365 single refused.</div><div>Jan 30 04:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2387 single refused.</div><div>Jan 30 10:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2409 single refused.</div><div>Jan 30 16:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2453 single refused.</div><div>Jan 30 22:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2503 single refused.</div><div>Jan 31 04:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2531 single refused.</div><div>Jan 31 10:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2545 single refused.</div><div>Jan 31 16:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2590 single refused.</div><div>Jan 31 22:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2653 single refused.</div><div>Feb 01 04:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2671 single refused.</div><div>Feb 01 10:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2699 single refused.</div><div>Feb 01 16:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2744 single refused.</div><div>Feb 01 22:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2784 single refused.</div><div>Feb 02 04:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2805 single refused.</div><div>Feb 02 10:04:21 DoS: 0 killed. 0 rejected, 0 marked. 0 closed. 2828 single refused.</div></div></div><div><br></div><div>Seb</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, 2 Feb 2019 at 11:02, David Goulet <<a href="mailto:dgoulet@torproject.org">dgoulet@torproject.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 02 Feb (04:10:02), <a href="mailto:petrarca@protonmail.ch" target="_blank">petrarca@protonmail.ch</a> wrote:<br>
<br>
Hi, thanks for the report!<br>
<br>
> <br>
> There is something really strange going on indeed. What I noticed is an increase of circuits and my device running out of memory until it stopped working so I had to reboot it on 31. Jan. Then again the memory usage increased until it leveled out at a rather unusual, high usage. The actual bandwidth usage is not unusual though (always around 2Mbps on my relay).<br>
> <br>
> Attached a screenshot of my memory usage the last few days (I hope attachments do work here; it's in fact Tor using that memory as could be checked with ps and htop).<br>
> <br>
> Heartbeat messages of the log are:<br>
> <br>
> Jan 31 10:57:56.000 [notice] Heartbeat: Tor's uptime is 6:00 hours, with 447 circuits open. I've sent 2.66 GB and received 2.65 GB.<br>
> Jan 31 16:57:56.000 [notice] Heartbeat: Tor's uptime is 12:00 hours, with 19764 circuits open. I've sent 9.59 GB and received 9.54 GB.<br>
> Jan 31 22:57:56.000 [notice] Heartbeat: Tor's uptime is 18:00 hours, with 54178 circuits open. I've sent 12.36 GB and received 12.30 GB.<br>
> Feb 01 04:57:56.000 [notice] Heartbeat: Tor's uptime is 23:50 hours, with 79333 circuits open. I've sent 14.89 GB and received 14.81 GB.<br>
> Feb 01 10:57:56.000 [notice] Heartbeat: Tor's uptime is 1 day 5:50 hours, with 110815 circuits open. I've sent 19.55 GB and received 19.45 GB.<br>
> Feb 01 16:57:56.000 [notice] Heartbeat: Tor's uptime is 1 day 11:50 hours, with 141724 circuits open. I've sent 24.03 GB and received 23.90 GB.<br>
> Feb 01 22:57:56.000 [notice] Heartbeat: Tor's uptime is 1 day 17:50 hours, with 12829 circuits open. I've sent 29.96 GB and received 29.75 GB.<br>
<br>
Do you see some sort of increase during that time period of the DoS<br>
mitigation stats? It would be the heartbeat line that starts with:<br>
<br>
    "DoS mitigation since startup:" ...<br>
<br>
Burst of circuits are possible for many reasons. But, if that leads to<br>
high memory usage and that doesn't come back down to a normal level once<br>
the bursts are over, we may have a problem.<br>
<br>
If you end up with any more logs about this or if your relay gets OOMed,<br>
please share so we can investigate what is going on.<br>
<br>
Thanks!<br>
David<br>
<br>
> <br>
> ‐‐‐‐‐‐‐ Original Message ‐‐‐‐‐‐‐<br>
> On Friday, 1. February 2019 23:50, Roman Mamedov <<a href="mailto:rm@romanrm.net" target="_blank">rm@romanrm.net</a>> wrote:<br>
> <br>
> > Hello,<br>
> ><br>
> > There seems to be an issue with Tor's memory usage.<br>
> > Earlier today, with Tor 3.5.7 and 1.5 GB of RAM running two Tor processes, the<br>
> > machine got 430 MB into swap, slowing down to a crawl from iowait on accessing<br>
> > the swapped out memory. Typically 1.5 GB is more than enough for these. "VIRT"<br>
> > in top was ~1GB each, and "RES" was ~512MB each. Which is weird because that<br>
> > doesn't add up to exhausting the 1.5 GB, and there are no other heavy<br>
> > processes on the machine running. I rebooted it without further investigation.<br>
> ><br>
> > And right now on another machine running 2.9.16 I see:<br>
> ><br>
> > PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND<br>
> > 22432 debian-+ 30 10 5806816 5.157g 10464 R 39.5 33.1 39464:19 tor<br>
> ><br>
> > But not sure if it just accumulated 5.1GB of RAM slowly over time, or shot up<br>
> > recently.<br>
> ><br>
> > Feb 01 17:00:49.000 [notice] Heartbeat: Tor's uptime is 82 days 23:59 hours,<br>
> > with 70705 circuits open. I've sent 66622.45 GB and received 65906.91 GB.<br>
> > Feb 01 17:00:49.000 [notice] Circuit handshake stats since last time:<br>
> > 11361/11361 TAP, 239752/239752 NTor.<br>
> > Feb 01 17:00:49.000 [notice] Since startup, we have initiated 0 v1<br>
> > connections, 0 v2 connections, 10 v3 connections, and 3385644 v4 connections;<br>
> > and received 14 v1 connections, 78592 v2 connections, 822108 v3 connections,<br>
> > and 8779474 v4 connections.<br>
> > Feb 01 17:00:49.000 [notice] DoS mitigation since startup: 2899572 circuits<br>
> > rejected, 121 marked addresses. 561 connections closed. 21956 single hop clients refused.<br>
> > Feb 01 17:08:20.000 [warn] connection_edge_process_relay_cell (at origin)<br>
> > failed.<br>
> ><br>
> > ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------<br>
> ><br>
> > With respect,<br>
> > Roman<br>
> ><br>
> > tor-relays mailing list<br>
> > <a href="mailto:tor-relays@lists.torproject.org" target="_blank">tor-relays@lists.torproject.org</a><br>
> > <a href="https://lists.torproject.org/cgi-bin/mailman/listinfo/tor-relays" rel="noreferrer" target="_blank">https://lists.torproject.org/cgi-bin/mailman/listinfo/tor-relays</a><br>
> <br>
> <br>
<br>
<br>
> _______________________________________________<br>
> tor-relays mailing list<br>
> <a href="mailto:tor-relays@lists.torproject.org" target="_blank">tor-relays@lists.torproject.org</a><br>
> <a href="https://lists.torproject.org/cgi-bin/mailman/listinfo/tor-relays" rel="noreferrer" target="_blank">https://lists.torproject.org/cgi-bin/mailman/listinfo/tor-relays</a><br>
<br>
<br>
-- <br>
UfBKIa+1kdl7DdvHs4X6EOXF+4kISRk8P8gM6dH/i1E=<br>
_______________________________________________<br>
tor-relays mailing list<br>
<a href="mailto:tor-relays@lists.torproject.org" target="_blank">tor-relays@lists.torproject.org</a><br>
<a href="https://lists.torproject.org/cgi-bin/mailman/listinfo/tor-relays" rel="noreferrer" target="_blank">https://lists.torproject.org/cgi-bin/mailman/listinfo/tor-relays</a><br>
</blockquote></div>