<div dir="ltr"><div dir="ltr">Hi Karsten,<div><br></div><div>Sorry for the late reply! I needed to learn how to read the consensuses (and I still have a lot to learn).</div><div><br></div><div><span style="color:rgb(80,0,80)">- How does the shorter release cycle affect update behavior?</span><br></div><div><br></div><div>I have been thinking about this question. With the data you shared, I plotted the age of servers vs. the age of their versions:</div><div><br></div><div><div><img src="cid:ii_jtna0ho90" alt="server_age_version_age.png" width="477" height="199"><br></div></div><div>The "Age of server" is computed as the number of days between today and the date that the server started running. The "Age of version" is the field "days_since_first_recommended" from the data table. The left plot uses the data of relays and the right is of the bridges.</div><div><br></div><div>Overall, it seems that the older servers update more quickly, which is a little counter-intuitive. I guess this can be a result of how the dataset was constructed?</div><div><br></div><div>However, to really address this question, we will need longitudinal data of the update behavior, instead of only one snapshot. I think this requires parsing the consensus files from multiple time points and compiling them. Did you create the above dataset by parsing the consensus? If so, would you think this is viable? </div><div><br></div><div>On a separate note: I saw <a href="https://metrics.torproject.org/uncharted-data-flow.html">this</a> on the Metrics website and feel very interested. I wonder if there is more work/data relevant to this network?</div><div><br></div><div>Thanks,</div><div>blackbird</div><div><br></div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Mar 11, 2019 at 11:00 AM Karsten Loesing <<a href="mailto:karsten@torproject.org">karsten@torproject.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi,<br>
<br>
sorry for the late reply. I guess I was hoping to find time to produce<br>
some more data for you, but that time has not materialized yet. Let me<br>
respond to your questions anyway, and maybe you'll be able to produce<br>
your own data from the original data.<br>
<br>
On 2019-03-01 22:27, Su Yu wrote:<br>
> Sorry! I realized I should've added some caption to the figures. <br>
> <br>
> - In the two histograms are the distribution of the age of Tor versions.<br>
> Most people have their Tor between 0 - 250 days old and there is a<br>
> long-tail distribution.<br>
> - In the box plot, the boxes contain the first quantile to the third<br>
> quantile of data points, and the line in the center is the median. The<br>
> upper and lower "whiskers" show the maximum and minimum of the data, and<br>
> the points above the top whisker are outliers. It appears that there are<br>
> less bridges with very old versions, but the bridges and relays are<br>
> similar in keeping up with new versions.<br>
> <br>
> You're definitely right that the temporal changes are important. I'll<br>
> focus on this in some follow-up analysis. I have a couple of questions<br>
> regarding this:<br>
> <br>
> 1. What is the "date" column in the csv file you shared, specifically?<br>
<br>
It's the date when relays were listed as running in a consensus.<br>
<br>
> 2. What's a good way to see the the unattended updates data? I can look<br>
> into it if you could point me to a general direction.<br>
<br>
There's no explicit data about unattended updates. My idea was that, if<br>
a relay updates really soon after a new version comes out, it's likely<br>
using unattended updates. But we do not know which relays have<br>
unattended updates configured on their system.<br>
<br>
> 3. It seems many of the potential questions will require new data. I'm<br>
> happy to work on data generation/cleaning; but is there a good way to<br>
> share the datasets or figures? They may also be too large for the mail<br>
> list..<br>
<br>
Figures should be fine on the mailing list. If you have larger datasets,<br>
can you upload them somewhere and link to them? Otherwise figures and<br>
descriptions on the mailing list will have to do for now.<br>
<br>
So, if you want to work with the original data, you should take a look<br>
at consensuses here:<br>
<br>
<a href="https://metrics.torproject.org/collector.html#type-network-status-consensus-3" rel="noreferrer" target="_blank">https://metrics.torproject.org/collector.html#type-network-status-consensus-3</a><br>
<br>
In particular, here are some lines contained in consensuses that might<br>
be relevant:<br>
<br>
valid-after 2019-03-11 14:00:00<br>
<br>
server-versions<br>
0.2.9.15,0.2.9.16,0.2.9.17,0.3.4.10,0.3.4.11,0.3.5.7,0.3.5.8,0.4.0.1-alpha,0.4.0.2-alpha<br>
<br>
r seele AAoQ1DAR6kkoo19hBAX5K0QztNw qbFrFVLkIeCAYnciYZP5lRs4P1s<br>
2019-03-11 11:17:29 67.174.243.193 9001 0<br>
<br>
s Running Stable V2Dir Valid<br>
<br>
v Tor 0.3.5.7<br>
<br>
Consensuses are specified here:<br>
<br>
<a href="https://gitweb.torproject.org/torspec.git/tree/dir-spec.txt" rel="noreferrer" target="_blank">https://gitweb.torproject.org/torspec.git/tree/dir-spec.txt</a><br>
<br>
Thanks!<br>
<br>
All the best,<br>
Karsten<br>
<br>
<br>
> <br>
> Hi Teor - thank you for chiming in! The release schedule page looks<br>
> awesome. I notice there is not any mention of dev versions - is that<br>
> information also available somewhere?<br>
> <br>
> Thanks!<br>
> <br>
> blackbird<br>
> <br>
> <br>
> <br>
> <br>
> <br>
> On Thu, Feb 28, 2019 at 6:43 PM teor <<a href="mailto:teor@riseup.net" target="_blank">teor@riseup.net</a><br>
> <mailto:<a href="mailto:teor@riseup.net" target="_blank">teor@riseup.net</a>>> wrote:<br>
> <br>
>     Hi,<br>
> <br>
>     On 28 Feb 2019, at 19:00, Karsten Loesing <<a href="mailto:karsten@torproject.org" target="_blank">karsten@torproject.org</a><br>
>     <mailto:<a href="mailto:karsten@torproject.org" target="_blank">karsten@torproject.org</a>>> wrote:<br>
>><br>
>>     On 2019-02-22 23:05, Su Yu wrote:<br>
>>><br>
>>>     I did some quick plotting in Jupyter notebook (see below; the figures<br>
>>>     are also attached separately). Regarding the relays vs. bridges<br>
>>>     question<br>
>>>     that you mentioned, it seems the bridges are better at keeping<br>
>>>     themselves not /too/ outdated, but they're actually not that<br>
>>>     different<br>
>>>     in keeping up-to-date?<br>
>><br>
>>     Thanks for making these graphs. Though it's hard (for me) to interpret<br>
>>     these results.<br>
>><br>
>>     One reason might be that these graphs are considering a time frame of<br>
>>     over 1 decade. A lot of things have changed over that time frame:<br>
>><br>
>>     - The network has grown a lot over the years, which means that recent<br>
>>     years have a greater weight in those graphs than distant years. This<br>
>>     doesn't have to be a bad thing, it's just probably not intended and<br>
>>     possibly surprising when interpreting the results.<br>
>><br>
>>     - Release cycles have changed, with a much shorter cycle in the last<br>
>>     year or two as compared to earlier years. This may skew results<br>
>>     even more.<br>
>><br>
>>     If I were to continue this analysis I'd try to look more at<br>
>>     changes over<br>
>>     time. Things I'd look at:<br>
>><br>
>>     - How does the shorter release cycle affect update behavior? It's<br>
>>     probably useful to look at Tor's change log to get an idea when<br>
>>     versions<br>
>>     have been updated, when versions have been sunset, and which versions<br>
>>     have long-term support.<br>
> <br>
>     We have a summary page for past releases and our release schedule:<br>
>     <a href="https://trac.torproject.org/projects/tor/wiki/org/teams/NetworkTeam/CoreTorReleases#Calendar" rel="noreferrer" target="_blank">https://trac.torproject.org/projects/tor/wiki/org/teams/NetworkTeam/CoreTorReleases#Calendar</a>:<br>
> <br>
>     T<br>
> <br>
<br>
<br>
</blockquote></div>