<div dir="ltr">Thanks for the status update. You are doing great work!<div><br></div><div>Best,</div><div>Juha</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Jul 2, 2016 at 3:55 PM, Ismael R <span dir="ltr"><<a href="mailto:zma@riseup.net" target="_blank">zma@riseup.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi everyone,<br>
<br>
I'm working on <a href="http://ahmia.fi" rel="noreferrer" target="_blank">ahmia.fi</a>, the hidden service search engine and you're<br>
reading status update #3.<br>
<br>
Since last time, I've been moving forward with the django "rewrite".<br>
A little context: The current main goal of the project is too regroup<br>
all data related to search into our elasticsearch index (sites content,<br>
tor2web stats) so we can use it to give better search results.<br>
Since I'm focusing on the django part, I'm removing a lot of search<br>
logic which is now done by elasticsearch. For instance, banned websites<br>
will be store in our main index and elasticsearch will filter them<br>
before returning search results. This is a different behaviour from<br>
now, where banned websites are stored in a PostgreSQL database and<br>
filtered at the django level.<br>
<br>
I'm also taking advantage of this rewrite to accomplish the following<br>
goals:<br>
- Compartimentalize what should be in apps : I plan to do three apps :<br>
search, stats and api<br>
- Remove deprecated code/files<br>
- Remove every linter error/warning : I worked on this one, but some<br>
warning could not be remove without a rewrite.<br>
- Update django version : We are using Django 1.7 which is not<br>
supported anymore.<br>
- Use a more coherent url scheme (while keeping retro-compatibility)<br>
- Use a more coherent API behaviour (also while keeping retro-<br>
compatibility)<br>
- Write more tests to verify correctness<br>
<br>
After this rewrite, we will have three apps in our Django website:<br>
<br>
Search will focus on pages related to search results, querying our<br>
index to get results.<br>
It will be later improved with !bang syntax or some other keywords to<br>
specify a date range, a specific .onion website, etc.<br>
<br>
Stats will focus on statistic visualization (most popular .onion, etc).<br>
It could be later improved with a "Ahmia trend" interface to view<br>
searches over time.<br>
<br>
Api will focus on the API part of the website. I have a couple ideas<br>
but will discuss them in a later report.<br>
<br>
During the next two weeks, I will continue my work on this rewrite.<br>
<br>
See you in two weeks :)<br>
Ismael<br>
_______________________________________________<br>
tor-dev mailing list<br>
<a href="mailto:tor-dev@lists.torproject.org">tor-dev@lists.torproject.org</a><br>
<a href="https://lists.torproject.org/cgi-bin/mailman/listinfo/tor-dev" rel="noreferrer" target="_blank">https://lists.torproject.org/cgi-bin/mailman/listinfo/tor-dev</a><br>
</blockquote></div><br></div>