<div dir="ltr">Posso suggerirti <a href="https://scrapy.org/">https://scrapy.org/</a> per il parsing di un gran numero di pagine? Ha tutto integrata la gestione del "multitreding" e permette di elaborare i risultati con beautifullsoup... Personalmente ho fatto di quelle porcate con questo framework/libreria e ora non vado nemmeno più a guardare quelle pagine ma leggo direttamente i risultati di scrapy</div><br><div class="gmail_quote"><div dir="ltr">Il giorno lun 10 lug 2017 alle ore 09:08 Nicola Larosa <<a href="mailto:nico@teknico.net">nico@teknico.net</a>> ha scritto:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Lorenzo Mainardi wrote:<br>
> Sto cercando di fare un po' di scraping con BeautifulSoup e devo<br>
> scaricare quasi 10000 pagine.<br>
> Avevo iniziato con requests, ma i tempi diventano bibilici lavorando<br>
> in modo sincrono. Allora ho fatto i seguenti test:<br>
><br>
> * twisted: non mi va di metterlo nel mezzo. Inoltre, avendoci lavorato<br>
> diversi anni fa lo considero troppo complesso per quello che devo<br>
> fare io<br>
<br>
Tornado: a gentler, kinder Twisted.<br>
<<a href="http://www.tornadoweb.org/en/stable/guide/async.html" rel="noreferrer" target="_blank">http://www.tornadoweb.org/en/stable/guide/async.html</a>><br>
<br>
Funziona una bellezza.<br>
<br>
--<br>
Nicola 'tekNico' Larosa <<a href="https://www.tekNico.net/" rel="noreferrer" target="_blank">https://www.tekNico.net/</a>><br>
_______________________________________________<br>
Python mailing list<br>
<a href="mailto:Python@lists.python.it" target="_blank">Python@lists.python.it</a><br>
<a href="http://lists.python.it/mailman/listinfo/python" rel="noreferrer" target="_blank">http://lists.python.it/mailman/listinfo/python</a><br>
</blockquote></div><div dir="ltr">-- <br></div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><p dir="ltr">Fundor333<br>
<a href="https://fundor333.com">https://fundor333.com</a></p>
</div></div>