[Python] R: R: Elenco strade italiane per comune
Alberto Abate
alberto.abate a gmail.com
Mar 10 Gen 2012 17:30:00 CET
Un aggiornamento...
ho lavorato un poco con il modulo requests che mi permette di usare un proxy
per superare il limite delle 2500 richieste sulle mappe di google.
Vi allego il codice e un file con un elenco di proxy come omaggio ;-))
Funziona, ma il problema è la lentezza: 40 richieste in 10 minuti
Il debug non è facile e a volte mi da errori strani...
Volevo dare l'idea dei numeri in gioco:
per scandagliare la zona (bounds) di una città ci vogliono quasi 15000
richieste con
step = 0.001 , quindi occorre trovare un compromesso.
Es. con step = 0.02 sono appena 42, ma il tempo è dell'ordine dei 10
minuti...
Sto indagando il modulo async in request, ma pare che impatti solo sulle
richieste al
server e non sui tempi di download...è un casino...
Scusatemi per il codice per nulla documentato, ma per adesso mi preme il
risultato;
poi documento in maniera decente.
Accetto suggerimenti e per adesso non demordo
-------------- parte successiva --------------
Un allegato HTML è stato rimosso...
URL: <http://lists.python.it/pipermail/python/attachments/20120110/34622cad/attachment-0001.html>
-------------- parte successiva --------------
Un allegato non testuale è stato rimosso....
Nome: requests_api.py
Tipo: text/x-python
Dimensione: 4353 bytes
Descrizione: non disponibile
URL: <http://lists.python.it/pipermail/python/attachments/20120110/34622cad/attachment-0001.py>
-------------- parte successiva --------------
Un allegato non testuale è stato rimosso....
Nome: proxy_list
Tipo: application/octet-stream
Dimensione: 9530 bytes
Descrizione: non disponibile
URL: <http://lists.python.it/pipermail/python/attachments/20120110/34622cad/attachment-0001.obj>
Maggiori informazioni sulla lista
Python