Ciao a tutti!<div>E' la prima volta che scrivo in questa ML ma vi seguo da parecchio (non che ci capisca molto dato che sono veramente inesperta) per capire quali sono le potenzialità di questo linguaggio che mi sta dando grandi soddisfazioni nonostante (ripeto) di programmazione in generale sono quasi a digiuno.</div>
<div>Ho creato questo programmino semplicissimo che trasforma tutte le tabelle .dbf contenute in una cartella in formato csv.</div><div><br></div><div><div>import csv</div><div>import os</div><div>from dbfpy import dbf</div>
<div><br></div><div>pathin ="F:\\zambrano\\scatterplot\\combine_2dt_table\\"</div><div>pathout = "F:\\zambrano\\scatterplot\\csv\\combine_2dt_table\\"</div><div><br></div><div>for table in os.listdir(pathin):</div>
<div> </div><div> if table.endswith('dbf'):</div><div> </div><div> newfile = pathout + table[:-3]+"csv"</div><div> outFile = open(newfile, 'a')</div><div><br></div><div>
try:</div><div> dbfFile = dbf.Dbf(open(pathin + table,'r'))</div><div> csvFile = csv.writer(open(newfile, 'wb'))</div><div> </div><div> headers = range(len(dbfFile.fieldNames))</div>
<div> allRows = []</div><div> for row in dbfFile:</div><div> rows = []</div><div> for num in headers:</div><div> rows.append(row[num])</div><div> allRows.append(rows)</div>
<div> </div><div> csvFile.writerow(dbfFile.fieldNames)</div><div> for row in allRows:</div><div> csvFile.writerow(row)</div><div> </div><div> </div>
<div> except Exception,e:</div><div> print '\nproblemi con '+ newfile</div><div> print e</div><div><br></div></div><div>Per alcune però mi da il seguente messaggio: "unpack requires a string argument of length 8".</div>
<div>Dove ho sbagliato?</div><div>Grazie!<br><br><div name="sig_27ba94de1d" style="margin-top: 2em; margin-right: 0pt; margin-bottom: 2em; margin-left: 0pt; "><p style="color:royalblue; font: 14pt 'Brush Script MT', 'Book Antiqua', 'Times New Roman', Times, Georgia, serif; font-style: italic; margin: 10px 0 20px 0;">
<b style="">C</b>ynthia</p></div><div class="gmail_quote">Il giorno 12 maggio 2010 12.00, <span dir="ltr"><<a href="mailto:python-request@lists.python.it">python-request@lists.python.it</a>></span> ha scritto:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Invia le richieste di iscrizione alla lista Python all'indirizzo<br>
<a href="mailto:python@lists.python.it">python@lists.python.it</a><br>
<br>
Per iscriverti o cancellarti attraverso il web, visita<br>
<a href="http://lists.python.it/mailman/listinfo/python" target="_blank">http://lists.python.it/mailman/listinfo/python</a><br>
oppure, via email, manda un messaggio con oggetto `help' all'indirizzo<br>
<a href="mailto:python-request@lists.python.it">python-request@lists.python.it</a><br>
<br>
Puoi contattare la persona che gestisce la lista all'indirizzo<br>
<a href="mailto:python-owner@lists.python.it">python-owner@lists.python.it</a><br>
<br>
Se rispondi a questo messaggio, per favore edita la linea dell'oggetto<br>
in modo che sia più utile di un semplice "Re: Contenuti del digest<br>
della lista Python..."<br>
<br>
<br>
Argomenti del Giorno:<br>
<br>
1. Re: Blocco casuale nel codice (Alessandro Re)<br>
2. Re: GIL e fork - multiprocesso - (Alessandro Agosto)<br>
<br>
<br>
----------------------------------------------------------------------<br>
<br>
Message: 1<br>
Date: Tue, 11 May 2010 19:23:02 +0200<br>
From: Alessandro Re <<a href="mailto:akirosspower@gmail.com">akirosspower@gmail.com</a>><br>
Subject: Re: [Python] Blocco casuale nel codice<br>
To: Discussioni generali sul linguaggio Python<br>
<<a href="mailto:python@lists.python.it">python@lists.python.it</a>><br>
Message-ID:<br>
<<a href="mailto:AANLkTin821l9iXFuIg-3kVvr16aepb1nCilue67sAmIE@mail.gmail.com">AANLkTin821l9iXFuIg-3kVvr16aepb1nCilue67sAmIE@mail.gmail.com</a>><br>
Content-Type: text/plain; charset=UTF-8<br>
<br>
2010/5/11 Pietro Battiston <<a href="mailto:toobaz@email.it">toobaz@email.it</a>>:<br>
> Nella mia ignoranza di una soluzione pulita, se fossi nella tua<br>
> situazione probabilmente farei un<br>
><br>
> try:<br>
> chiamata_che_ogni_tanto_si_blocca()<br>
> except KeyboardInterrupt:<br>
> pass<br>
><br>
><br>
> A questo punto, se ad esempio il tutto gira in un terminale interattivo,<br>
> potrei, quando decido che "si è piantato", dare un Ctrl+C ed ispezionare<br>
> le variabili che più mi aggradano.<br>
<br>
Uuuh non ci avevo pensato! :) Bella idea, spero di ricordarmela se mi<br>
capitasse un'altra situazione simile...<br>
<br>
Grazie!<br>
<br>
~Ale<br>
<br>
<br>
------------------------------<br>
<br>
Message: 2<br>
Date: Wed, 12 May 2010 00:28:50 +0200<br>
From: Alessandro Agosto <<a href="mailto:the.6one6@gmail.com">the.6one6@gmail.com</a>><br>
Subject: Re: [Python] GIL e fork - multiprocesso -<br>
To: Discussioni generali sul linguaggio Python<br>
<<a href="mailto:python@lists.python.it">python@lists.python.it</a>><br>
Message-ID:<br>
<<a href="mailto:AANLkTikrLJSil2-4qfG5gcOyDAPqFleo0DrxpRwtM6T4@mail.gmail.com">AANLkTikrLJSil2-4qfG5gcOyDAPqFleo0DrxpRwtM6T4@mail.gmail.com</a>><br>
Content-Type: text/plain; charset="utf-8"<br>
<br>
Il giorno 11 maggio 2010 19.16, Manlio Perillo <<a href="mailto:manlio_perillo@libero.it">manlio_perillo@libero.it</a>> ha<br>
scritto:<br>
<br>
> Ciao<br>
><br>
Ciao Manlio!<br>
<br>
> La traduzione non è corretta.<br>
> Meglio "limitato dalla CPU", o qualcosa di simile.<br>
><br>
<br>
Ti ringrazio, ci speravo che intervenissi per proporre una traduzione<br>
appropriata :)<br>
<br>
Il codice che hai postato usa il threading nel modo sbagliato, perchè le<br>
> due funzioni sono chiamate in modo sequenziale.<br>
><br>
Beh devo ammettere che non ho mai usato il multithreading prima in python,<br>
e quell'esempio l'ho preso tal e quale a quel documento di cui sopra che<br>
parla del GIL. Ti ringrazio della segnalazione, in effetti trattandosi di<br>
multithreading, sebbene l'abbia usato solo in C/C++, mi sembrava strano come<br>
applicazione, ma del resto python ha sempre qualcosa di nuovo da insegnarmi,<br>
e per questo lo trovo infinitamente attraente (per quanto possa esserlo un<br>
linguaggio di programmazione, vedi: intrigante, attrae la mia curiosità,<br>
NdT)<br>
<br>
><br>
> Prima aspetti che il primo thread finisce, e quindi esegui il secondo.<br>
><br>
> Uhm, adesso comunque mi hai chiarito proprio le idee, ho provato a togliere<br>
i join, a preparare i due threads insieme e quindi eseguirli<br>
contemporaneamente ma senza la join, per terminare il programma su Mac devo<br>
premere un tasto, altrimenti non mi restituisce il terminale, ma niente di<br>
chè, solo benchmarking.<br>
<br>
> > 3) usando la fork [3]<br>
> ><br>
> > Ho aggiunto il test per la fork in quanto creando un nuovo processo il<br>
> > GIL non dovrebbe dare problemi, giusto?<br>
><br>
> Si.<br>
><br>
Perfetto, infatti mi ricordo che già mi consigliasti come metodo per scalare<br>
con python (qualche tempo fà) in alternativa ai thread, l'uso di più<br>
processi. Dato che voglio provare a non assillare chi utilizza questo o quel<br>
programma vorrei appunto provare a creare processi alla nginx, in base al<br>
numero di workers specificati in un file di configurazione. Ma prima voglio<br>
imparare bene come e cosa è python.<br>
<br>
><br>
> > Beh ecco i risultati sul mio P4 3,00GHz:<br>
> > 1) sequenziale<br>
> > ----------------------<br>
> > real 0m35.363s<br>
> > user 0m34.831s<br>
> > sys 0m0.087s<br>
> > ----------------------<br>
> > 2) threaded<br>
> > ----------------------<br>
> > real 1m30.482s<br>
> > user 1m25.342s<br>
> > sys 0m28.125s<br>
> > ----------------------<br>
> > 3) forked<br>
> > ----------------------<br>
> > real 0m52.938s<br>
> > user 1m30.927s<br>
> > sys 0m0.395s<br>
> > ----------------------<br>
> ><br>
><br>
> Io ottengo risultati molto diversi.<br>
><br>
> La versione sequenziale:<br>
> real 0m21.341s<br>
> user 0m20.185s<br>
> sys 0m0.260s<br>
><br>
> La versione con threads:<br>
> real 0m26.279s<br>
> user 0m22.101s<br>
> sys 0m5.244s<br>
><br>
> La versione con i processi:<br>
> real 0m13.160s<br>
> user 0m10.313s<br>
> sys 0m0.056s<br>
><br>
Beh la versione sequenziale mi sembra dipenda esclusivamente dalla potenza<br>
dei processori ed evidentemente i tuoi battono i miei p4 (eheh) in potenza<br>
di calcolo :p<br>
Interessante invece la versione coi threads che dimostra appunto come<br>
anzichè migliorare la situazione la peggiori, anche se nel caso di pochi<br>
secondi.<br>
<br>
Trovo grandiose le prestazioni dei processi, alla faccia di chi li critica<br>
in favore dei thread (almeno con python). Ha quasi dimezzato le prestazioni<br>
del calcolo sequenziale e praticamente la metà di quelli che usano i<br>
threads.<br>
<br>
<br>
> La versione con i threads "corretta" (senza i due join) ha praticamente<br>
> gli stessi tempi di quella postata da te.<br>
><br>
<br>
A me addirittura, come ho detto, non libera il terminale automaticamente,<br>
comunque senza i due join con un solo processore attivo mi pare (adesso non<br>
ricordo esattamente) mi sembra avesse qualche secondo in meno, ma forse<br>
complice il lancio contemporaneo dei due threads.<br>
<br>
> Uso un Intel(R) Core(TM)2 CPU T7200 @ 2.00GHz<br>
><br>
> Bel procio.<br>
<br>
><br>
> Ciao Manlio<br>
><br>
Ciao, grazie per il bench. Come saprai il tuo interesse è sempre ben gradito<br>
:)<br>
<br>
Buona notte.<br>
<br>
--<br>
Alessandro A.<br>
-------------- parte successiva --------------<br>
Un allegato HTML è stato rimosso...<br>
URL: <a href="http://lists.python.it/pipermail/python/attachments/20100512/6aa9afd8/attachment.html" target="_blank">http://lists.python.it/pipermail/python/attachments/20100512/6aa9afd8/attachment.html</a><br>
<br>
------------------------------<br>
<br>
_______________________________________________<br>
Python mailing list<br>
<a href="mailto:Python@lists.python.it">Python@lists.python.it</a><br>
<a href="http://lists.python.it/mailman/listinfo/python" target="_blank">http://lists.python.it/mailman/listinfo/python</a><br>
<br>
<br>
Fine di Digest di Python, Volume 51, Numero 8<br>
*********************************************<br>
</blockquote></div><br></div>