<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">Ciao Margherita,<div><br></div><div>puoi dare un occhio a pytables [0] </div><div><br></div><div>con pytables puoi indicizzare i tuoi dati ed eseguire query usando un linguaggio sql-like [1] in aggiunta alla classica sintassi di numpy</div><div><br></div><div>il vantaggio di pytables e' che grazie agli indici, risulta estremamente veloce nell'eseguire query su enormi quantità' di dati</div><div><br></div><div>pandas e pytables (e hdf) sono amici [2]</div><div><br></div><div>se lavori anche con netcdf in python, qui [3] la guida su come compilare necdf con support a hdf5</div><div><br></div><div><br></div><div><div>[0] <a href="http://pytables.github.com/index.html">http://pytables.github.com/index.html</a></div><div><br></div><div>[1] <a href="http://pytables.github.com/cookbook/hints_for_sql_users.html">http://pytables.github.com/cookbook/hints_for_sql_users.html</a></div><div><br></div><div>[2] <a href="https://github.com/wesm/pandas/blob/master/pandas/io/pytables.py">https://github.com/wesm/pandas/blob/master/pandas/io/pytables.py</a></div><div><br></div><div>[3] <a href="https://code.google.com/p/netcdf4-python/wiki/UbuntuInstall">https://code.google.com/p/netcdf4-python/wiki/UbuntuInstall</a></div><div><br></div><div><br></div><div><br></div><div><div>Il giorno 23/mar/2013, alle ore 09:07, Margherita Di Leo <<a href="mailto:diregola@gmail.com">diregola@gmail.com</a>> ha scritto:</div><br class="Apple-interchange-newline"><blockquote type="cite">Ciao Enrico,<div><br></div><div>innanzi tutto grazie per la risposta. <br><br><div class="gmail_quote">2013/3/22 Enrico Franchi <span dir="ltr"><<a href="mailto:enrico.franchi@gmail.com" target="_blank">enrico.franchi@gmail.com</a>></span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im"><br></div>
<br>
Ti invito a riflettere su alcuni fattori:<br>
1. di base le matrici di numpy (e quindi pandas) sono *dense*. Se sali con il numero di dimensioni, o il problema e' molto piccolo, oppure scoppia tutto.<br>
2. il supporto di Pandas per strutture con dimensione >3 e' sperimentale. Non lo ho mai usato (anzi, a dire il vero, non ho mai usato manco il Panel, se non di rado).<br></blockquote><div><br></div><div>Grazie per i chiarimenti. In effetti un po' me lo aspettavo. </div>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Dopo di che, la mia impressione e' che *forse* non ti serve tutto questo.</blockquote><div><br></div><div>Probabilmente devo cambiare approccio, qualcosa tipo: grib -> postgis -> query -> numpy, pandas, whatever..</div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"> In primo luogo, gli indici di Pandas possono essere relativamente complessi. Puoi avere n colonne che fanno da indice, non necessariamente vuoi usare righe e colonne per indicare latitudine e longitudine. Puoi benissimo avere una cosa come:<br>
<br>
lat long d1 d2 d3 … dn<br>
0 10 ….<br>
0 20 ….<br>
10 10 ….<br>
<br>
Che e' decisamente piu' saggio. </blockquote><div><br></div><div>Il grib e` un file ultracompresso che contiene tantissime informazioni. E` comunque possibile ottenere un oggetto del genere automagicamente in formato csv a partire dal grib, per esempio usando wgrib2 -csv, ma non e` conveniente interagire direttamente con un animale del genere, diciamo che mi serve qualcosa con un supporto spaziale un po' piu` sofisticato.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Oltretutto Pandas ha funzioni builtin per gestire timeseries, quindi *forse* vuoi avere anche un po' di quella roba come indice. Di piu' non so dirti, se non di guardare bene la documentazione. Non sono familiare con il tuo caso d'uso e probabilmente non posso diventarlo "mailing-list time".<br>
</blockquote><div><br></div><div>Grazie mille, le tue riflessioni mi sono state molto utili, almeno a capire che stavo prendendo una strada sbagliata.</div><div><br></div><div>ciao e buon fine settimana </div></div><br clear="all">
<div><br></div>-- <br><div><div><font color="#666666">Best regards,</font></div><div><font color="#666666"><br></font></div><div><font color="#666666">Margherita DI LEO </font></div><div><font color="#666666">Postdoctoral Researcher</font></div>
<div><font color="#666666"><br></font></div><div><font color="#666666">European Commission - DG JRC </font></div><div><font color="#666666">Institute for Environment and Sustainability (IES)</font></div><div><font color="#666666">Via Fermi, 2749</font></div>
<div><font color="#666666">I-21027 Ispra (VA) - Italy - TP 261</font></div><div><font color="#666666"> </font></div><div><font color="#666666">Tel. +39 0332 78 3600 </font></div><div><font color="#666666"><a href="mailto:margherita.di-leo@jrc.ec.europa.eu" target="_blank">margherita.di-leo@jrc.ec.europa.eu</a></font></div>
<div><font color="#666666"><br></font></div><div><font color="#666666">Disclaimer: The views expressed are purely those of the writer and may not in any circumstance be regarded as stating an official position of the European Commission.</font></div>
</div>
</div>
_______________________________________________<br>Python mailing list<br><a href="mailto:Python@lists.python.it">Python@lists.python.it</a><br>http://lists.python.it/mailman/listinfo/python<br></blockquote></div><br></div></body></html>