[Python] Gzip

[Valerio Maggio]

Il 
Sent from my iPad
> On 17/nov/2014, at 12:39, enrico franchi <enrico.franchi a gmail.com> wrote:
> 
> 2014-11-17 11:32 GMT+00:00 Marco Ippolito <ippolito.marco a gmail.com>:
>> 
>> Resta da capire allora come mai i tipi di Theano:
>> http://deeplearning.net/tutorial/gettingstarted.html
>> 
>> usano e consigliano il formato pickle.
> 
> 1. Cerca se da qualche parte lo spiegano (il perche' *loro* lo consigliano puo' essere spiegato solo da loro)
> 2. Magari pensano sia piu' semplice
> 3. Magari hanno uno use case, potenzialmente diverso dal tuo, per cui gli viene comodo
> 4. Magari hanno iniziato cosi' e sono andati avanti cosi' senza nessun motivo specifico
> 5. Magari pensano che sia didatticamente piu' utile(?)/semplice(?)
>  
> Come ogni fonte su Internet, non e' "il modo giusto", a meno che non ti spieghino in modo accurato quali siano i pro e i contro, quello che scrivano e' corretto, e tu rientri nel loro stesso use-case.

Non potrei essere più d'accordo!!

> 
> Personalmente, se devi spesso lavorare con matrici grosse su disco io valuterei anche usare oggettini come pytables e/o PyHDF5 o come cavolo si chiama. Potenziale flame su quale sia meglio... ancora una volta, bisogna capire quale sia il tuo use-case.

Aggiungo: sono due soluzioni per lo stesso formato di gilè:hdf5
In generale, Il formato è  particolarmente adatto a dati strutturati in qualche modo, magari con una qualche specie di gerarchia.

Da quello che intuisco, Il vantaggio che avresti è quello di avere un formato di salvataggio efficiente e facilmente comprimibile ( facile nel senso che esistono già delle funzioni integrate per il salvataggio compresso).

In ogni caso, compressione a parte, se il tuo UC è quello di singola matrice, molto grande, IMHO la serializzazione di numpy è quello che ti serve.. Oppure tenta la strada di `memmap`

HTH
--

Valerio
-------------- parte successiva --------------
Un allegato HTML è stato rimosso...
URL: <http://lists.python.it/pipermail/python/attachments/20141117/3e919837/attachment.html>