[Python] Gzip
Valerio Maggio
valerio.maggio a gmail.com
Lun 17 Nov 2014 12:29:04 CET
> On 17/nov/2014, at 12:17, Daniele Varrazzo <piro a develer.com> wrote:
>
>> On 2014-11-17 09:38, Marco Ippolito wrote:
>> Grazie Carlo,
>> mi hai dato un ottimo spunto per indagare un altro aspetto (prima
>> nella descrizione del problema non ho riportato, mea culpa, che la
>> matrice vuota di grosse dimensioni, viene creata e poi viene fatta
>> serializzata con pickle). Successivamente la gzippo.
>
> Sicuro che fare un pickle di una matrice di 2Gb sia efficiente? Hai considerato numpy.save/savez/savez_compressed? BLZ?
>
> http://docs.scipy.org/doc/numpy/reference/generated/numpy.save.html
> http://blz.pydata.org/blz-manual/index.html
+1
--
Valerio
Maggiori informazioni sulla lista
Python