[Python] split di file di grandi dimensioni

[David Mugnai]

On Fri, 2009-12-04 at 13:39 +0100, Daniele Varrazzo wrote:
> On Fri, 4 Dec 2009 13:32:56 +0100, Marco Beri <marcoberi a gmail.com> wrote:
[snip]
> > Ok, attento in uscita dal loop: devi scrivere le ultime righe rimaste
> nel
> > dizionario.
> > 
> > E ricordati di avere un limite massimo di righe tale da gestire anche la
> > situazione peggiore:\
> >  MAX_LENGTH * MAX_NUM_FILE * (MAX_RIGHE - 1)
> > 
> > Murphy è sempre in agguato :-)
> 
> Io infatti avrei salvato tutti i dizionari dopo un numero prefissato di
> righe lette dal file di input. In questo modo l'occupazione di memoria è
> controllata e le prestazioni credo siano in linea (qualche file potrebbe
> avere poche righe, ma se su 1000 file aperti si scrivono 1M di righe
> statisticamente siamo lì). Credo sia anche molto più semplice da scrivere e
> meno soggetto ad errori.

non stiamo reinventando quello che già fa il sistema operativo con il
file buffer? invece di scrivere logica addizionale che mima quello che
fa già il kernel potremmo provare ad aprire i file con bufsize=10M :)


-------------- parte successiva --------------
Un allegato non testuale è stato rimosso....
Nome:        non disponibile
Tipo:        application/pgp-signature
Dimensione:  197 bytes
Descrizione: This is a digitally signed message part
Url:         http://lists.python.it/pipermail/python/attachments/20091204/604debff/attachment.pgp