[Python] split di file di grandi dimensioni

[David Mugnai]

On Fri, 2009-12-04 at 15:08 +0100, Daniele Varrazzo wrote:
[snip]
> No, non stiamo reinventando i buffer: li stiamo usando meglio.

hmm, più che meglio forse in maniera diversa (e magari più opportuna a
seconda del problema)
> 
> 24 è un limite basso, ma se il numero di file potenzialmente da scrivere è
> estremamente alto, scrivere un programma che garantisca l'uso di un numero
> controllato di file aperti mi sembra sensibile quanto scrivere un programma
> che non carichi tutto il file in memoria. Uno script che per girare ha
> bisogno che gli venga impostato ulimit mi sembra abbia dei problemi, quanto
> uno che per processare 1GB di file ha bisogno di 1GB di memoria.

se il limite è impostato ad capocchiam non vedo un problema ad
utilizzare ulimit; rileggendo una mail dell'OP, lui dice:

> In realtà i file di output che mi aspetto sono più di 1000.

che è un paio di ordini di grandezza sopra a 24 quindi è molto probabile
che una strategia per limitare i file aperti serva in ogni caso.
-------------- parte successiva --------------
Un allegato non testuale è stato rimosso....
Nome:        non disponibile
Tipo:        application/pgp-signature
Dimensione:  197 bytes
Descrizione: This is a digitally signed message part
Url:         http://lists.python.it/pipermail/python/attachments/20091204/958d45e2/attachment.pgp