[Python] split di file di grandi dimensioni

[Nicola Larosa]

> Daniele Varrazzo wrote:
>> Io infatti avrei salvato tutti i dizionari dopo un numero prefissato
>> di righe lette dal file di input. In questo modo l'occupazione di
>> memoria è controllata e le prestazioni credo siano in linea (qualche
>> file potrebbe avere poche righe, ma se su 1000 file aperti si
>> scrivono 1M di righe statisticamente siamo lì). Credo sia anche
>> molto più semplice da scrivere e meno soggetto ad errori.

David Mugnai wrote:
> non stiamo reinventando quello che già fa il sistema operativo con il 
> file buffer? invece di scrivere logica addizionale che mima quello che
> fa già il kernel potremmo provare ad aprire i file con bufsize=10M :)

Esattamente.

E aumentare il numero di file che si possono aprire insieme non è un
problema (24 è un limite ridicolo, tra l'altro, c'è qualcos'altro in ballo).

-- 
Nicola Larosa - http://www.tekNico.net/

Exposing real pre-emptive threading with shared mutable data structures
to application programmers is wrong. [...] Threads are a recipe for
deadlocks, race conditions, horrible non-reproducible bugs that take
endless pain to find, and hard-to-diagnose performance problems.
 - Tim Bray, September 2009