[Python] Leggere file stream

[Esalando Prassi]

2016-12-07 10:37 GMT+01:00 Lorenzo Mainardi <lormayna a gmail.com>:
> Buongiorno a tutti, scrivo per chiedere un consiglio alla lista.
> Ho un processo che mi genera un file di log molto grande (un paio di Giga al
> giorno, circa 100000 righe). Vorrei parsare il file in tempo reale riga per
> riga e poi inserire i dati in un DB.
> Come posso fare? Ho letto un po' di documentazione del modulo io nella
> libreria standard, ma non so se è lo strumento adatto.
>
> Vorrei evitare cose complicate tipo logstash (un divorato di memoria)
>

Tempo fa ho tentato l'approccio di loggare su rsyslog per poi
reindirizzare le righe di log su postgres:

- http://www.rsyslog.com/doc/v8-stable/tutorials/database.html

Il caso d'uso potrebbe essere esattamente il tuo e potresti trovarti
gia' la pappa pronta.

Dovessi rifarlo eviterei e (qualora concesso dall'applcazione)
scriverei direttamente sul DB.

Ciao
-- 
http://alepisa.blogspot.com
Esalando Prassi