<div dir="ltr">link<br><br><a href="https://dzone.com/articles/how-setup-realtime-alalytics">https://dzone.com/articles/how-setup-realtime-alalytics</a><br></div><div class="gmail_extra"><br><div class="gmail_quote">Il giorno 7 dicembre 2016 21:02, salvatore monaco <span dir="ltr"><<a href="mailto:salvatore.monaco@gmail.com" target="_blank">salvatore.monaco@gmail.com</a>></span> ha scritto:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div>Ciao ,<br>non ho letto tutto quanto ma ad occhio e croce dovresti usare gli strumenti che il sistema operativo<br></div><div>ti mette a disposizione per il logging.<br><br></div><div>ruota i log, file da 1G non hanno tantissimo senso, processo il file che non ha in append imput<br></div><div>sarà più agile per la memoria della macchina.<br></div><div><br></div>e invece che mandare su un db tipo relazionale usare db nosql tipo mongoDB o strumenti tipo<br></div><br>ELK    <a href="https://www.elastic.co/" target="_blank">https://www.elastic.co/</a><br><br></div>Ciao <br><br></div>Io faccio cosi... e funziona abbastanza bene<br><div><div><br><br></div></div></div><div class="gmail_extra"><div><div class="h5"><br><div class="gmail_quote">Il giorno 7 dicembre 2016 19:43, Manlio Perillo <span dir="ltr"><<a href="mailto:manlio.perillo@gmail.com" target="_blank">manlio.perillo@gmail.com</a>></span> ha scritto:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>2016-12-07 17:17 GMT+01:00 Lorenzo Mainardi <<a href="mailto:lormayna@gmail.com" target="_blank">lormayna@gmail.com</a>>:<br>
</span><span>>> Message: 7<br>
>> Date: Wed, 7 Dec 2016 16:02:10 +0100<br>
>> From: Manlio Perillo <<a href="mailto:manlio.perillo@gmail.com" target="_blank">manlio.perillo@gmail.com</a>><br>
>><br>
>> Scrive sempre sullo stesso file, che quindi cresce indefinitivamente?<br>
><br>
><br>
> Sì, lo posso ruotare ogni ora od ogni giorno (a seconda di come mi fa<br>
> comodo).<br>
><br>
<br>
</span>In questo caso puoi fare quello che fa `tail -f`.<br>
<br>
Una veloce ricerca con "python read logfile realtime" produce:<br>
<a href="http://stackoverflow.com/questions/3290292/read-from-a-log-file-as-its-being-written-using-python" rel="noreferrer" target="_blank">http://stackoverflow.com/quest<wbr>ions/3290292/read-from-a-log-<wbr>file-as-its-being-written-usin<wbr>g-python</a><br>
<a href="http://stackoverflow.com/questions/11908919/python-parsing-log-file-to-extract-events-in-real-time" rel="noreferrer" target="_blank">http://stackoverflow.com/quest<wbr>ions/11908919/python-parsing-<wbr>log-file-to-extract-events-in-<wbr>real-time</a><br>
<span><br>
><br>
>><br>
>><br>
>> > Vorrei parsare il file in tempo reale riga per<br>
>> > riga e poi inserire i dati in un DB.<br>
>> > Come posso fare?<br>
>><br>
>> Non mi sembra troppo complesso, cosa hai provato a fare?<br>
><br>
><br>
><br>
> Per ora niente, volevo capire se con python potevo "seguire" un file per poi<br>
> parsarle.<br>
<br>
</span>Come detto, "seguire" un file in tempo reale non è un problema.<br>
<span><br>
> Le linee sono raggruppate per ogni autenticazione e separate da<br>
> una linea bianca. Dovrò quindi aggregarle per ogni autenticazione, infilarle<br>
> in un dizionario, fare delle elaborazioni e buttarle nel DB.<br>
><br>
>><br>
>><br>
>> > Ho letto un po' di documentazione del modulo io nella<br>
>> > libreria standard, ma non so se è lo strumento adatto.<br>
>> ><br>
>><br>
>> Non ti basta leggere il file linea per linea, parsare (eventualmente)<br>
>> i dati e inviarli tramite un INSERT nel database?<br>
><br>
><br>
> La mia unica paura è che non ce la possa fare a stargli dietro (il file è<br>
> circa 1 milione di righe al giorno).<br>
><br>
<br>
</span>Il collo di bottiglia dovrebbe essere l'I/O, in particolare il<br>
database, quindi se non riesci a stargli dietro in Python<br>
probabilmente non ci riuscirai nemmeno se riscrivi il programma in C.<br>
Ma con una semplice bozza dovresti capire se la cosa è fattibile.<br>
<br>
Che database devi usare?<br>
<br>
<br>
Ciao  Manlio<br>
<div class="m_6087717039339633241HOEnZb"><div class="m_6087717039339633241h5">______________________________<wbr>_________________<br>
Python mailing list<br>
<a href="mailto:Python@lists.python.it" target="_blank">Python@lists.python.it</a><br>
<a href="http://lists.python.it/mailman/listinfo/python" rel="noreferrer" target="_blank">http://lists.python.it/mailman<wbr>/listinfo/python</a><br>
</div></div></blockquote></div><br><br clear="all"><br></div></div><span class="HOEnZb"><font color="#888888">-- <br><div class="m_6087717039339633241gmail_signature" data-smartmail="gmail_signature">@salvatoremonaco<br><a href="http://blog.smitsolution.net" target="_blank">http://blog.smitsolution.net</a></div>
</font></span></div>
</blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature">@salvatoremonaco<br><a href="http://blog.smitsolution.net" target="_blank">http://blog.smitsolution.net</a></div>
</div>