
<html><head></head><body>Dipende tutto dalla mole di dati. Sopra 1T? Fino a diciamo 500Gb la soluzione più semplice è un disco sdd pcie, oramai costano sotto i 1000euri e puoi usare un DB tradizionale. <br>

Redis è adatto in certi scenari ma non rimpiazza un DB (può in sempre usare un DB relazionale come nosql).<br><br><div class="gmail_quote">Pietro Battiston <me@pietrobattiston.it> wrote:<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">

<pre class="k9mail">Salve a tutti,<br /><br />dopo l'ultima discussione in cui sono stato invitato a verificare se ci<br />guadagnassi veramente qualcosa a mappare con oggetti le mie tabelle SQL,<br />mi sono reso conto... che l'SQL era semplicemente lo strumento sbagliato<br />per me. Ed ho scoperto redis.<br /><br />L'unico mio problema con redis è che devo usare svariati database<br />diversi, che non stanno tutti in memoria. Però posso caricarli quando mi<br />servono, con redis-dump-load.¹<br /><br />Qui veniamo alla domanda: per fare ciò, i database devono essere salvati<br />su disco in formato json (e qui l'efficienza è un problema secondario,<br />dato che lo faccio una volta sola) e ricaricati. Ricaricarli è<br />un'operazione che mi prende parecchio tempo (nel senso che devo anche<br />farla svariate volte). Ha certamente a che fare con il fatto che il mio<br />computer non è una scheggia (N.B: il bottleneck non è il disco), però<br />comunque mi stupisce che, su

due core che ho, l'utilizzo (verificato con<br />un brutale "top") rimanga intorno al 80% di python + i 35% di redis. Non<br />ho altri processi impegnino il processore in maniera significativa<br />(tant'è che nella successiva fase di analisi dei dati, python è fisso al<br />100%).<br /><br />Ho letto che redis può essere nettamente più efficiente se si usa un<br />socket unix invece che TCP-IP, ed in effetti provando ho notato un certo<br />incremento di prestazioni (con il TCP-IP, le cifre erano piuttosto 70%<br />di python + 30% di redis).<br /><br />Sapete dirmi se potrei fare qualcosa di più? O se dovrei arrendermi?<br /><br />grazie<br /><br />Pietro<br /><br />¹ : <a href="https://github.com/p/redis-dump-load">https://github.com/p/redis-dump-load</a>/<br /><br /><hr /><br />Python mailing list<br />Python@lists.python.it<br /><a href="http://lists.python.it/mailman/listinfo/python">http://lists.python.it/mailman/listinfo/python</a><br /></pre></blockquote></div><br>

-- <br>

Sent from my Android phone with K-9 Mail. Please excuse my brevity.</body></html>