[Python] Python, redis e bottleneck

[A. Cavallo]

Dipende tutto dalla mole di dati. Sopra 1T? Fino a diciamo 500Gb la soluzione più semplice è un disco sdd pcie, oramai costano sotto i 1000euri e puoi usare un DB tradizionale. 
Redis è adatto in certi scenari ma non rimpiazza un DB (può in sempre usare un DB relazionale come nosql).

Pietro Battiston <me a pietrobattiston.it> wrote:
>Salve a tutti,
>
>dopo l'ultima discussione in cui sono stato invitato a verificare se ci
>guadagnassi veramente qualcosa a mappare con oggetti le mie tabelle
>SQL,
>mi sono reso conto... che l'SQL era semplicemente lo strumento
>sbagliato
>per me. Ed ho scoperto redis.
>
>L'unico mio problema con redis è che devo usare svariati database
>diversi, che non stanno tutti in memoria. Però posso caricarli quando
>mi
>servono, con redis-dump-load.¹
>
>Qui veniamo alla domanda: per fare ciò, i database devono essere
>salvati
>su disco in formato json (e qui l'efficienza è un problema secondario,
>dato che lo faccio una volta sola) e ricaricati. Ricaricarli è
>un'operazione che mi prende parecchio tempo (nel senso che devo anche
>farla svariate volte). Ha certamente a che fare con il fatto che il mio
>computer non è una scheggia (N.B: il bottleneck non è il disco), però
>comunque mi stupisce che, su due core che ho, l'utilizzo (verificato
>con
>un brutale "top") rimanga intorno al 80% di python + i 35% di redis.
>Non
>ho altri processi impegnino il processore in maniera significativa
>(tant'è che nella successiva fase di analisi dei dati, python è fisso
>al
>100%).
>
>Ho letto che redis può essere nettamente più efficiente se si usa un
>socket unix invece che TCP-IP, ed in effetti provando ho notato un
>certo
>incremento di prestazioni (con il TCP-IP, le cifre erano piuttosto 70%
>di python + 30% di redis).
>
>Sapete dirmi se potrei fare qualcosa di più? O se dovrei arrendermi?
>
>grazie
>
>Pietro
>
>¹ : https://github.com/p/redis-dump-load/
>
>_______________________________________________
>Python mailing list
>Python a lists.python.it
>http://lists.python.it/mailman/listinfo/python

-- 
Sent from my Android phone with K-9 Mail. Please excuse my brevity.
-------------- parte successiva --------------
Un allegato HTML è stato rimosso...
URL: <http://lists.python.it/pipermail/python/attachments/20131215/53fb6e68/attachment.html>