[Pycon] [new paper] "Claudio Masolo" - Machine learning workflow con Apache Airflow

[info a pycon.it]

Title: Machine learning workflow con Apache Airflow
Duration: 60 (includes Q&A)
Q&A Session: 15
Language: it
Type: Talk

Abstract: L’obiettivo principale della talk è quello di dare una risposta alla domanda: “Come posso portare, in produzione, l’algoritmo di machine learning che ho sviluppato?”, proponendo una possibile soluzione per l’implementazione e l'orchestrazione di workflow, in particolare di machine learning, utilizzando Apache Airflow. 
La talk inizierà con una breve introduzione su alcuni strumenti alternativi ad Airflow come: Luigi, Azkaban e Oozie. Verrà poi descritto Airflow più nel dettaglio: quali sono i concetti principali sul quale si basa, che cos’è un DAG, come implementare un DAG e come eseguirlo. Si proseguirà con la descrizione dello use case implementato: workflow per la clusterizzazione di dati. 
Per capire bene il problema di clusterizzazione verrà fatta una breve panoramica degli algoritmi di clusterizzazione e poi verrà descritto, più nel dettaglio, l’algoritmo utilizzato nel workflow. 
L’intervento terminerà con l’analisi dell’implementazione del workflow e una piccola demo.
Perchè partecipare a questa talk? Perchè verrà proposta una possibile implementazione di una pipeline di clusterizzazione dei dati che permette di essere “production ready” in poche righe di codice, attraverso uno strumento che sta diventando uno standard per la creazione e gestione di workflow di analisi dei dati e non solo.


Tags: [u'scikit-learn', u'#airflow', u'bigdata', u'data-analysis', u'Machine Learning']