{"id":856,"date":"2016-07-14T14:06:21","date_gmt":"2016-07-14T14:06:21","guid":{"rendered":"http:\/\/hupdata.com\/?p=856"},"modified":"2016-07-14T14:06:21","modified_gmt":"2016-07-14T14:06:21","slug":"machine-bigdata-churn","status":"publish","type":"post","link":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/","title":{"rendered":"Machine Learning em Plataforma de Big Data: Um exemplo pr\u00e1tico."},"content":{"rendered":"

Objetivo<\/strong> deste artigo n\u00e3o \u00e9 discutir teorias de modelos de machinhe learning, mas sim mostrar na pr\u00e1tica como um problema pode ser resolvido utilizando diferentes tecnologias de an\u00e1lise de dados, tais como: Spark, Python, R e KNIME.<\/p>\n

Foi constru\u00edda a seguinte arquitetura de Big Data Analytics para processar os modelos de machine learning apresentados neste artigo:<\/p>\n

<\/p>\n

Este conjunto de plataformas permite desenvolver:<\/p>\n

– Integra\u00e7\u00e3o de dados e ETL
\n– Business intelligence (BI) e Analytics (BA)
\n– Computa\u00e7\u00e3o de alto desempenho
\n– Processamento em Real-time e\/ou em fluxo continuo
\n– Machine learning<\/p>\n

Este workflow feito no KNIME cont\u00e9m alguns dos processamentos apresentados\u00a0neste texto.<\/p>\n

O problema da previs\u00e3o da Perda de cliente (Churn)<\/strong><\/h2>\n

O evento churn, por envolver a perda de clientes, traz um impacto direto na receita e imagem da empresa. Por isso \u00e9 de extrema import\u00e2ncia\u00a0saber com anteced\u00eancia quais os clientes est\u00e3o em risco de deixarem a empresa, para desta forma, desenvolver a\u00e7\u00f5es proativas de reten\u00e7\u00e3o.<\/p>\n

Este \u00e9 um tipo de problema em que modelagem preditiva\u00a0pode contribuir para gerar a\u00e7\u00f5es de reten\u00e7\u00e3o de clientes.<\/p>\n

Este exemplo utilizou dados provenientes de telecom (Churn Analysis<\/a>) contendo informa\u00e7\u00f5es; s\u00f3cio-demogr\u00e1ficas, perfil de utiliza\u00e7\u00e3o dos servi\u00e7os e etc.<\/p>\n

O\u00a0desenvolvimento do modelo de machine learning contemplou as\u00a0seguintes etapas:<\/p>\n

<\/strong><\/p>\n

Obten\u00e7\u00e3o das informa\u00e7\u00f5es<\/strong><\/h2>\n

Os dados foram obtidos atrav\u00e9s da conex\u00e3o com o Apache Hive. O Hive \u00e9 uma infraestrutura de data warehouse<\/em> alicer\u00e7ada no Hadoop. Esta infraestrutura permite fazer sumariza\u00e7\u00e3o e consulta de base dados, \u00fatil especialmente para grandes volumes de dados.<\/p>\n

Pr\u00e9-processamento<\/strong><\/h2>\n

Nesta etapa foi feita a obten\u00e7\u00e3o dos dados e as devidas manipula\u00e7\u00f5es, filtros, transforma\u00e7\u00e3o de vari\u00e1veis, retirada dos missings<\/em>, com o objetivo de preparar os dados para serem consumidos pelos modelos anal\u00edticos.<\/p>\n

Treinamento dos dados<\/strong><\/h2>\n

Os algoritmos de machine learning precisam ser treinados e avaliados. Por isso, para cada processamento dos modelos foram feitas parti\u00e7\u00f5es do conjunto de dados\u00a0(80%) para treinamento e o restante (20%) para avalia\u00e7\u00e3o.<\/p>\n

Avalia\u00e7\u00e3o dos modelos<\/strong><\/h2>\n

Ap\u00f3s o treinamento de um determinado modelo, ainda n\u00e3o h\u00e1 certeza de que este modelo tenha aprendido algo relevante. Por isso \u00e9 necess\u00e1rio fazer uma avalia\u00e7\u00e3o da sua assertividade, antes de aplic\u00e1-lo nos dados reais.<\/p>\n

O teste da avalia\u00e7\u00e3o foi\u00a0realizado\u00a0com base nos resultados do modelo obtidos quando aplicado na amostra de\u00a020% da base de dados, amostra esta\u00a0que foi\u00a0separada para este fim na etapa de treinamento.<\/p>\n

Ap\u00f3s aplicado\u00a0o modelo nesta amostra,\u00a0o resultados \u00e9 confrontado com a realidade. Se o modelo predisse que um determinado cliente apresentaria o Churn e de fato o cliente tenha\u00a0apresentado este evento, ent\u00e3o ocorreu um acerto, caso contr\u00e1rio o modelo errou. A precis\u00e3o foi medidas atrav\u00e9s da \u00e1rea sob a curva ROC,\u00a0onde\u00a0valores mais pr\u00f3ximos de 1 indicam maior assertividade do modelo.<\/p>\n

Curva ROC de processamentos de alguns modelos:<\/p>\n

<\/p>\n

Resultados<\/strong><\/h2>\n

Os resultados apresentados no dashboard<\/em> feito no Spotfire, foram obtidos atrav\u00e9s do processamento do Modelo Random Forests processados no Python.<\/p>\n

Processamentos do Spark, R e KNIME, foram muito semelhantes. A escolha de apresentar o Python no dashboard, n\u00e3o foi baseada em nenhum crit\u00e9rio t\u00e9cnico.<\/p>\n

<\/p>\n

Observando os resultados obtidos atrav\u00e9s das curvas ROCs apresentados nodashboard<\/em>, inota-se que n\u00e3o houveram diferen\u00e7as importantes entre os modelos processados independentemente da tecnologia.<\/p>\n

Se o volume de informa\u00e7\u00f5es fosse maior e\/ou se fossem avaliadas outras caracter\u00edsticas, possivelmente, as tecnologias apresentariam resultados diferentes inclusive em rela\u00e7\u00e3o a performance, ainda que este post, n\u00e3o tenha discutido esta quest\u00e3o.<\/p>\n

Outro resultado interessante foi que o KNIME, possibilitou amig\u00e1vel e eficiente integra\u00e7\u00e3o com o R, Python, Spark e plataforma de Big Data em MapR.<\/p>\n

Em breve promoverei um Webinar que ir\u00e1\u00a0apresentar com um pouco mais de detalhes\u00a0este processo de analytics em Big Data\u00a0.<\/p>\n","protected":false},"excerpt":{"rendered":"

Objetivo deste artigo n\u00e3o \u00e9 discutir teorias de modelos de machinhe learning, mas sim mostrar na pr\u00e1tica como um problema pode ser resolvido utilizando diferentes tecnologias de an\u00e1lise de dados, tais como: Spark, Python, R e KNIME. Foi constru\u00edda a seguinte arquitetura de Big Data Analytics para processar os modelos de machine learning apresentados neste […]<\/p>\n","protected":false},"author":1,"featured_media":857,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[56,66,54,64],"tags":[70,76,78,68,74,72],"class_list":["post-856","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-big-data-pt","category-big-data-platform","category-data-driving","category-machine-learning","tag-hadoop","tag-knime","tag-machine-learning","tag-mapr","tag-python","tag-spark"],"yoast_head":"\nMachine Learning em Plataforma de Big Data: Um exemplo pr\u00e1tico. - HupData<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<meta property=\"og:locale\" content=\"pt_BR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Machine Learning em Plataforma de Big Data: Um exemplo pr\u00e1tico. - HupData\" \/>\n<meta property=\"og:description\" content=\"Objetivo deste artigo n\u00e3o \u00e9 discutir teorias de modelos de machinhe learning, mas sim mostrar na pr\u00e1tica como um problema pode ser resolvido utilizando diferentes tecnologias de an\u00e1lise de dados, tais como: Spark, Python, R e KNIME. Foi constru\u00edda a seguinte arquitetura de Big Data Analytics para processar os modelos de machine learning apresentados neste […]\" \/>\n<meta property=\"og:url\" content=\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/\" \/>\n<meta property=\"og:site_name\" content=\"HupData\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/hupdata\/\" \/>\n<meta property=\"article:published_time\" content=\"2016-07-14T14:06:21+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/hupdata.com\/academy\/wp-content\/uploads\/2016\/07\/0.BannerPost.png\" \/>\n\t<meta property=\"og:image:width\" content=\"701\" \/>\n\t<meta property=\"og:image:height\" content=\"408\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"admin\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"admin\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. tempo de leitura\" \/>\n\t<meta name=\"twitter:data2\" content=\"3 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#article\",\"isPartOf\":{\"@id\":\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/\"},\"author\":{\"name\":\"admin\",\"@id\":\"https:\/\/hupdata.com\/academy\/#\/schema\/person\/b7ef253bdb7cac3e3252ce64fe9d6eaa\"},\"headline\":\"Machine Learning em Plataforma de Big Data: Um exemplo pr\u00e1tico.\",\"datePublished\":\"2016-07-14T14:06:21+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/\"},\"wordCount\":672,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/hupdata.com\/academy\/#organization\"},\"image\":{\"@id\":\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/hupdata.com\/academy\/wp-content\/uploads\/2016\/07\/0.BannerPost.png\",\"keywords\":[\"Hadoop\",\"KNIME\",\"Machine Learning\",\"MapR\",\"Python\",\"Spark\"],\"articleSection\":[\"Big Data\",\"Big Data Platform\",\"Data-Driving\",\"Machine Learning\"],\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/\",\"url\":\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/\",\"name\":\"Machine Learning em Plataforma de Big Data: Um exemplo pr\u00e1tico. - HupData\",\"isPartOf\":{\"@id\":\"https:\/\/hupdata.com\/academy\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/hupdata.com\/academy\/wp-content\/uploads\/2016\/07\/0.BannerPost.png\",\"datePublished\":\"2016-07-14T14:06:21+00:00\",\"breadcrumb\":{\"@id\":\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#breadcrumb\"},\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#primaryimage\",\"url\":\"https:\/\/hupdata.com\/academy\/wp-content\/uploads\/2016\/07\/0.BannerPost.png\",\"contentUrl\":\"https:\/\/hupdata.com\/academy\/wp-content\/uploads\/2016\/07\/0.BannerPost.png\",\"width\":701,\"height\":408},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"In\u00edcio\",\"item\":\"https:\/\/hupdata.com\/academy\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Machine Learning em Plataforma de Big Data: Um exemplo pr\u00e1tico.\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/hupdata.com\/academy\/#website\",\"url\":\"https:\/\/hupdata.com\/academy\/\",\"name\":\"HupData\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\/\/hupdata.com\/academy\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/hupdata.com\/academy\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"pt-BR\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/hupdata.com\/academy\/#organization\",\"name\":\"Hupdaata\",\"url\":\"https:\/\/hupdata.com\/academy\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/hupdata.com\/academy\/#\/schema\/logo\/image\/\",\"url\":\"\",\"contentUrl\":\"\",\"caption\":\"Hupdaata\"},\"image\":{\"@id\":\"https:\/\/hupdata.com\/academy\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/hupdata\/\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/hupdata.com\/academy\/#\/schema\/person\/b7ef253bdb7cac3e3252ce64fe9d6eaa\",\"name\":\"admin\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/hupdata.com\/academy\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/f1456fce0355686d53267eea2add005c?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/f1456fce0355686d53267eea2add005c?s=96&d=mm&r=g\",\"caption\":\"admin\"},\"url\":\"https:\/\/hupdata.com\/academy\/author\/admin\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Machine Learning em Plataforma de Big Data: Um exemplo pr\u00e1tico. - HupData","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"og_locale":"pt_BR","og_type":"article","og_title":"Machine Learning em Plataforma de Big Data: Um exemplo pr\u00e1tico. - HupData","og_description":"Objetivo deste artigo n\u00e3o \u00e9 discutir teorias de modelos de machinhe learning, mas sim mostrar na pr\u00e1tica como um problema pode ser resolvido utilizando diferentes tecnologias de an\u00e1lise de dados, tais como: Spark, Python, R e KNIME. Foi constru\u00edda a seguinte arquitetura de Big Data Analytics para processar os modelos de machine learning apresentados neste […]","og_url":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/","og_site_name":"HupData","article_publisher":"https:\/\/www.facebook.com\/hupdata\/","article_published_time":"2016-07-14T14:06:21+00:00","og_image":[{"width":701,"height":408,"url":"https:\/\/hupdata.com\/academy\/wp-content\/uploads\/2016\/07\/0.BannerPost.png","type":"image\/png"}],"author":"admin","twitter_card":"summary_large_image","twitter_misc":{"Escrito por":"admin","Est. tempo de leitura":"3 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#article","isPartOf":{"@id":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/"},"author":{"name":"admin","@id":"https:\/\/hupdata.com\/academy\/#\/schema\/person\/b7ef253bdb7cac3e3252ce64fe9d6eaa"},"headline":"Machine Learning em Plataforma de Big Data: Um exemplo pr\u00e1tico.","datePublished":"2016-07-14T14:06:21+00:00","mainEntityOfPage":{"@id":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/"},"wordCount":672,"commentCount":0,"publisher":{"@id":"https:\/\/hupdata.com\/academy\/#organization"},"image":{"@id":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#primaryimage"},"thumbnailUrl":"https:\/\/hupdata.com\/academy\/wp-content\/uploads\/2016\/07\/0.BannerPost.png","keywords":["Hadoop","KNIME","Machine Learning","MapR","Python","Spark"],"articleSection":["Big Data","Big Data Platform","Data-Driving","Machine Learning"],"inLanguage":"pt-BR","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/","url":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/","name":"Machine Learning em Plataforma de Big Data: Um exemplo pr\u00e1tico. - HupData","isPartOf":{"@id":"https:\/\/hupdata.com\/academy\/#website"},"primaryImageOfPage":{"@id":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#primaryimage"},"image":{"@id":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#primaryimage"},"thumbnailUrl":"https:\/\/hupdata.com\/academy\/wp-content\/uploads\/2016\/07\/0.BannerPost.png","datePublished":"2016-07-14T14:06:21+00:00","breadcrumb":{"@id":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#breadcrumb"},"inLanguage":"pt-BR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/"]}]},{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#primaryimage","url":"https:\/\/hupdata.com\/academy\/wp-content\/uploads\/2016\/07\/0.BannerPost.png","contentUrl":"https:\/\/hupdata.com\/academy\/wp-content\/uploads\/2016\/07\/0.BannerPost.png","width":701,"height":408},{"@type":"BreadcrumbList","@id":"https:\/\/hupdata.com\/academy\/machine-bigdata-churn\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"In\u00edcio","item":"https:\/\/hupdata.com\/academy\/"},{"@type":"ListItem","position":2,"name":"Machine Learning em Plataforma de Big Data: Um exemplo pr\u00e1tico."}]},{"@type":"WebSite","@id":"https:\/\/hupdata.com\/academy\/#website","url":"https:\/\/hupdata.com\/academy\/","name":"HupData","description":"","publisher":{"@id":"https:\/\/hupdata.com\/academy\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/hupdata.com\/academy\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"pt-BR"},{"@type":"Organization","@id":"https:\/\/hupdata.com\/academy\/#organization","name":"Hupdaata","url":"https:\/\/hupdata.com\/academy\/","logo":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/hupdata.com\/academy\/#\/schema\/logo\/image\/","url":"","contentUrl":"","caption":"Hupdaata"},"image":{"@id":"https:\/\/hupdata.com\/academy\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/hupdata\/"]},{"@type":"Person","@id":"https:\/\/hupdata.com\/academy\/#\/schema\/person\/b7ef253bdb7cac3e3252ce64fe9d6eaa","name":"admin","image":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/hupdata.com\/academy\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/f1456fce0355686d53267eea2add005c?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/f1456fce0355686d53267eea2add005c?s=96&d=mm&r=g","caption":"admin"},"url":"https:\/\/hupdata.com\/academy\/author\/admin\/"}]}},"_links":{"self":[{"href":"https:\/\/hupdata.com\/academy\/wp-json\/wp\/v2\/posts\/856","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/hupdata.com\/academy\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/hupdata.com\/academy\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/hupdata.com\/academy\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/hupdata.com\/academy\/wp-json\/wp\/v2\/comments?post=856"}],"version-history":[{"count":1,"href":"https:\/\/hupdata.com\/academy\/wp-json\/wp\/v2\/posts\/856\/revisions"}],"predecessor-version":[{"id":858,"href":"https:\/\/hupdata.com\/academy\/wp-json\/wp\/v2\/posts\/856\/revisions\/858"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/hupdata.com\/academy\/wp-json\/wp\/v2\/media\/857"}],"wp:attachment":[{"href":"https:\/\/hupdata.com\/academy\/wp-json\/wp\/v2\/media?parent=856"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/hupdata.com\/academy\/wp-json\/wp\/v2\/categories?post=856"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/hupdata.com\/academy\/wp-json\/wp\/v2\/tags?post=856"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}