Antes de mais nada, o objetivo deste artigo não é, de forma alguma, desencorajar a utilização do Excel no dia a dia. O objetivo é apresentar alguns motivos interessantes para migrar do Excel para KNIME.
A democratização da Ciência de Dados está na pauta de discussão e no planejamento estratégico de empresas de todos os tamanhos.
O Excel está presente em quase todas as empresas e é utilizado nos processos em diferentes níveis de dificuldade.
Nesse artigo vamos apresentar 5 motivos para migrar do Excel para KNIME, para que você repense a forma de utilizar o Excel em sua estratégia de dados, ganhar escala e a performance que milhares de usuários mundiais de KNIME estão conquistando.
1 – Falta de Controle e Segurança
O Excel melhora a cada nova versão, tanto em funcionalidades quanto na capacidade de tratar um número maior de linhas.
Esse volume excessivo de linhas pode aumentar o tempo gasto em atualização de referências e fórmulas.
Como consequência, os usuários começam a subdividir a planilha em vários arquivos menores, aumentando a complexidade para administrar e publicar esses dados.
É inegável a flexibilidade e controle que o Excel entrega. Mas, ao mesmo tempo, existe a facilidade de mover algo do lugar sem perceber o erro.
Ou seja, a cada alteração existe um risco de gerar erros, que se torna muito difícil de perceber no momento.
Com o KNIME os dados processados são mantidos em sigilo, protegidos e com o acesso restrito
Os dados que você processa pessoalmente estão sob seu controle e a sua única responsabilidade é mantê-los confidenciais.
Os fluxos de trabalho podem enviar dados para arquivos, bancos de dados e até mesmo como um anexo de e-mails.
No entanto, você deve inserir ativamente esse nó em seu fluxo de trabalho e configurá-lo de acordo.
Os dados estão inteiramente sob o controle do autor do fluxo de trabalho.
Diferentemente do Excel, o fluxo de informações no KNIME é por si só a documentação do passo a passo para a geração da informação necessária e pode ser verificado por outras pessoas que tenham acesso ao processo.
2 – Suscetível ao erro humano
Segundo Ray Panko, professor da Universidade do Havaí, 1% ou mais de todas as células de fórmulas contém erros.
Essa estatística afeta tanto planilhas em trabalhos escolares como estudos científicos relevantes como no caso do estudo de economia de Harvard que continha um erro matemático.
Em muitas organizações, gasta-se um tempo significativo todos os meses para executar tarefas manuais repetitivas em planilhas.
Essas tarefas consomem tempo e estão sujeitas a erros humanos. Além disso, a maioria dos processos do Excel não é bem documentada, não pode ser escalonada facilmente e muitos não são fáceis de centralizar devido a regras e nuances de negócios.
Esses processos também não são facilmente codificados por TI, pois envolvem métodos financeiros complexos criados por profissionais de finanças.
A centralização dos processos financeiros em várias equipes de contas apresentou uma oportunidade de otimizar e aumentar a eficiência, permitindo que os negócios aumentassem sem um aumento proporcional no custo.
Essa estruturação de processos facilita a inclusão de pontos de controle e validação.
Um exemplo de como implementar esse tipo de controle é o node Ponto de Interrupção (Break point)
Este node interrompe a execução quando a tabela de dados de entrada cumpre uma condição especificada pelo usuário (entrada de dados está vazia, uma variável tem valor especificado, etc…).
3 – Dificuldade em consolidar informações
O uso de uma planilha de Excel para gerar relatórios torna o processo de consolidação demorado.
Os usuários finais geralmente devem coletar dados de vários arquivos, resumi-los e, em seguida, enviar seu relatório aos chefes de departamento por e-mail, mídia de armazenamento portátil ou cópia para uma pasta de rede geralmente compartilhada.
Este procedimento deve ser repetido até que todos os dados tenham chegado aos responsáveis pelas decisões seniores da organização.
Com a centralização de processos, vem o desafio de lidar com cargas de trabalho de pico.
Certos processos manuais, como garantir que os lançamentos contábeis sejam carregados corretamente no sistema, precisam ser automatizados de forma independente para garantir que todas as soluções centralizadas sejam escalonáveis.
Todos os meses, há mais de 600 processos individuais gerenciados por várias equipes de contas – incluindo uploads de acumulação, reconciliações de contas, revisões de cartões de despesas, uploads de orçamentos e muito mais.
Manter o controle de um volume tão grande de entregas críticas não é viável usando planilhas.
Para garantir a entrega e a precisão dos compromissos do cliente, a equipe do CAS criou uma solução de agendamento de transações usando KNIME.
Isso envolveu a criação de um único calendário abrangendo cada processo para cada equipe de conta.
Trabalhando retroativamente a partir do prazo final de cada processo, os marcos foram atribuídos e rastreados para cada etapa de cada tarefa.
A ferramenta fornece visibilidade sobre os próximos prazos, destaca atrasos em potencial e apoia a programação da equipe, considerando os prazos de entrega projetados, fins de semana, feriados legais e férias da equipe.
4 – Dificuldade em validar ou testar
As planilhas nunca foram planejadas para serem usadas para teste.
Não é raro ter dados de planilhas interconectadas e espalhadas por várias pastas, computadores ou até mesmo localizações geográficas.
Mesmo que os locais de todos os arquivos conectados possam ser identificados, pode levar muito tempo para rastrear a lógica das fórmulas de uma célula relacionada para outra.
Ao solucionar problemas de dados suspeitos, problemas semelhantes surgirão.
Já na plataforma KNIME, os fluxos de trabalho podem ser verificados graficamente ou testados com o KNIME Testing Framework.
Os usuários podem comparar facilmente o resultado gerado de um fluxo de trabalho com os resultados esperados (a “mesa dourada”) usando o nó Table Difference Checker.
Para executar o teste automaticamente, selecione o fluxo de trabalho a ser testado.
Clique com o botão direito e selecione “Executar como teste de fluxo de trabalho”.
Isso exibirá um relatório que contém informações sobre todos os nós que falharam – incluindo o Table Difference Checker que falha se os resultados forem diferentes.
Este fluxo de trabalho permite o teste automatizado sem exigir que os dados de teste carregados sejam salvos.
Esta funcionalidade está contida nas caixas azuis (no fluxo de trabalho).
Se tudo estiver funcionando como deveria, o componente “Executar testes se necessário” mudará para o estado executado.
Se houver problemas, este nó reportará um erro, que será visível no relatório se este fluxo de trabalho for executado como um teste.
5 – Impróprio para práticas ágeis
Os arquivos de planilhas eventualmente evoluem para aplicativos desenvolvidos pelo usuário altamente personalizados.
Portanto, quando uma nova pessoa assume o comando de uma mudança, deve-se começar do início.
Criar e produzir com sucesso a ciência de dados no mundo real requer um ambiente abrangente e colaborativo de ponta a ponta que permite que todos, desde o organizador de dados ao proprietário da empresa, trabalhem juntos e incorporem feedback de forma fácil e rápida em todo o ciclo de vida da ciência de dados.
Esta é provavelmente a mensagem mais importante para todas as partes interessadas.
Embora essas funções já existam nas organizações, o verdadeiro desafio é encontrar um ambiente integrativo que permita a todos contribuir com o que sabem e fazem de melhor.
Esse ambiente cobre todo o ciclo e, ao mesmo tempo, permite selecionar e escolher: componentes padrão aqui, um pouco de automação ali e ciência de dados customizada onde você precisa.
E, finalmente, precisamos estar prontos para o futuro.
Precisamos de um ambiente aberto que nos permita adicionar novos dados, formatos e tecnologias de análise à mistura rapidamente.
Para saber em detalhes como migrar do Excel para KNIME, acesse o e-book “Do Excel ao Knime”
Caso queira entender mais sobre a cultura data-driven acesse o nosso BLOG
