Com o crescimento do Business Intelligence (BI), observamos diferentes arquiteturas cada vez mais ágeis, com alto volume de dados para suporte à tomada de decisões, oriundos de diferentes fontes e plataformas. É aqui que se encaixam as tecnologias e métodos para ETL (do inglês, Extract-Transformation-Load).
As ferramentas de ETL permitem acessar dados de várias origens (sources), transformá-los de acordo com as regras e validações do negócio e carregá-los nos mais variados sistemas de destino (targets). Elas oferecem benefícios significativos, tais como controles especiais de carga, performance, conectividade com diversos tipos de sources e targets, além de uma interface de desenvolvimento amigável.
Vale mencionar que, como em outros tipos de projetos, é essencial que se tenha claro os requisitos de negócio. Ademais, deve-se levar em conta que estamos normalmente falando de um grande volume de dados, que podem ser críticos para a tomada de decisão de negócios, por meio de relatórios (reports), ferramentas OLAP (do inglês, Online Analytical Processing) e mineração de dados (data mining).
Vamos tentar contextualizar as etapas desses projetos e de uso dessas ferramentas. Antes de iniciar a extração, é fundamental o entendimento dos dados que precisamos obter e é essencial realizar validações e avaliações prévias e iniciais aos processos ETL. A partir do entendimento dos dados, selecionamos quais deles são realmente importantes e necessários para prosseguir nas demais etapas do processo: transformação e efetivamente a carga final.
A etapa mais trabalhosa de todo o processo é a transformação, uma vez que aqui efetivamente a mágica acontece. Nessa etapa, são aplicadas as regras de negócios requeridas para que os destinos sejam alimentados de maneira correta e coerente. Carga, finalmente! A última etapa do processo ETL se concentra na carga de dados no destino. É um processo que deve ser bem pensado para manter desempenho adequado e especialmente a tempestividade dos dados para que possam ser usados na tomada de decisão.
As ferramentas ETL da atualidade possuem meios de garantir boa performance durante os processos, muitas dão suporte para cloud e realizam a integração com as mídias sociais. Um dos maiores desafios hoje para a prática de ETL é o custo para os projetos, influenciado por possíveis práticas inadequadas durante o desenvolvimento do projeto, mesmo utilizando ferramentas robustas. O retorno do investimento das iniciativas de ETL virá pela automatização de tarefas repetitivas que consumiriam horas de serviços profissionais e pela melhor qualidade da gestão propiciada pela tomada de decisão com dados entregues na hora certa e de maneira correta.
*João Carlos Junior é analista de sistemas da GFT, companhia de Tecnologia da Informação especializada em Digital para o setor financeiro
