Imagine as perdas sofridas nas organizações, tanto financeiras quanto de imagem, ocasionadas por uma má gestão dos dados e decisões estratégicas sendo tomadas em cima de informações inconsistentes.
A lista dos desafios é grande:
- Dados incompletos armazenados nas mesmas bases ou em bases separadas;
- Tomadas de decisões erradas por utilização de informações inconsistentes;
- Produção de dados sem definição de responsáveis;
- Dependência de profissionais para o processamento de informações em diversos sistemas com perda de tempo na localização dos dados;
- Custos adicionais em armazenamento de dados irrelevantes ou duplicados para o negócio;
- Foco em ações corretivas ao invés de ações preventivas;
- Dentre tantos outros.
Preocupa-se em verificar se os dados estão sendo desenvolvidos de modo a atender às estratégias da organização: há necessidade de novos dados ou talvez alguns dados deva deixar de serem gerados? Os dados estão sob custódia das pessoas certas? Os sistemas são seguros? A documentação e o conteúdo enviado aos mais diversos usuários estão atualizados? Existe documentação sobre os dados gerados e utilizados? E os dados entregues aos usuários finais estão isentos de erros? Estão completos?
As respostas a essas perguntas não devem estar somente com a área de TI da organização.
Uma solução para os desafios apontados, inclui uma boa implantação de Governança de Dados, onde objetivando o tratamento dos dados, a grande matéria-prima utilizada para a geração de informações para as organizações. A Governança de Dados é a formulação de políticas para otimizar, proteger e alavancar a informação como um bem da empresa alinhando os objetivos de múltiplas funções.
É sabido também que uma Governança de Dados vai muito além da garantia de cadastros isentos de erros.
Podemos dizer então, que a Governança de Dados atua nas funções de: Qualidade de Dados, Metadados, Arquitetura de Dados, Desenvolvimento de Dados, Segurança dos Dados, Documentação e Conteúdo, Dados Mestres e Referência, Business Intelligence e Data Warehouse e Operações com Banco de Dados.
Neste artigo será focada a Qualidade de Dados e uma ferramenta para garanti-la.
QUALIDADE DE DADOS E SEUS PRINCIPAIS BENEFÍCIOS
Informação de qualidade é base essencial do processo decisório nos negócios, ajudando as organizações a manter sua competitividade no mercado. Para tanto, é necessário que os dados tenham confiabilidade e aderência às regras de negócio. Seu valor pode ser demonstrado através de uma série de benefícios, incluindo:
- Receitas melhoradas - Fornece informações precisas sobre clientes e produtos, e ajuda os agentes de vendas a identificar oportunidades de vendas cruzadas.
- Eficiência de custos - Reduz os custos diretos e indiretos, melhorando os processos de negócios e eliminando a necessidade de limpeza manual de dados e soluções alternativas.
- Redução do risco: Reduz o tempo, o risco e o custo das implantações do sistema, facilita a consolidação das fusões e mitiga a necessidade de criação e manutenção de regras complexas.
- Relatórios e Conformidade - Fornece uma plataforma consistente para a governança de qualidade de dados e reforça padrões de dados em sistemas e processos.
O OEDQ (Oracle Enterprise Data Quality) ajuda as organizações a obterem o máximo de valor de seus aplicativos críticos de negócios, oferecendo a eles dados adequados. Essa solução permite que indivíduos e equipes colaborativas identifiquem e resolvam de forma fácil e rápida, quaisquer problemas nos dados subjacentes. Com o OEDQ, as organizações podem identificar novas oportunidades, melhorar a eficiência operacional e cumprir de forma mais eficiente com suas regulamentações.
O OEDQ (Oracle Enterprise Data Quality) fornece às empresas um conjunto integrado de ferramentas para a Qualidade de Dados de ponta a ponta para medir, melhorar e gerenciar a qualidade de dados de qualquer domínio, incluindo dados de clientes e produtos. O OEDQtambém combina poderosos recursos de perfil, limpeza, correspondência e monitoramento, oferecendo facilidade de uso incomparável. Os recursos do Oracle Enterprise Data Quality incluem:
- Recursos dedicados para enfrentar os diferentes desafios da qualidade dos dados do cliente e de produto;
- Perfil de dados avançado para identificar e medir dados de baixa qualidade e identificar requisitos de regras;
- Reconhecimento semântico e baseado em padrões para analisar e padronizar dados com uma baixa estrutura;
- Integração com o Oracle Master Data Management, bem como Oracle Data Integrator Enterprise Edition e Oracle CRM.
Rápido de implementação e de fácil utilização, o OEDQ traz a capacidade de melhorar a qualidade dos dados para todas as partes interessadas em qualquer iniciativa de gerenciamento de dados.
O Oracle Enterprise Data Quality cobre:
Perfis, Auditoria e Painéis
O perfil, a auditoria e os painéis fornecem a compreensão e a visibilidade necessária para iniciar um projeto de qualidade de dados táticos ou uma iniciativa de governança de dados em toda a empresa. Fornece uma base para a compreensão dos problemas de qualidade dos dados e uma base para a construção de regras de qualidade de dados para remediação e prevenção de defeitos, contribuindo na análise do impacto comercial desses problemas. As análises de auditoria sistemática detectam métricas de qualidade chave, dados faltantes, valores incorretos, registros duplicados e inconsistências. Os resultados desses processos de perfil e auditoria são apresentados de forma fácil de entender através de painéis executivos. Usando um navegador web, pode-se monitorar e revisar a qualidade dos dados continuamente em relação às métricas definidas, permitindo desta forma, que os problemas de qualidade de dados sejam rapidamente identificados e tratados antes de começarem a causar problemas significativos, causando impacto diretamente nos negócios, identificando fraquezas em processos de negócios e implementações de tecnologias existentes.
Análise e Padronização
O OEDQ (Oracle Enterprise Data Quality) além de disponibilizar funções para transformar e padronizar dados utilizando dados de referência, também disponibiliza gráficos simples de configuração, funções para campos numéricos, string e dados básicos, funções para dados contextuais, tais como endereços, nomes e números de telefone. Os usuários também podem configurar, empacotar, compartilhar e implantar novas funções rapidamente.
Um grande desafio na análise de dados, é a busca de informações em dados textos, pois raramente são disponíveis de uma forma ordenada. Os problemas típicos incluem:
- Campos construídos, onde uma identificação de cliente pode ser composta por um código de localização, uma referência de cliente e um código de gerente de conta.
- Dados incorretos, como nomes, comentários ou números de telefone em blocos de endereços.
- Dados mal estruturados, como endereços, onde os dados podem fluir de um campo para o outro.
- Campos de notas que armazenam informações que a estrutura de dados não suporta, mas que contenham dados semi-estruturados úteis que normalmente não podem ser analisados ou extraídos.
Todos esses pontos podem ser resolvidos através do OEDQ. Utilizando uma abordagem orientada para marcar ou descrever dados rapidamente, pode-se manipular um único registro através da análise em múltiplos elementos estruturados e padronizar os resultados de acordo com regras pré-definidas. A análise e a tecnologia inovadora de análises de frases permitem que se encontre conhecimentos escondidos em qualquer campo de texto e crie regras para padronizá-lo em dados estruturados.
Combinar e Mesclar
O Matching é um componente chave de muitos projetos de qualidade de dados e pode ser usado para suportar diferentes atividades, como duplicação, prevenção duplicada, consolidação, integração de dados de clientes e gerenciamento de dados mestre (MDM). O OEDQ oferece um poderoso recurso de correspondência que permite identificar registros correspondentes e opcionalmente, vincular ou mesclar registros compatíveis com base em regras.
O OEDQ possui também um conector que permite acesso fácil a dados no Siebel CRM da Oracle. Os recursos de auditoria permitem que você execute regras de qualidade de dados e controle de fluxo em seus processos de qualidade de dados.
Gestão de Caso
O OEDQ automatiza tarefas necessárias de limpeza, porém algumas regras de validação de dados não podem ser cumpridas quando faltam dados ou os dados estão incorretos. Nessa situação, os registros podem ser colocados em uma fila de "gerenciamento de casos" para posterior revisão e correção manual. Claro, que nem todos os problemas de dados valem a pena corrigir, de modo que a fila pode ser priorizada com base em regras de negócios, onde apenas os dados mais importantes sejam tratados. Esta facilidade de gerenciamento de casos é um complemento ideal para uma automação mais "pura" e é especialmente útil para pré-validação e correção de dados como parte de uma migração ou consolidação de sistema, onde os dados defeituosos podem não serem detectados até mesmo depois do go-live, prejudicando a eficácia do novo sistema desde o primeiro dia.
Verificação de Endereços
Muitos problemas de qualidade de dados envolvem nomes e endereços. Uma coisa é garantir que um endereço seja válido no formato, mas outra é verificar se ele realmente existe e é um endereço real. O OEDQ preenche esta lacuna e usa informações de referência de várias autoridades postais em todo o mundo para verificar se os endereços são "reais". Além disso, para endereços verificados, ele também pode retornar um código geográfico para o mapeamento de aplicativos. O sistema pode analisar, padronizar e processar endereços de mais de 240 países - basicamente todos os territórios populados do planeta - e pode lidar com eles em formato estruturado ou não estruturado e em qualquer conjunto de caracteres.
Capacidade de Dados do Produto
No mundo ou na qualidade dos dados, os dados do produto fornecem alguns desafios específicos. As regras que regem os dados do produto são específicas da categoria de produto que está sendo descrito. Por exemplo, as regras de qualidade de dados para resistências são diferentes dos capacitores, que também são diferentes dos interruptores, fixadores e qualquer outra categoria de produto. Cada categoria de produto terá diferentes vocabulários, termos, abreviaturas, valores válidos e padronizações. Além disso, a informação do produto normalmente é comunicada através de campos de descrição não padrão que devem ser reconhecidos e analisados. Combinando esse problema, a maioria dos cenários de qualidade de dados envolvendo dados do produto não abrange apenas uma categoria, mas centenas ou milhares de categorias de produtos.
Para lidar com esse nível de variabilidade, o Oracle Enterprise Data Quality pode usar reconhecimento semântico para reconhecer rapidamente a categoria do produto e aplicar a regra correta baseada no contexto. Com base no contexto, também pode fazer inferências sobre o significado de uma palavra ou frase particular e "aprender" novas regras e context. Uma vez reconhecido de forma adequada, as informações do produto podem ser transformadas e padronizadas, incluindo classificação, atributos e descrições que podem ser gerados em qualquer idioma para consumo em sistemas.
Os dados do produto também apresentam desafios específicos para combinar e mesclar informações contidas em registros e, neste caso, a extensão de dados do produto pode ser usada para identificar e extrair informações importantes do produto e criar um registro de item padronizado.
Integração com Oracle Master Data Management
A qualidade dos dados e os MDM estão altamente inter-relacionados. Os hubs MDM precisam ser carregados com alta qualidade, informações completas e padronizadas. Uma vez que um dado é transformado para se conformar com regras de qualidade de dados relevantes, essa informação deve ser armazenada como dados de referência em um hub. O OEDQ pode ser usados com qualquer solução MDM.
Integração com Oracle Data Integrator
Quando os dados estão sendo movidos entre os sistemas, há uma necessidade distinta de garantir a qualidade, consistência e usabilidade geral dos dados em questão. Por outro lado, pode-se questionar o valor da integração da qualidade de dados e sua consistência. O OEDQ pode ser usado com qualquer integração de dados ou sistema ETL, e já está pré-integrado com o ODI (Oracle Data Integrator). Essa integração permite que os clientes tenham vantagens em seus projetos de integração para implantação simples e rápida como parte de uma solução completa de integração de dados.
O OEDQ permite ainda, que todo o processo de qualidade de dados seja chamado como um serviço da Web em tempo real. Os resultados dos processos de análise e padronização podem ser vistos em painéis gráficos que fornecem uma visão completa, precisa e acessível.
Foque sempre na melhoria continua e divulgue internamente a importância da qualidade dos dados como estratégia do negócio para a organização.
Até a próxima!
[author] [author_image timthumb='on']https://docmanagement.com.br/wp-content/uploads/2018/03/Ricardo-Toledo-thumbnail.jpg[/author_image] [author_info]Ricardo Toledo
Senior Sales Consultant[/author_info] [/author]
