O que é data mining?
Esta página da Web foi traduzida automaticamente para sua conveniência. A SAP não fornece nenhuma garantia em relação à exatidão ou integridade da tradução por máquina. A página original em inglês pode ser encontrada usando o mapa mundial no canto superior direito desta página.
O data mining é o processo de extração de informações úteis de um acúmulo de dados, muitas vezes de um data warehouse ou coleta de conjuntos de dados vinculados. As ferramentas de mineração de dados incluem poderosos recursos estatísticos, matemáticos e analíticos, cujo principal objetivo é examinar grandes conjuntos de dados para identificar tendências, padrões e relacionamentos para dar suporte à tomada de decisões e planejamento informados.
Muitas vezes associado a consultas do departamento de marketing, a mineração de dados é vista por muitos executivos como uma forma de ajudá-los a entender melhor a demanda e ver o efeito que as mudanças nos produtos, preços ou promoções têm sobre as vendas. Mas a mineração de dados também tem benefícios consideráveis para outras áreas de negócios. Engenheiros e designers podem analisar a eficácia das modificações do produto e procurar possíveis causas de sucesso ou falha do produto relacionadas a como, quando e onde os produtos são usados. As operações de serviço e reparo podem planejar melhor o inventário e a ocupação de peças. Organizações de serviços profissionais podem usar a mineração de dados para identificar novas oportunidades de mudanças nas tendências econômicas e mudanças demográficas.
A mineração de dados se torna mais útil e valiosa com conjuntos de dados maiores e com mais experiência do usuário. Logicamente, quanto mais dados, mais insights e inteligência devem ser enterrados lá. Além disso, à medida que os usuários se familiarizam com as ferramentas e entendem melhor o banco de dados, mais criativos eles podem ser com suas explorações e análises.
Por que usar data mining?
O principal benefício da mineração de dados é seu poder de identificar padrões e relações em grandes volumes de dados provenientes de múltiplas fontes. Com cada vez mais dados disponíveis – de fontes tão variadas quanto mídias sociais, sensores remotos e relatórios cada vez mais detalhados de movimentação de produtos e atividade de mercado – a mineração de dados oferece as ferramentas para explorar totalmente o Big Data e transformá-lo em inteligência acionável. Além disso, pode atuar como um mecanismo para “pensar fora do caixa”.
O processo de mineração de dados pode detectar relacionamentos e padrões surpreendentes e intrigantes em bits de informação aparentemente não relacionados. Como a informação tende a ser compartimentalizada, historicamente tem sido difícil ou impossível analisar como um todo. No entanto, pode haver uma relação entre fatores externos – talvez demográficos ou econômicos – e o desempenho dos produtos de uma empresa. E enquanto os executivos analisam regularmente os números de vendas por território, linha de produtos, canal de distribuição e região, eles geralmente não têm contexto externo para essas informações. Sua análise aponta “o que aconteceu”, mas faz pouco para descobrir o “por que aconteceu dessa forma”. O data mining pode preencher esta lacuna.
O data mining pode buscar correlações com fatores externos; enquanto a correlação nem sempre indica causalidade, essas tendências podem ser indicadores valiosos para orientar as decisões de produto, canal e produção. A mesma análise beneficia outras partes da empresa, desde o design do produto até a eficiência operacional e a entrega do serviço.
Histórico de data mining
As pessoas coletam e analisam dados há milhares de anos e, de muitas maneiras, o processo permanece o mesmo: identifique as informações necessárias, encontre fontes de dados de qualidade, colete e combine os dados, use as ferramentas mais eficazes disponíveis para analisar os dados e aproveite o que você aprendeu. Como a computação e os sistemas baseados em dados têm crescido e avançado, também têm as ferramentas para gerenciar e analisar dados. O ponto de inflexão real veio na década de 1960 com o desenvolvimento da tecnologia de banco de dados relacional e ferramentas de consulta de linguagem natural orientada ao usuário, como Structured Query Language (SQL). Os dados não estavam mais disponíveis apenas por meio de programas codificados pelo cliente. Com esse avanço, os usuários de negócios podem explorar seus dados de forma interativa e provocar as gemas ocultas de inteligência enterradas dentro.
A mineração de dados tem sido tradicionalmente um conjunto de habilidades especializadas dentro da ciência de dados. No entanto, cada nova geração de ferramentas analíticas começa a exigir habilidades técnicas avançadas, mas evolui rapidamente para se tornar acessível aos usuários. A interatividade – a capacidade de deixar os dados falarem com você – é o principal avanço. Faça uma pergunta; veja a resposta. Com base no que você aprende, faça outra pergunta. Este tipo de roaming não estruturado através dos dados leva o usuário para além dos limites do projeto de banco de dados específico da aplicação e permite a descoberta de relações que atravessam fronteiras funcionais e organizacionais.
O data mining é um componente-chave do Business Intelligence. As ferramentas de data mining são incorporadas em dashboards executivos, colhendo insights de Big Data, incluindo dados de mídias sociais, feeds de sensores da Internet das Coisas (IoT), dispositivos com reconhecimento de localização, texto não estruturado, vídeo e muito mais. A mineração de dados moderna depende da nuvem e da computação virtual, bem como de bancos de dados in-memory, para gerenciar dados de muitas fontes com boa relação custo-benefício e escalar sob demanda.
Como funciona o data mining?
- Entenda o problema – ou pelo menos a área de inquérito. O tomador de decisões de negócios, que deve estar no comando desta aventura off-road de data mining, precisa ter uma compreensão geral do domínio em que estará trabalhando – os tipos de dados internos e externos que devem fazer parte dessa exploração. Pressupõe-se que eles tenham conhecimento íntimo do negócio e das áreas funcionais envolvidas.
- Coleta de dados. Comece com seus sistemas internos e bancos de dados. Vincule-os por meio de modelos de dados e várias ferramentas relacionais ou reúna os dados em um data warehouse. Isso inclui dados de fontes externas que fazem parte de suas operações, como vendas externas e/ou dados de serviço, IoT ou dados de mídias sociais. Busque e adquira os direitos de dados externos, incluindo dados demográficos, econômicos e inteligência de mercado, como tendências do setor e benchmarks financeiros de associações comerciais e governos. Traga-os para a competência do kit de ferramentas (traza-os para seu data warehouse ou vincule-os ao ambiente de mineração de dados).
- Preparação e compreensão de dados. Use os especialistas de sua empresa para ajudar a definir, categorizar e organizar os dados. Essa parte do processo às vezes é chamada de estruturação ou munição de dados. Alguns dados podem precisar de limpeza ou "limpeza" para remover duplicações, inconsistências, registros incompletos ou formatos desatualizados. A preparação e depuração de dados pode ser uma tarefa contínua à medida que novos projetos ou dados de novos campos de consulta se tornam de interesse.
- Treinamento do usuário. Você não daria a seu adolescente as chaves para a família Ferrari sem que eles passassem pela educação do motorista, treinamento no trânsito e alguma prática supervisionada com um motorista licenciado – portanto, certifique-se de fornecer treinamento formal aos seus futuros mineradores de dados, bem como alguma prática supervisionada, já que eles começam a se familiarizar com essas ferramentas poderosas. A educação continuada também é uma boa ideia, uma vez que eles dominam o básico e podem passar para técnicas mais avançadas.
Técnicas de data mining
Tenha em mente que a mineração de dados é baseada em um kit de ferramentas em vez de uma rotina ou processo fixo. Técnicas específicas de data mining citadas aqui são apenas exemplos de como as ferramentas estão sendo usadas pelas organizações para explorar seus dados em busca de tendências, correlações, inteligência e insight de negócios.
De modo geral, as abordagens de data mining podem ser categorizadas como direcionadas – focadas em um resultado específico desejado – ou não direcionadas como um processo de descoberta. Outras explorações podem ter como objetivo ordenar ou classificar dados, como agrupar clientes potenciais de acordo com atributos empresariais, como setor, produtos, tamanho e localização. Um objetivo semelhante, anomalia ou detecção de anomalia, é um método automatizado de reconhecer anomalias reais (em vez de simples variabilidade) dentro de um conjunto de dados que exibe padrões identificáveis.
Associação
Outro objetivo interessante é a associação – ligar dois eventos ou atividades aparentemente não relacionados. Uma história clássica dos primeiros dias de análise e mineração de dados, talvez fictícia, tem uma cadeia de lojas de conveniência descobrindo uma correlação entre as vendas de cerveja e fraldas. Especulando que pais novos que saem correndo no final da noite para pegar fraldas podem agarrar um par de seis pacotes enquanto eles estão lá. As lojas posicionam a cerveja e as fraldas em estreita proximidade e aumentam as vendas de cerveja como resultado.
Clustering
Esta abordagem tem como objetivo agrupar dados por similaridades em vez de pressuposições predefinidas. Por exemplo, ao minerar as informações de vendas do seu cliente combinadas com dados demográficos e de crédito ao consumidor externo, você pode descobrir que seus clientes mais lucrativos são de cidades de médio porte.
Grande parte do tempo, a mineração de dados é buscada em apoio à previsão ou previsão. Quanto melhor você entender padrões e comportamentos, melhor será o trabalho que você pode realizar na previsão de ações futuras relacionadas a causas ou correlações.
Regressão
Uma das técnicas matemáticas oferecidas em kits de ferramentas de mineração de dados, a análise de regressão prevê um número baseado em padrões históricos projetados para o futuro. Vários outros algoritmos de detecção e rastreamento de padrões fornecem ferramentas flexíveis para ajudar os usuários a entender melhor os dados e o comportamento que eles representam.
Estas são apenas algumas das técnicas e ferramentas disponíveis em kits de ferramentas de mineração de dados. A escolha da ferramenta ou técnica é de certa forma automatizada na medida em que as técnicas serão aplicadas de acordo com a forma como a questão é colocada. Em tempos anteriores, a mineração de dados era referida como "fatiamento e dicagem" do banco de dados, mas a prática é mais sofisticada agora e termos como associação, clustering e regressão são comuns.
Casos de uso e exemplos
O data mining é fundamental para análise de opinião, otimização de preços, marketing de banco de dados, gestão de risco de crédito, treinamento e suporte, detecção de fraudes, diagnósticos médicos e de saúde, avaliação de riscos, sistemas de recomendação (“clientes que compraram isso também gostou… ”), e muito mais. Pode ser uma ferramenta eficaz em praticamente qualquer setor, incluindo varejo, distribuição atacadista, setores de serviços, fabricação, telecomunicações, comunicações, seguros, educação, produção, saúde, bancos, ciência, engenharia e marketing online ou mídias sociais.
- Desenvolvimento de produtos: Empresas que projetam, fabricam ou distribuem produtos físicos podem identificar oportunidades para melhor direcionar seus produtos, analisando padrões de compra juntamente com dados econômicos e demográficos. Seus designers e engenheiros também podem fazer referência cruzada de feedback de clientes e usuários, registros de reparo e outros dados para identificar oportunidades de melhoria de produto.
- Produção: os fabricantes podem rastrear tendências de qualidade, dados de reparo, taxas de produção e dados de desempenho de produtos em campo para identificar preocupações de produção. Eles também podem reconhecer possíveis atualizações de processo que melhorariam a qualidade, economizariam tempo e custo, melhorariam o desempenho do produto e/ou apontariam para a necessidade de equipamentos de fábrica novos ou melhores.
- Setores de serviços: no setor de serviços, os usuários podem encontrar oportunidades semelhantes de melhoria do produto fazendo referência cruzada ao feedback do cliente (direto ou de mídias sociais ou outras fontes) com serviços, canais, dados de desempenho de pares específicos, região, preços, dados demográficos, econômicos e muito mais.
Finalmente, todas essas descobertas devem ser reformuladas para previsão e planejamento, de modo que toda a organização esteja sintonizada com as mudanças antecipadas na demanda com base no conhecimento mais íntimo do cliente – e estar mais bem posicionada para explorar oportunidades recém-identificadas.
Desafios do data mining
- Big Data: os dados estão sendo gerados em ritmo acelerado, oferecendo cada vez mais oportunidades de mineração de dados. No entanto, ferramentas modernas de mineração de dados são necessárias para extrair significado do Big Data, dado o alto volume, a alta velocidade e a grande variedade de estruturas de dados, bem como o crescente volume de dados não estruturados. Muitos sistemas existentes lutam para lidar, armazenar e usar essa inundação de entrada.
- Competência do usuário: as ferramentas de análise e mineração de dados são projetadas para ajudar usuários e tomadores de decisão a tomarem sentido e empolgarem o significado e os insights de grandes volumes de dados. Embora altamente técnicas, essas ferramentas poderosas agora estão empacotadas com excelente design de experiência do usuário para que praticamente qualquer pessoa possa usar essas ferramentas com treinamento mínimo. No entanto, para obter plenamente os benefícios, o usuário deve compreender os dados disponíveis e o contexto de negócios das informações que está buscando. Eles também devem saber, pelo menos em geral, como funcionam as ferramentas e o que podem fazer. Isso não está além do alcance do gerente ou executivo médio, mas é um processo de aprendizagem e os usuários precisam se esforçar para desenvolver esse novo conjunto de habilidades.
- Qualidade e disponibilidade de dados: com grandes volumes de novos dados, há também massas de dados incompletos, incorretos, enganosos, fraudulentos, danificados ou apenas dados simples e inúteis. As ferramentas podem ajudar a classificar tudo isso, mas os usuários devem estar continuamente cientes da fonte dos dados e de sua credibilidade e confiabilidade. Preocupações com a privacidade também são importantes, tanto no que se refere à aquisição dos dados quanto ao cuidado e manuseio uma vez que esteja em sua posse.
Expanda sua expertise
em gerenciamento de dados
Compreender o processo de gerenciamento de dados e seus benefícios.
Mais nesta série
Perguntas frequentes sobre data mining
A mineração de dados é o processo de utilização de ferramentas analíticas avançadas para extrair informações úteis de um acúmulo de dados. Machine Learning é um tipo de IA (inteligência artificial) que permite que os sistemas aprendam com a experiência. A mineração de dados pode fazer uso do aprendizado de máquina, quando os programas analíticos têm a capacidade de adaptar suas funcionalidades em resposta à análise de dados que realizam.
Análise ou análise de dados são termos gerais para o amplo conjunto de práticas focadas em identificar informações úteis, avaliá-las e fornecer respostas específicas. A mineração de dados é um tipo de análise de dados focada na exploração de grandes conjuntos de dados combinados para descobrir padrões, tendências e relações que podem levar a insights e previsões.
Ciência de dados é um termo que inclui muitas tecnologias de informação, incluindo estatística, matemática e técnicas computacionais sofisticadas como aplicadas a dados. A mineração de dados é um caso de uso para a ciência de dados focada na análise de grandes conjuntos de dados a partir de uma ampla gama de fontes.
Um data warehouse é um conjunto de dados, geralmente de várias fontes (ERP, CRM etc.) que uma empresa combinará no depósito para armazenamento de arquivos e análises amplas, como data mining.
Newsletter SAP Insights
Assine ainda hoje
Receba insights importantes assinando nossa newsletter.