데이터 관리란?
데이터 관리는 생산성, 효율성 및 의사결정을 지원하기 위해 데이터를 수집, 정리, 관리 및 액세스하는 작업입니다.
데이터 관리 개요
데이터는 비즈니스의 운영 및 기능에 반드시 필요합니다. 기업은 오늘날의 고도로 연결된 글로벌 경제를 지원하는 다양한 시스템과 기술로 발생하는 복잡함 속에서 데이터를 이해하고 관련성을 찾아야 합니다. 따라서 데이터에 주목해야 합니다. 하지만 데이터는 그 자체로는 쓸모가 없습니다. 기업은 공급망, 직원 네트워크, 고객 및 파트너 에코시스템 등 다양한 영역에서 모든 형태의 데이터를 실용적이고 효율적으로 활용할 수 있는 효과적인 전략과 거버넌스, 데이터 관리 모델이 필요합니다.
데이터 관리 정의 및 프로세스
데이터 관리는 생산성, 효율성 및 의사결정을 지원하기 위해 데이터를 수집, 정리, 관리 및 액세스하는 작업입니다. 오늘날 비즈니스에서 데이터가 차지하는 중추적인 역할을 고려할 때, 효과적인 엔터프라이즈 전략과 최신 데이터 관리 플랫폼은 규모나 업종에 관계없이 모든 기업에게 필수적입니다. 데이터 관리는 엔드투엔드 비즈니스 프로세스 실행, 규정 준수, 정확한 분석 및 AI, 데이터 마이그레이션, 디지털 전환 등 다양한 데이터 기반 사용 사례에 중요합니다.
데이터 관리 프로세스에는 다음과 같은 다양한 업무와 절차가 포함됩니다.
데이터 수집, 처리, 유효성 확인
정형, 비정형 데이터를 비롯해 다양한 소스와 유형의 데이터 통합
비즈니스 표준을 준수하도록 데이터 품질 관리
셀프 서비스, 협업, 데이터 액세스 제공
데이터 보호 및 보안, 데이터 개인정보보호 보장
생성부터 삭제까지 데이터의 수명 주기 관리
데이터 고가용성과 재해 복구 지원
데이터 관리의 핵심 요소
데이터 관리가 중요한 이유
비즈니스에서 사용되는 모든 애플리케이션, 분석 솔루션 및 알고리즘(기술이 문제를 해결하고 작업을 완료할 수 있도록 하는 규칙 및 관련 프로세스)은 고품질 데이터에 대한 원활한 액세스에 달려있습니다. 따라서 데이터 관리 시스템의 핵심은 데이터의 보안, 가용성, 정확성을 보장하도록 지원하는 데 있습니다. 하지만 데이터 관리의 이점은 이것이 전부가 아닙니다.
데이터를 고부가가치 비즈니스 자산으로 전환
너무 많은 데이터는 제대로 관리하지 않으면 압도적이고 쓸모없을 수 있습니다. 여기에 데이터의 다양성, 유통, 수요의 증가까지 더해지면 조직이 데이터를 자산으로 활용하여 디지털 비즈니스 요구사항을 충족하는 데 어려움을 겪는다는 것은 쉽게 알 수 있습니다. 하지만 올바른 툴을 활용하면 데이터를 활용하여 그 어느 때보다 심층적인 인사이트, 더욱 정확한 예측, 혁신적인 비즈니스 프로세스로 기업의 역량을 강화할 수 있습니다. 이를 통해 기업은 고객이 원하는 것을 더 잘 이해할 수 있고, 학습 데이터를 기반으로 탁월한 고객 경험을 제공할 수 있습니다. 또한 학습 모델의 기반이 되는 고품질 데이터의 토대가 없으면 정확하지 않은 생성 AI 기반 서비스 제공과 같은 새로운 데이터 기반 비즈니스 모델을 추진하는 데 도움이 될 수 있습니다.
"데이터 기반이 된다는 것은 상태, 저장소, 액세스, 품질 및 컨텍스트의 복잡성을 처리해야 하는 모든 데이터를 사용하여 조직이 디지털 비즈니스 성공의 핵심인 데이터 기반 열망을 실현할 수 있도록 지원하는 것을 의미합니다."
가트너(Gartner) "2023년을 위한 데이터 관리 솔루션 입문서." Adam Ronthal, Ehtisham Zaidi, 2023년 2월 14일
데이터를 중심으로 하는 조직이 경쟁 우위를 차지한다는 점은 이제 공공연한 비밀입니다. 기업들은 고급 툴을 활용하여 그 어느 때보다 더 많은 소스의 더 많은 데이터를 관리하고 액세스할 수 있습니다. 또한 사물 인터넷(IoT) 장치 데이터, 비디오 및 오디오 파일, 인터넷 클릭스트림 데이터, 소셜 미디어 댓글 등 다양한 유형의 정형 및 비정형 데이터를 실시간으로 활용할 수 있어 데이터를 수익화하고 자산으로 활용할 수 있는 기회가 더 많아집니다.
디지털 혁신을 위한 데이터 기반 마련
대개 데이터는 디지털 혁신의 원천이라고도 말합니다. 이는 사실입니다. 데이터 및 분석(D&A) 리더는 디지털 비즈니스의 요구와 증가하는 데이터 환경의 복잡성(클라우드의 영향 포함)을 충족할 수 있어야 합니다. AI, 머신러닝, 인더스트리 4.0, 고급 분석, IoT, 지능형 자동화는 모두 작업을 수행하려면 적시에 정확하고 안전한 대용량 데이터를 필요로 합니다.
예를 들어, 머신러닝과 생성 AI는 '학습'하고, 복잡한 패턴을 식별하고, 문제를 해결하고, 모델과 알고리즘을 최신 상태로 유지하고 효과적으로 실행하기 위해 매우 크고 다양한 데이터 세트가 필요합니다. 고급 분석(머신러닝과 AI를 활용하는 경우가 많음)도 방대한 양의 고품질 데이터를 바탕으로 관련성 있고 실행 가능한 인사이트를 도출하여 자신 있게 행동에 옮길 수 있습니다. 그리고 IoT 및 산업용 IoT 시나리오에서는 매우 빠른 속도로 전달되는 기계 및 센서 데이터의 지속적인 스트림이 활용됩니다.
모든 디지털 혁신 프로젝트의 공통분모는 바로 데이터입니다. 비즈니스가 프로세스를 혁신하고 새로운 기술을 활용해 지능형 기업으로 거듭나기 위해서는 먼저 견고한 데이터 기반이 필요합니다. 결국, 최신 데이터 관리 시스템이 필요합니다.
데이터 개인정보보호법 준수 보장
우수한 데이터 관리에는 유럽연합 일반 데이터 보호 규정(GDPR)이나 미국의 캘리포니아 소비자 개인정보보호법(CCPA)을 비롯한 국가별, 국제 데이터 개인정보보호법과 산업별 개인정보보호 및 보안 요구사항의 준수도 필수적입니다. 그리고 이러한 보호 조치를 증명 또는 감사하는 과정에서 견고한 데이터 관리 정책 및 절차가 갖춰져 있어야 합니다.
데이터 관리 접근법
데이터 패브릭과 데이터 메시 모두 최근 몇 년 동안 많은 조직에서 데이터 관리 아키텍처를 도입하면서 널리 사용되는 데이터 관리 용어가 되었습니다. 데이터 패브릭 스타일의 아키텍처는 다양한 데이터 소스를 위한 연결 계층을 만들어 엔터프라이즈 전반에서 셀프 서비스, 데이터 액세스 및 데이터 전송을 촉진하기 위한 것입니다. 데이터 패브릭 아키텍처는 최종 사용자 관점에서 데이터를 저장하는 다양한 위치를 추상화하여 기본 아키텍처가 고도로 분산되어 있는 경우에도 그대로 활용할 수 있는 단일 통합 보기를 제공합니다.
데이터 메시
데이터 메시는 분산된 아키텍처 프레임워크를 사용하는 데이터 관리에 대한 접근 방식입니다. 바꿔 말하자면, 비즈니스 전반에 걸쳐 특정 데이터 세트에 대한 소유권과 책임을 해당 데이터의 의미와 최상의 활용 방법을 이해하기 위해 전문지식을 보유한 사용자에게 분배합니다. 데이터 메시 아키텍처는 데이터 레이크 및 웨어하우스와 같은 다양한 소스에서 데이터를 연결하고 추출하여 관련 데이터 세트를 비즈니스 전반의 적절한 인적 전문가와 도메인 팀에 배포합니다. 기본적으로 중앙 데이터 레이크에 있는 방대한 양의 데이터가 관리 가능한 청크로 분류되어 이를 이해하고 활용하는 데 가장 적합한 사람들에게 배포됩니다.
데이터 패브릭
데이터 패브릭은 데이터 아키텍처와 전용 소프트웨어 솔루션의 조합으로, 서로 다른 시스템과 애플리케이션 전반에서 데이터를 중앙 집중화, 연결, 관리, 지배합니다. 데이터 패브릭 솔루션을 사용하면 다양한 시스템과 애플리케이션에서 데이터를 실시간으로 연결하고 관리할 수 있습니다. 따라서 정보의 단일 소스를 구축하고 필요할 때 언제 어디서나 해당 데이터를 사용하고 액세스할 수 있으므로 데이터 관리 프로세스를 민주화하고 자동화할 수 있습니다. 또한 데이터 패브릭은 특히 복잡한 분산 아키텍처에서 데이터를 합리화해, 분석, AI 및 머신러닝 애플리케이션에서 사용할 수 있도록 데이터를 통일, 정리, 보강, 보호합니다. 데이터 패브릭 아키텍처와 솔루션으로 기업은 데이터를 활용하고 시스템을 확장하는 동시에 급변하는 시장에 대응할 수 있습니다.
마스터 데이터 관리(MDM)
마스터 데이터 관리는 제품 데이터, 고객 데이터, 자산 데이터, 재무 데이터 등 중요한 모든 비즈니스 데이터의 신뢰할 수 있는 단일 마스터 참조(단일 버전의 데이터)를 생성하는 분야입니다. MDM은 프로세스, 운영, 분석, 리포팅을 비롯하여 비즈니스의 다양한 부분에서 일관되지 않은 여러 데이터 버전을 사용하지 않도록 도와줍니다. 효과적인 마스터 데이터 관리의 세 가지 핵심 요소는 데이터 통합, 데이터 거버넌스, 데이터 품질 관리입니다.
"비즈니스와 IT 조직이 협력해 기업에서 공유한 공식 마스터 데이터 자산의 균일성, 정확성, 관리, 의미론적 일관성, 책임성을 보장하는 기술 지원 분야이기도 합니다."
MDM에 대한 가트너(Gartner) 정의
데이터 통합
데이터 통합은 데이터가 필요한 위치와 시기에 데이터를 수집, 변환, 결합, 프로비저닝하는 활동입니다. 이러한 통합은 기업 내에서뿐 아니라 파트너와 제3자 데이터 소스 및 적용 사례에도 일어나며 모든 애플리케이션과 비즈니스 프로세스의 데이터 사용 요건을 충족합니다. 통합 기술에는 벌크/배치 데이터 이동, 추출, 변환, 로드(ETL), 변경 데이터 캡처, 데이터 복제, 데이터 가상화, 스트리밍 데이터 통합, 데이터 조율 등이 있습니다.
데이터 검색 및 카탈로그 작성
데이터 검색 및 데이터 카탈로그를 통해 보유하고 있는 데이터를 찾고 데이터의 연관성을 파악할 수 있습니다. 검색은 종종 데이터 프로파일링(그 자체가 데이터의 구조, 콘텐츠 등의 측면에서 데이터의 조감도를 생성하기 위해 존재)의 일부로 제공되며, 여러 (이질적인) 데이터 소스 내 및 여러 데이터 세트 간에 존재하는 서로 다른 데이터 세트의 위치와 그 관계를 나타냅니다. 더 넓게 보면, 데이터 환경을 이해하기 위한 기본적인 툴입니다. 민감한 데이터 검색은 특히 데이터 개인정보 보호, 보안 및 규정 준수를 위해 적절하게 보호할 수 있도록 조직 내에서 개인 데이터 또는 기타 민감한 데이터를 찾고 분류하는 데 관련된 주목할 만한 하위 범주입니다.
데이터 검색은 AI 및 머신러닝과 같은 다른 고급 자동화 기법과 함께 데이터 카탈로그를 구축하는 데도 사용됩니다. 데이터 카탈로그는 데이터 자산에 대한 정보(메타데이터라고도 함)의 리포지토리로, 어떤 데이터가 보관되어 있는지, 어디에 있는지, 어떤 형식인지, 어떤 도메인 내에서 관련성이 있는지 등을 알려줍니다. 이러한 정보는 가능한 한 많이 자동으로 수집되어야 하며, 지역, 시간, 액세스 제어 등에 따라 더 분류할 수 있습니다. 카탈로그는 색인화 및 검색이 가능하며 셀프 서비스 및 협업을 지원합니다. 더욱 포괄적인 카탈로그는 데이터의 물리적 소스뿐 아니라 분석 보고서, 대시보드 등 다양한 파생 소스에서 메타데이터를 수집합니다. 카탈로그는 일반적으로 데이터 준비 툴과 함께 사용되며, 데이터 거버넌스와 협업적인 셀프 서비스 기반 데이터 액세스를 지원하는 데 중요합니다.
데이터 거버넌스, 보안, 규제준수
데이터 거버넌스는 조직 전반의 데이터 가용성, 품질, 규제준수, 보안을 보장하는 일련의 규칙과 책임을 말합니다. 데이터 거버넌스는 인프라를 구축하고 특정 종류 및 유형의 데이터를 처리하고 보호할 권한과 책임을 지닌 조직 내 개인(또는 직위)을 임명합니다. 데이터 거버넌스는 규제준수의 핵심 부분입니다. 이 시스템은 보안, 스토리지, 액세스는 물론 적절한 삭제와 보존의 메커니즘을 관리합니다. 또한 데이터 거버넌스는 데이터가 시스템에 입력되기 전, 사용 중, 다른 곳에서 사용하거나 스토리지에 저장하기 위해 시스템에서 검색할 때 데이터가 처음부터 정확하고 비즈니스 표준을 충족하는지 확인하는 데 도움이 됩니다. 조직 거버넌스는 책임 있는 개인이 데이터를 관리하고 보호하기 위해 프로세스와 기술을 사용하는 방법을 명시합니다.
데이터 보안은 해커, 바이러스, 사이버 공격, 데이터 유출이 빈번한 오늘날의 세계에서 가장 큰 관심사입니다. 시스템과 애플리케이션에 보안 기능이 내장되어 있기는 하지만 데이터 거버넌스는 이러한 시스템이 올바르게 설치 및 관리되어 데이터를 보호하고 여러 절차와 책임을 시행해 시스템과 데이터베이스 외부의 데이터를 보호하는 환경을 보장하기 위해 존재합니다.
기업 데이터 전략은 무엇이고 왜 필요한가?
오늘날 비즈니스 전략은 프로세스를 자동화하고, 고객과 직원 경험을 사용자 지정하고, 새로운 시장이나 인수를 통해 성장을 촉진하고, 혁신을 이루기 위해 데이터에 의존합니다. 따라서 비즈니스 성공은 점점 더 데이터 전략을 비즈니스 전략에 맞추는 데 달려 있습니다. 데이터 전략은 조직의 모든 수준에서 공감을 불러일으켜야 합니다. 비즈니스에 의미와 맥락을 가져야 합니다.
기업은 업무의 우선순위를 정하기 위해 데이터 전략이 필요합니다. 회사에서 생성하고 사용하는 데이터의 양이 크게 증가하고 있다는 것은 누구나 알고 있는 사실입니다. 항상 리소스보다 데이터 문제와 요구 사항이 더 많을 것입니다. 기업은 데이터 전략을 통해 가장 큰 가치를 실현할 수 있는 것을 기준으로 데이터 활동의 우선순위를 정할 수 있는 방법이 필요합니다. 전략은 '살아 숨 쉬는' 것이어야 하며 비즈니스 우선순위와 완전히 일치하면서도 비즈니스의 변화와 성숙에 따라 유연하게 변화할 수 있어야 합니다. 단순히 문서에 있는 단어가 아니라 조직 내에서 '생명력'을 가져야 합니다.
데이터 전략은 비즈니스 성과를 달성하기 위해 구축해야 하는 모든 데이터 역량을 개괄적으로 설명합니다. 여기에는 데이터 관리 역량과 툴뿐 아니라 조직 구조, 데이터 수집 및 데이터 네트워크 전략, 규정 준수 및 윤리 역량과 같은 비즈니스 역량도 포함됩니다. 여러 해에 걸쳐 역량을 개발하기 위한 로드맵을 제시하고, 필요한 비용과 경영진의 지원으로 어떤 역량을 어떤 기간 내에 제공할 수 있을지에 대한 기대치를 설정합니다.
데이터 관리의 진화
효과적인 데이터 관리는 50년이 훨씬 넘는 세월 동안 비즈니스의 성공에 핵심적인 역할을 해 왔습니다. 기업이 정보 리포팅의 정확성을 개선하고 동향을 파악하며 더 나은 의사결정을 내리도록 지원하는 데서부터 디지털 혁신을 이끌고 오늘날의 새로운 기술과 비즈니스 모델에 힘을 불어넣는 일까지 그 역할은 매우 다양합니다. 데이터는 새로운 종류의 자산이 되었으며 미래지향적인 조직은 언제나 데이터를 조직에 유리하게 활용할 새롭고 더 나은 방안을 모색하고 있습니다. 비즈니스와 업계의 관련성을 주의 깊게 탐색하는 데 중요한 데이터 관리의 최신 동향은 다음과 같습니다.
데이터 패브릭: 오늘날 대부분의 조직은 클라우드와 온프레미스에 다양한 유형의 데이터를 배포하여 보유하고 있으며 여러 데이터베이스 관리 시스템, 처리 기술, 툴을 사용합니다. 데이터 패브릭은 아키텍처와 기술의 사용자 정의 조합으로 역동적 데이터 통합과 조율을 사용해 분산된 환경 전체의 데이터에 원활한 액세스와 공유를 지원합니다.
클라우드에서의 데이터 관리: 많은 기업이 데이터 관리 플랫폼의 일부 또는 전체를 클라우드로 이전하고 있습니다. 클라우드에서 데이터를 관리하면 확장성, 고급 데이터 보안, 데이터 액세스 개선, 자동 백업 및 재해 복구, 비용 절감 등 클라우드가 지닌 모든 이점을 활용할 수 있습니다. 클라우드 데이터베이스와 DBaaS(Database-as-a-Service) 솔루션, 클라우드 데이터 웨어하우스, 클라우드 데이터 레이크는 모두 크게 인기를 끌고 있습니다.
상품으로서의 데이터: 제품으로서의 데이터는 내부 데이터를 1차 상품처럼 취급하는 관행을 말하며, 데이터 팀(들), 더 나아가 최고 데이터 책임자 또는 이에 상응하는 임원의 임무는 조직의 나머지 부분에 필요한 데이터를 적시에 적절한 수준의 품질로 제공하는 것입니다. 예를 들어, 더 적시에 더 정확한 분석 인사이트를 얻는 등 일반적으로 데이터를 더 많이 활용할 수 있도록 하는 것이 목표입니다.
증강 데이터 관리: 요즘 새롭게 등장한 동향 가운데 하나는 바로 '증강 데이터 관리'입니다. 증강 데이터 관리는 AI와 머신러닝을 사용해 데이터 관리 프로세스를 스스로 구성하고 스스로 조정할 수 있도록 합니다. 증강 데이터 관리는 데이터 품질 및 마스터 데이터 관리에서 데이터 통합에 이르기까지 모든 것을 자동화하여 숙련된 기술 인력이 더 가치 있는 활동에 집중할 수 있도록 해줍니다.
증강 분석: 증강 분석은 인공지능(AI) 기술, 머신러닝, 자연어 처리(NLP)를 활용해 대부분의 중요 인사이트를 자동으로 찾아낼 뿐 아니라 고급 분석에 대한 액세스를 대중화해 데이터 과학자뿐 아니라 모든 사용자가 데이터에 관해 질문하고 자연스러운 대화의 형태로 답변을 얻을 수 있습니다.
요약
우리는 정보가 데이터에서 파생된다는 사실을 알고 있습니다. 그리고 정보가 힘이라면 데이터를 효과적으로 관리하고 자본화함으로써 기업은 큰 힘을 얻을 수 있습니다. 따라서 데이터 관리 책임과 최고 데이터(및 분석) 책임자의 역할은 클라우드 도입을 추진하고, 새로운 트렌드와 기술을 활용하며, 비즈니스에 전략적 가치를 제공하는 등 조직의 핵심 변화 에이전트로 진화하고 있습니다.