데이터 메시란?
데이터 메시는 분산된 아키텍처 프레임워크를 사용하는 데이터 관리에 대한 접근 방식입니다.
데이터 메시 개요
데이터 메시는 새로운 정보 조회 방법을 나타냅니다. 데이터 자체가 제품, 툴, 목표 달성을 위한 수단이라는 개념에서 탄생했습니다. 기업이 이미 일어난 일을 이해하기 위해 데이터를 수집하고 나중에 분석하는 대상만은 아니라는 얘기죠.
데이터 메시 정의
데이터 메시는 분산된 아키텍처 프레임워크를 사용하는 데이터 관리에 대한 접근 방식입니다. 바꿔 말하자면 비즈니스 전반에 걸쳐 특정 데이터 세트에 대한 소유권과 책임을 해당 데이터의 의미와 최상의 활용 방법을 이해하기 위해 전문지식을 보유한 사용자에게 분배합니다.
데이터 메시 아키텍처는 데이터 레이크 및 웨어하우스와 같은 다양한 소스에서 데이터를 연결하고 추출하여 관련 데이터 세트를 비즈니스 전반의 적절한 인적 전문가와 도메인 팀에 배포합니다.기본적으로, 중앙 데이터 레이크에 있는 방대한 양의 데이터가 정렬되고 관리 가능한 청크로 분류되어 데이터를 이해하고 활용하는 데 가장 적합한 사람들에게 배포됩니다.
데이터 레이크 과제를 위한 데이터 메시 원칙
데이터 레이크와 데이터 메시를 이야기할 때는 본질적으로 빅데이터에 대해 이야기하는 것입니다. 데이터를 '빅데이터'로 만드는 것은 단순히 그 양이 많다는 것만이 아닙니다. 다른 기준 중에서도 빅데이터는 복잡하고 가변적이며 빠르게 생성되고 구조화되지 않은 것으로 정의됩니다.
선형 데이터베이스는 스프레드시트와 같아서 열과 행이 있고 모든 데이터 구성요소가 꼭 들어맞아야 하는 불변의 범주가 있습니다. 기계, 센서, 산업 소스에서 생성되는 데이터 중 일부는 구조화되어 있어 선형 데이터베이스에 깔끔하게 들어맞습니다. 처리해야 하는 데이터의 양이 아무리 많아도 100% 구조화된 데이터라면 빅데이터 기준에 부합하지 않으며 선형 데이터베이스에 보관할 수 있어 필터링과 추출이 비교적 간단합니다.
그러나 점점 더 많은 최신 빅데이터는 비정형 데이터이며 시각적 구성요소, 개방형 텍스트, 심지어 비디오와 리치 미디어로 구성되어 있습니다. 많은 기업에서 이 중요한 데이터는 수천 테라바이트의 정보로 구성될 수 있으며, 표준 선형 데이터베이스에는 저장할 수 없습니다.
데이터 레이크를 활용하세요. 빅데이터의 양이 증가하기 시작하면서 복잡한 데이터를 중앙 리포지토리에 원시 형태로 저장하고 액세스할 수 있는 공간으로 데이터 레이크가 개발되었습니다. 데이터 레이크는 빅데이터 문제에 대한 훌륭한 해결책이지만, 그럼에도 불구하고 약점이 있습니다. 데이터 레이크에는 특정 분석 기능이 부족하여 검색, 인덱싱, 변환, 쿼리 및 분석 기능을 다른 서비스에 의존해야 합니다. 또한 비즈니스 관리 관점에서 데이터 레이크는 다음과 같은 세 가지 추가적인 과제를 안고 있습니다.
1. 복잡한 소유권 데이터 레이크의 소유권은 너무 많은 플레이어가 데이터를 생성하고 액세스할 때 정의하기가 복잡합니다. 역할과 책임이 명확하게 정의되지 않은 경우, 동일한 데이터 세트가 여러 당사자에 의해 다르게 관리될 수 있으며, 이로 인해 불일치가 발생하여 사용하기 어렵게 됩니다. 마찬가지로, 궁극적으로 데이터를 사용하게 될 사람들이 적극적으로 관리하지 않으면 다른 데이터는 방치될 수 있습니다. 데이터 메시 아키텍처는 데이터 거버넌스가 도메인별로 명확하게 분산되어 각 팀이나 도메인 전문가가 생산하고 사용하는 데이터를 관리할 수 있도록 합니다. 이를 뒷받침하기 위해 데이터 메시는 데이터 모델링, 보안 정책 및 규정 준수를 중앙에서 제어할 수 있도록 페더레이션 거버넌스 구조도 사용합니다.
2. 데이터 품질 데이터 레이크는 데이터의 양이 너무 많아지거나 중앙 데이터 관리자가 데이터를 이해하지 못하는 경우 데이터 품질을 보장하지 못할 수 있습니다. 데이터 메시 아키텍처는 기본적으로 데이터를 가치 있는 제품으로 취급하며, 데이터의 품질과 완전성을 데이터 관리의 최우선 순위에 둡니다. 아마도 각 팀은 수집하는 데이터에서 추론하고자 하는 가장 중요한 기준과 문제를 알고 있을 것입니다. 이러한 기준과 우선순위를 아키텍처에 통합함으로써 데이터 메시는 대규모 데이터 세트가 포함되는 경우에도 깨끗하고 최신의 완전한 데이터를 우선순위에 따라 지속적으로 제공할 수 있도록 도와줍니다. 물론 머신러닝 알고리즘을 적용하면 이러한 기준과 그 결과 데이터 세트는 시간이 지남에 따라 점점 더 정확하고 유용해집니다.
3. 병목 현상 데이터 레이크는 중앙 집중식 아키텍처와 전통적으로 어려운 데이터 검색 프로세스 및 프로토콜로 인해 병목 현상을 일으킬 수 있습니다. 이는 일반적으로 대량의 통합 데이터에 대한 제어권이 단일 IT 또는 데이터 관리 팀에 있다는 것을 의미합니다. 그리고 데이터의 양과 검색 수요가 증가함에 따라 이러한 IT 팀은 과도한 업무에 시달리게 됩니다.
또한 데이터 거버넌스 원칙을 준수하고 준수할 수 있도록 데이터를 적절히 검토하고 구조화해야 합니다. 과도한 압박에 직면하면 이러한 규정 준수 단계를 서두르는 경향이 있어 회사에 잠재적인 위험과 손실을 초래할 수 있습니다. 반면에 데이터 메시 아키텍처는 데이터에 더 큰 기득권을 가진 권한이 부여된 전문 사용자에게 액세스 권한과 제어 권한을 부여하는 동시에 엄격한 기본 보안 프로토콜을 사용합니다.
데이터 메시 원칙은 이처럼 증가하는 데이터 레이크 문제에 직접적으로 대응하기 위해 등장했습니다. 분산되고 민주화된 데이터 관리 아키텍처는 필요한 사람이 언제 어디서나 적절한 데이터를 즉시 사용할 수 있도록 보장함으로써 비즈니스를 더 스마트하고 민첩하며 정확하게 만들었습니다. 데이터 메시는 제품으로서의 데이터(data-as-a-product)를 실현하여 장벽을 낮추고 정보의 가치를 우선시하여 팀이 필수 데이터에 방해받지 않고 더 빠르게 액세스할 수 있도록 합니다.
데이터 메시 아키텍처 설명
데이터 메시가 어떻게 데이터를 필수적인 비즈니스 관리 툴로 취급하는 분산형 데이터 아키텍처인지에 대해 설명했습니다. 그리고 중요한 것은 독립적인 팀이 자신의 업무 영역과 전문성 내에서 데이터를 처리하는 동시에 중앙에서 결정한 데이터 관리 관행을 준수한다는 점입니다. 이러한 사고방식의 변화가 데이터 메시의 핵심입니다.
이를 더 잘 이해하기 위해 데이터 메시 아키텍처를 세 가지 주요 구성요소로 볼 수 있습니다:
1. 데이터 소스는 기본 원시 데이터가 공급되는 리포지토리(예: 데이터 레이크)를 나타냅니다 클라우드 IIoT 네트워크, 고객 피드백 양식 또는 스크랩된 웹 데이터에서 수집된 데이터는 네트워크 전반의 사용자가 필요에 따라 참조하고 처리할 원시 입력 데이터입니다. 데이터 레이크 접근법은 이 모든 데이터를 한 곳으로 모으는 반면, 데이터 메시 방법론은 이 원시 데이터의 수집, 스토리지, 처리, 추출에 대한 책임을 여러 책임 도메인에 분산시킵니다.
2. 데이터 메시 인프라는 이러한 정보가 개별 부서 도메인 내에서만 고립되는 것이 아니라 조직의 운영 네트워크 전체에서 정해진 데이터 거버넌스 가이드라인을 준수하면서 자유롭게 공유할 수 있음을 의미합니다. 이는 데이터 메시의 두 가지 핵심 요소의 직접적인 결과로, 셀프 서비스 데이터 플랫폼과 페더레이션 거버넌스입니다. 셀프 서비스 데이터 플랫폼은 각 도메인에서 데이터를 보편적으로 수집, 변환, 처리, 서비스하는 데 필요한 툴과 인프라를 제공합니다. 한편 페더레이션 거버넌스 원칙은 조직 전반의 표준화를 보장하여 모든 도메인 팀 간에 데이터를 손쉽게 상호 운용할 수 있도록 합니다.
3. 데이터 소유자는 데이터 메시의 최종 구성요소이며, 부서 데이터에 대한 규정 준수, 거버넌스, 분류 프로토콜을 적용할 책임이 있습니다. 예를 들어, HR 파일은 특정 보안 프로토콜을 사용하여 저장해야 하며, 이런 용도로 사용해서는 안 되고, 이런 사람에게만 공개해야 합니다. 물론 각 부서마다 부서나 목적에 따라 고유한 데이터 범주와 유형이 있을 것입니다. 데이터 레이크 시스템에서 IT 팀은 레이크에 데이터를 덤프한 모든 다른 데이터 소유자를 위해 이러한 모든 다른 프로토콜과 범주를 처리해야 합니다. 반면, 데이터 메시 아키텍처는 도메인 소유자에게 이러한 문제에 대한 완전한 권한과 제어권을 부여합니다. 왜냐하면 해당 분야 전문가만큼 자신의 데이터를 관리하고 품질 표준을 충족하는지 확인하는 데 능숙한 사람이 없기 때문입니다.
실제 데이터 메시: 누가 사용하고 있으며, 그 이유는 무엇입니까?
데이터 관리 솔루션이 더욱 발전하고 성공하려면 다양한 애플리케이션과 운영에서 사용 가능하고 관련성이 있어야 합니다. 데이터 메시 아키텍처와 사용자 친화성이 향상됨에 따라, 제품 및 도구로서의 데이터에 대한 안전하고 분산된 접근법으로 개선할 수 있는 비즈니스 기능의 범위가 점점 더 넓어지고 있습니다.
다음은 몇 가지 일반적인 비즈니스 사용 사례입니다.
영업: 영업팀의 경우 리드를 확보하고, 육성하고, 성사시키는 것이 가장 중요합니다. 영업 팀원들이 책상에 앉아 관리 업무를 하는 시간이 많을수록, 신규 고객과의 관계를 구축하는 데 할애해야 할 시간은 줄어들게 됩니다. 데이터 메시 아키텍처를 사용하면 영업팀 사용자가 데이터 관리 및 검색 전문가가 아니어도 가장 강력하고 관련성 높은 데이터 세트와 조합을 손쉽게 사용할 수 있습니다. 영업 부서에서 분석할 수 있는 모든 올바른 데이터를 확보하면 보다 실행 가능한 인사이트와 전략으로 전환됩니다.
공급망 및 물류: 현대의 공급망은 엄청난 범위의 중단에 취약합니다. 기업이 빠르게 전환하고 위협과 기회 모두에 민첩하게 대응할 수 있을 때 경쟁 우위를 확보할 수 있습니다. 오늘날 전 세계 공급망 데이터는 고객 피드백부터 IIoT 네트워크, 디지털 트윈에 이르기까지 방대하고 빠르게 유입되고 있습니다. 숙련되고 정통한 공급망 관리자가 이러한 데이터 세트를 실시간으로 큐레이팅하고 드릴다운할 수 있다면 기업은 강력한 인사이트와 통찰력을 얻을 수 있습니다.
제조: 공급망의 일부인 기업의 제조 운영은 급격한 시장 교대근무와 변동이 심한 고객 수요에 똑같이 취약합니다. 과거에는 설계 및 R&D 팀이 다른 부서에서 제공한 과거 고객 데이터에 의존해야 했습니다. 오늘날 데이터 메시를 사용하면 초안 테이블 뒤의 사용자, R&D 및 테스트 팀, 제조 현장까지 실시간 데이터에 액세스할 수 있습니다. 실시간 고객 피드백은 제품 개발에 즉각적인 정보를 제공할 수 있으며, IIoT 네트워크와 디지털 시뮬레이션에서 얻은 최신 인텔리전스를 통해 공장을 더 안전하고, 더 빠르고, 더 효율적으로 운영할 수 있습니다.
마케팅: 오늘날 고객의 요구와 기대는 미래를 형성하고 있으며 전례 없는 속도로 변화하고 성장하고 있습니다. 단일 브랜드는 일반적으로 소셜 미디어, 타겟팅 디지털 광고, 온라인 및 옴니채널 쇼핑 포털에 걸쳐 수많은 소비자 접점을 가지고 있습니다. 현재 시장은 빠른 사용자 지정, 짧은 제품 수명 주기, 엄청난 수준의 선택과 경쟁에 대한 욕구가 점점 더 커지고 있습니다. 이러한 트렌드를 이해하고 활용하려면 마케팅 담당자는 다양한 데이터 세트에 실시간으로 동시에 액세스할 수 있어야 합니다. 과거에는 이를 위해 다른 부서에 데이터를 요청하고 기다려야 했습니다. 하지만 데이터 메시를 설정하면 마케팅 담당자가 원하는 방식으로 데이터를 큐레이팅하고 즉시 액세스할 수 있습니다.
인사 관리: 인사팀은 대량의 매우 복잡하고 민감한 데이터를 관리해야 합니다. 그리고 원격 및 하이브리드 근무 환경이 증가하는 추세에 따라 이러한 데이터는 날로 더 복잡해지고 지리적으로 다양해지고 있습니다. HR 팀이 시급히 파악해야 하는 규정 준수 및 법적 문제는 말할 것도 없습니다. HR 리더는 채용부터 퇴직에 이르기까지 모든 조직에서 가장 광범위하게 이질적인 데이터 집합을 검증, 평가, 분석할 수 있어야 합니다. 데이터 메시 아키텍처는 적절한 보안 프로토콜과 엄격하게 제한된 액세스를 허용하는 동시에 권한이 있는 HR 사용자가 복잡한 내부 프로토콜과 여러 부서의 관료주의에 의존하지 않고 신속하게 데이터와 정보에 액세스할 수 있도록 합니다.
재무: HR과 마찬가지로 재무 및 회계 팀도 엄청나게 중요하고 민감한 데이터를 담당합니다. 최신 ERP 시스템은 인메모리 데이터베이스 기술을 사용하여 최신 리포트, 분석 및 예측을 사용자 지정하는 등 재무 부문에 혁신을 일으키고 있습니다. 하지만 재무팀이 최고의 데이터베이스와 ERP를 사용하고 있더라도 오랫동안 이어져 온 경직된 문화, 무거운 사일로, 관료적이고 구식의 프로세스로 인해 여전히 장애물에 부딪히는 경우가 많습니다. 데이터 메시 아키텍처는 재무 데이터를 보고 관리하는 방식에 근본적인 변화를 가져다주며, 팀이 자체적으로 노후화된 데이터 프로세스를 소유하고 수정할 기회를 가질 때 발생할 수 있는 정체된 사고방식까지 뒤흔들 수 있습니다.
데이터 메시는 단순한 유행어가 아니며 진지하게 받아들여야 할 데이터 전략 트렌드임이 분명합니다. 규모와 업종에 관계없이 모든 기업이 데이터를 사용하여 인사이트와 가치를 창출할 수 있는 방법을 모색하며 데이터 메시를 사용하고 있습니다.
데이터 메시의 이점
과거에는 레거시 데이터베이스와 제한된 데이터 관리 인프라로 인해 데이터가 하나의 중요 보관소에 보관되어 소수의 데이터 관리자의 재량에 따라 관리되어야 하는 것으로 인식되었습니다. 이제 데이터는 비즈니스를 이끄는 원동력이며, 경쟁이 치열한 시대에 데이터를 활용하고 수익을 창출하는 방법을 가장 잘 아는 해당 분야 전문가에게 자유롭게 제공되어야 합니다.
데이터 메시 아키텍처의 주요 장점은 다음과 같이 요약할 수 있습니다.
데이터 접근성 향상. 데이터 메시를 사용하면 조직 내 모든 적임자가 필요한 데이터에 액세스하여 업무에 최선을 다할 수 있습니다.
분석 기능 향상. 데이터를 매일 사용하는 제품으로 간주하면 팀은 계획과 전략에 대해 데이터 우선 접근법을 취하기 시작합니다. 이는 오류를 줄이고 비즈니스 개발에 대한 보다 객관적이고 덜 의견 중심적인 접근법으로 이어집니다.
사용자 지정 가능한 데이터 파이프라인 및 프로세스. 성공을 거두는 데 필요한 고유하고 사용자 지정된 데이터 집합을 큐레이팅해야 하는 엄청난 번거로움 때문에 가장 수익성이 높고 잠재적으로 가장 좋은 프로젝트 중 상당수가 보류되는 경우가 많습니다. 데이터 메시를 사용하면 팀은 기존의 시간이나 리소스 손실 없이 새로운 프로젝트 모델에 빠르게 액세스하고 테스트할 수 있습니다.
병목 현상 감소 가능. 이는 IT 팀과 데이터 소유자 모두에게 분명한 윈윈입니다. 또한, 불만과 짜증의 원인을 줄임으로써 건강한 비즈니스 개발을 방해하는 사일로를 무너뜨리는 데 도움이 될 수 있습니다.
중앙 데이터 관리 팀의 업무 부담 감소. 이는 백로그와 불만을 줄일 뿐만 아니라, 유능한 IT 팀이 더 전문적이고 흥미로우며 수익성 있는 업무에 집중할 수 있는 시간을 확보할 수 있다는 의미이기도 합니다.
데이터 메시 FAQ