Veri gölü nedir?
Veri gölü, veri silosu sorunlarının ele alınmasına yardımcı olan merkezi veri havuzudur.
Data Lake'e genel bakış
Özetle, veri gölü bir bilgi havuzudur. Veri gölleri genellikle veri depoları ile karıştırılır, ancak ikisi de farklı iş ihtiyaçlarına hizmet eder ve farklı mimarilere sahiptir. Özellikle bulut veri gölleri, sosyal verilerin, Nesnelerin İnterneti (IoT) makine verilerinin ve işlem verilerinin hızlanmaya devam etmesi açısından modern bir veri yönetimi stratejisinin önemli bir bileşenidir. Herhangi bir veri türünü saklama, dönüştürme ve analiz etme olanağı, yeni iş fırsatları ile dijital dönüşüm için ve burada veri gölü rolünün önünü açıyor.
90
%
Büyük Veri girişimlerinin gelecekteki başarıları belirlediğine inanan finansal kuruluşların oranı
64.2
2020 yılında dijital verilerin zettabaytları oluşturuldu
17.6
B USD
2026 yılına kadar veri gölü pazarının tahmini değeri
Veri gölü tanımı
Veri gölü, veri silosu sorunlarının ele alınmasına yardımcı olan merkezi veri havuzudur. En önemlisi, bir veri gölü, yerel veya orijinal biçiminde çok miktarda ham veri depolar. Bu biçim yapılandırılmış, yapılandırılmamış veya yarı yapılandırılmış olabilir. Veri gölleri, özellikle buluttaki veri gölleri düşük maliyetli, kolayca ölçeklendirilebilir ve genellikle uygulanan makine öğrenmesi analitiği ile kullanılır.
Veri gölüne karşı veri ambarı
Veri gölünün aksine, veri ambarı veri yönetimi özellikleri sağlar ve önceden tanımlanmış iş soruları veya kullanım durumları için işlenmiş olan, işlenmiş ve filtrelenmiş verileri depolar.
Veri gölü ile karşılaştırılan veri ambarı grafiği.
Veri ambarları ve göller genellikle birbirini tamamlar. Örneğin, bir veri gölünde depolanan ham veriler iş sorusunun yanıtlanması için gerektiğinde daha fazla analiz için veri ambarında çekilebilir, temizlenebilir, dönüştürülebilir ve kullanılabilir.
"Veri yuvası", geleneksel veri gölünün üzerine veri yönetimi özellikleri ekleyen yeni ve gelişen bir kavramdır. Özetle veri gölü ve veri ambarı birleşimidir.
Yukarıda belirtilen veri türüne ve süreçteki farklara ek olarak veri ambarı çözümü ile veri gölünü karşılaştıran bazı ayrıntılar aşağıda verilmiştir.
Sonuç olarak veri hacmi, veritabanı performansı ve depolama fiyatlandırması doğru depolama çözümünün seçilmesinde önemli rol oynayacaktır.
Veri gölü çözümünün temel öğeleri
Veri hareketi: Veri gölleri, herhangi bir veri türünün birden fazla kaynaktan yerel biçimde içe aktarılmasına olanak sağlar. Bu, işletmelerin veri yapılarını, şemayı ve dönüştürmeleri tanımlamak zorunda kalmadan gerektiği şekilde veri boyutuna ölçekleme yapmasına olanak sağlar. Bu da genel masraflardan tasarruf edilmesine neden olabilir.
Güvenli depolama ve katalog verileri: Veri gölü; CRM veya ERP yazılımı, IoT cihazları, sosyal medya ve hatta eski sistemlerden gelen geçmiş veriler gibi çeşitli kaynaklardan yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veriler depolar. Veri gölleri, yönetim, güvenlik ve denetim uygularken toplu verileri ve akış verilerini yakalamanıza olanak sağlar. Veriler doğrudan sorgulanabilir veya doğru araçlarla bir veri deposuna yerleştirilebilir.
Analitik ve makine öğrenmesi: Veri gölleri, verileri ayrı bir analitik veritabanına taşımaya gerek kalmadan analiz ve makine öğrenmesi analizi çalıştırmak için bilgilere rol temelli erişime olanak sağlar. Ayrıca veri gölleri, daha iyi ve/veya yeni sonuçlar sağlamak üzere makine öğrenimi veya tahmine dayalı analiz modellerini iyileştirmek için geçmiş verilerin gerçek zamanlı verilerle birleştirilmesine olanak sağlar.
Veri gölleri nasıl çalışır?
Modern veri gölü üç temel özelliğe sahiptir:
- Ham verileriniz için varış bölgesi
- Verilerin analitik amaç göz önünde bulundurularak dönüştürüldüğü bir hazıredim bölgesi
- Analitikler, uygulamalar tarafından ve makine öğrenmesi modellerini beslemek için verilerin kullanıldığı veri keşfi bölgesi
Veri gölünden bilgiler analitik veya diğer iş uygulamaları gibi çeşitli kaynaklara veya daha fazla analiz için makine öğrenmesi araçlarına beslenir.
Veri gölü kullanım durumu
İşte perakendede bir veri gölü kullanım durumuna ilişkin iki örnek.
Uzun vadeli satış verileri; Web sitesi tıklamaları, hava durumu, haberler ve mikro/makroekonomik veriler gibi yapılandırılmamış verilerin yanı sıra veri gölünde depolanır. Bu verilerin birlikte depolanmasını ve erişilebilir olmasını sağlamak, bir veri bilimcinin bu farklı bilgi kaynaklarını belirli bir ürün veya ürün hattı için talebi tahmin edecek bir modelde birleştirmesini kolaylaştırır. Daha sonra bu bilgiler, artan veya azalan üretim planlarının desteklenmesi için perakende ERP sistemine girdi olarak kullanılır.
Pazarlama uzmanı aynı veri gölüne erişebilir ve hangi ürünlere odaklanılacağını ve satış, kâr ve/veya benimsemeyi en üst düzeye çıkarmak için hangi ürünlere odaklanılacağını belirlemek üzere haber, makroekonomik ve satış geçmişi verileriyle web sitesinin ve sosyal medya etkileşiminin duygu analizine bakabilir.
Veri gölü türleri
Veri gölleri, Amazon Web Services (AWS), Microsoft Azure veya Google Cloud gibi birden fazla bulut hiper ölçekleyicisinde, bulutta, bulutta hibrit olarak yer alabilir.
Şimdiye kadar en popüler veri gölü türü bir bulut veri gölüdür. Bulut verileri gölü, tüm normal veri gölü özelliklerini ancak tamamen yönetilen bir bulut hizmeti sunar.
Şirket içi veri gölü: Şirket içi veri gölü ile şirket içi BT mühendisliği kaynakları donanımı, yazılımı ve süreçleri yönetir. Bu yaklaşım daha yüksek bir sermaye gideri (CAPEX) taahhüdüne sahiptir ve veriler silolaşmaya eğilimlidir.
Bulut veri gölü: Bulut veri gölünde, şirket içi altyapı dış kaynaklıdır. Daha yüksek operasyonel gider (OPEX) taahhüdü vardır, ancak bu dağıtım yaklaşımı işletmelerin diğer birçok faydayla birlikte daha kolay ölçeklendirilmesini sağlar (aşağıya bakın).
Karma veri gölü: Belirli durumlarda, bazı şirketler hem şirket içi hem de bulut veri göllerinin bakımını aynı anda yapmayı seçer. Bu durum oldukça nadirdir ve çoğunlukla şirket içinden buluta geçiş senaryoları sırasında görülür.
Çoklu bulut veri gölü: Çok bulutlu veri gölünde iki veya daha fazla bulut teklifi birleştirilir. Örneğin, bir işletme bulut veri göllerini yönetmek ve korumak için hem AWS hem de Azure kullanabilir. Bu ayrı platformların birbirleriyle iletişim kurmasını sağlamak için daha fazla uzmanlık gerektirir.
Bulut veri gölünün en iyi altı avantajı
Bulut veri gölü seçmenin nedeni nedir? Verileri yüksek değerli bir işletme varlığına dönüştürmek dijital dönüşümü teşvik eder. Bulutun güçlü yanları bir veri gölü ile birleştirildi. Bulut veri gölü, şirketlerin eyleme geçirilebilir öngörüler için geçmiş verilerinin yanı sıra günlük dosyaları, tıklamalar, sosyal medya, internet bağlantılı cihazlar ve daha fazlası gibi yeni veri kaynaklarına analiz uygulamalarına izin verir.
Beklemeniz gereken temel avantajlardan bazıları:
- Maliyet verimliliği: Bulut depolama sağlayıcıları birçok depolama alanı ve fiyatlandırma seçeneği sunar.
- Otomatik ölçekleme: Bulut hizmetleri, işletmelerin talep üzerine işlem yapmasına ve depolama kapasitesinden yararlanmasına olanak sağlayan ölçekleme işlevselliği sağlamak üzere tasarlanmıştır.
- Merkezi veri havuzu: Bulut veri gölü, ekipler arasında süreç verimliliğine olanak sağlayan yönetilen veri erişimi ile tek kaynak doğruluğu sağlayan bilgileri bir araya getirir.
- Veri güvenliği: Bulut depolama sağlayıcıları, paylaşılan bir sorumluluk modeli aracılığıyla verilerin güvenliğini garanti eder.
- Araçlar: Bulut depolama sağlayıcıları ve diğer satıcılar, verileri yenileyen, veri kataloğu oluşturan ve veri sorgulama yapabilmek için veri hazırlama, veri dönüştürme ve veri alma işlemleri gerçekleştiren ETL araçları sağlar.
- Yeni öngörüler ve daha iyi iş sonuçları için iyileştirilmiş analitikler: Bulut veri gölü, verileri yeni yöntemlerle birleştirebilir. Örneğin, CRM verileri ve sosyal medya analitikleri, kaybedilme nedenine ilişkin yeni müşteri öngörüleri sağlayabilir veya hangi promosyonların sadakati artırdığını gösterebilir. Ayrıca, IoT verilerinin analizi yoluyla operasyonel verimlilik artırılabilir.
Veri gölü sık sık sorular sordu
Aşağıdaki veri gölleriyle ilgili bazı SSS'lerimizi inceleyin ve daha fazla tanım için veri yönetimi sözlüğümüzü gözden geçirin.
Veri gölü çözümlerini kullanmaya başlayın
SAP HANA Cloud'daki veri gölü özelliklerini keşfedin.
Başka bir yerde bulamayacağınız fikirler
Doğrudan gelen kutunuza iletilen bir doz iş zekası için kaydolun.