Veri ambarı (data warehouse) nedir?
Veri ambarı (data warehouse), birçok farklı kaynaktan gelen büyük miktarda veriyi birbirine bağlayan ve uyumlu hale getiren dijital depolama sistemidir.
Veri deposuna genel bakış
Veri ambarı (DW), birçok farklı kaynaktan gelen büyük miktarda veriyi birbirine bağlayan ve uyumlu hale getiren dijital depolama sistemidir. İş zekası (BI), raporlama ve analitikleri beslemenin yanı sıra düzenleyici gereksinimleri desteklemektir. Böylece şirketler verilerini içgörülere dönüştürebilir ve akıllı, verilere dayalı kararlar alabilirler. Veri ambarları, mevcut ve geçmiş verileri tek bir yerde saklar ve bir organizasyon için tek bir asıl kaynak görevi görür.
Veriler; operasyonel sistemlerden (ERP ve CRM gibi), veritabanlarından ve iş ortağı sistemleri, Nesnelerin İnterneti (IoT) cihazları, hava durumu uygulamaları ve sosyal medya gibi harici kaynaklardan bir veri deposuna akar. Bulut bilişiminin ortaya çıkması manzarada kaymaya neden oldu. Son yıllarda, veri depolama yerleri geleneksel şirket içi altyapıdan şirket içi, özel bulut ve genel bulut dahil olmak üzere birden fazla konuma taşınmıştır.
Modern veri ambarları; videolar, görüntü dosyaları ve sensör verileri gibi hem yapılandırılmış hem de yapılandırılmamış verileri işlemek üzere tasarlanmıştır. Bazıları, güvenilir verilere gerçek zamanlı erişim sağlamak ve güvenli karar vermeyi teşvik etmek için entegre analitiklerden ve bellek içi veri tabanı teknolojisinden (disk depolama yerine bilgisayar belleğinde veri kümesini tutan) yararlanır. Veri ambarı olmadan, heterojen kaynaklardan alınan verileri birleştirmek, analiz için doğru biçimde olduğundan emin olmak ve zaman içinde hem güncel hem de uzun menzilli bir veri görünümü elde etmek çok zordur.
Veri ambarı (data warehouse) nedir?
Data warehouse avantajları
İyi tasarlanmış bir veri ambarı (data warehouse), tüm başarılı iş zekası veya analitik programlarının temelini oluşturur. Temel işi, günümüzde işletmeler için vazgeçilmez hale gelen raporları, gösterge tablolarını ve analitik araçları güçlendirmektir. Veri ambarı, veri temelli kararlarınız için bilgi sağlar ve yeni ürün geliştirmeden stok düzeylerine kadar her şeyi doğru şekilde aramanıza yardımcı olur. Bir veri deposunun birçok avantajı vardır. İşte sadece birkaç tane:
Daha iyi iş analitikleri: Veri ambarı ile karar vericiler birden fazla kaynaktan gelen verilere erişebilirler ve artık eksik bilgilere göre karar vermek zorunda kalmazlar.
Daha hızlı sorgular: Veri depoları özellikle hızlı veri alma ve analiz için inşa edilir. Veri Ambarı ile, BT departmanından destek almadan büyük miktarlarda konsolide edilmiş verileri çok hızlı bir şekilde sorgulayabilirsiniz.
İyileştirilmiş veri kalitesi: Veri Ambarı'na yüklenmeden önce veri temizleme vakaları sistem tarafından oluşturulur ve daha fazla işleme için bir iş listesine girilir. Verilerin analitikleri desteklemek için tutarlı bir biçime dönüştürülmesi ve yüksek kaliteli, doğru verilere dayalı kararlar alınması.
Tarihsel öngörü: Veri ambarı, zengin geçmiş verileri depolayarak karar vericilerin geçmiş trendler ve zorluklar hakkında bilgi edinmesine, tahminler yapmasına ve sürekli iş geliştirmesine olanak sağlar.
Veri kaynağını gösteren veri ambarı ekran görüntüsü.
Veri ambarı ne depolayabilir?
Veri depoları (data warehouses) 1980'lerin sonunda ilk kez popüler olduğunda, insanlar, ürünler ve işlemler hakkında bilgi depolamak için tasarlandılar. Yapılandırılmış veriler olarak adlandırılan bu veriler düzgün bir şekilde düzenlenmiş ve kolay erişim için biçimlendirilmiştir. Ancak işletmeler kısa süre içinde belgeler, resimler, videolar, e-postalar, sosyal medya gönderileri ve makine sensörlerinden ham veriler gibi yapılandırılmamış verileri saklamak, almak ve analiz etmek istediler.
Modern veri ambarı hem yapılandırılmış hem de yapılandırılmamış verilere yer verebilir. İşletmeler, bu veri türlerini birleştirerek ve ikisi arasındaki siloları ayırarak en değerli öngörüler için eksiksiz ve kapsamlı bir tablo elde edebilir.
Bazı anahtar terimler
DW dünyasında anlam ifade edecek birçok terim vardır. İşte en önemlilerinden bazıları. Sözlüğümüzdeki diğer bazı terimleri ve SSS'leri keşfedin.
Veri ambarı ve veri tabanı
Veri tabanları ve veri ambarları hem veri depolama sistemidir, ancak farklı amaçlara hizmet ederler. Veri tabanı genellikle belirli bir iş alanı için verileri depolar. Veri ambarı, işletmenin tamamı için güncel ve geçmiş verileri depolar ve BI ile analitikleri besler. Veri ambarları, bir organizasyonun veri tabanlarından veri çekmek için veri tabanı sunucusunu kullanır ve veri modelleme, veri yaşam döngüsü yönetimi, veri kaynağı entegrasyonu ve daha fazlası için ek işlevlere sahiptir.
Veri ambarı ve veri gölü karşılaştırması
Hem veri ambarları hem de veri gölleri Büyük Veri depolamak için kullanılsa da çok farklı depolama sistemleridir. Veri ambarı, belirli bir amaç için biçimlendirilmiş verileri saklar,veri gölü ise verileri henüz tanımlanmamış ham ve işlenmemiş durumda depolar. Veri ambarları ve göller genellikle birbirini tamamlar. Örneğin, bir gölde depolanan ham veriler bir iş sorusunu yanıtlamak için gerektiğinde, analiz için bir veri deposunda çekilebilir, temizlenebilir, dönüştürülebilir ve kullanılabilir. Veri hacmi, veri tabanı performansı ve depolama fiyatlandırması, doğru depolama çözümünü seçmenize yardımcı olma konusunda önemli rol oynar.
Veri gölü ile karşılaştırılan veri ambarı grafiği.
Veri ambarı ve data mart
Data mart, satış, pazarlama veya finans gibi bir departman veya iş kolu için özel olarak bölümlenmiş veri ambarının alt bölümleridir. Bağımsız operasyonel amaçlar için bazı veri martları da oluşturulur. Veri ambarı tüm şirket için merkezi veri deposu görevi görürken data mart, belirli bir kullanıcı grubuna ilgili verileri sunar. Bu, veri erişimini kolaylaştırır, analizi hızlandırır ve onlara kendi verileri üzerinde kontrol sağlar. Çoklu veri martları genellikle bir veri ambarı içinde dağıtılır.
Bir data mart'ın grafiği ve nasıl çalıştığı.
Veri ambarının temel bileşenleri nelerdir?
Tipik bir veri ambarı dört ana bileşene sahiptir: merkezi bir veritabanı, ETL (ayıklama, dönüştürme, yükleme) araçları, meta veriler ve erişim araçları. Tüm bu bileşenler hızlı bir şekilde sonuç alabilmeniz ve verileri anında analiz edebilmeniz için hızlı bir şekilde tasarlanmıştır.
Veri ambarı bileşenlerini gösteren diyagram.
- Merkezi veri tabanı: Veritabanı, veri deponuzun temeli olarak işlev görür. Geleneksel olarak bunlar, şirket içi veya bulutta çalışan standart ilişkisel veritabanlarıdır. Ancak Büyük Veri, gerçek, gerçek zamanlı performans ihtiyacı ve RAM maliyetinde büyük bir azalma nedeniyle bellek içi veritabanları hızla popülerlik kazanıyor.
- Veri entegrasyonu: Veriler kaynak sistemlerden çekilir ve ETL (veri çekme, dönüştürme, yükleme) ve ELT gibi çeşitli veri entegrasyonu yaklaşımlarının yanı sıra gerçek zamanlı veri çoğaltma, toplu yükleme işleme, veri dönüştürme ve veri kalitesi ile zenginleştirme hizmetleri kullanılarak hızlı analitik tüketim için bilgileri uyumlu hale getirmek üzere değiştirilir.
- Meta veri: Meta veriler, verilerinizle ilgili verilerdir. Veri deponuzdaki veri kümelerinin kaynağını, kullanımını, değerlerini ve diğer özelliklerini belirtir. Verilerinize bağlam ekleyen iş meta verileri ve verilere nasıl erişileceğini (nerede olduğu ve nasıl yapılandırıldığı dahil) açıklayan teknik meta veriler mevcut.
- Veri ambarı erişim araçları: Erişim araçları, kullanıcıların veri deponuzdaki verilerle etkileşim kurmasına olanak sağlar. Erişim araçlarına örnek olarak sorgu ve raporlama araçları, uygulama geliştirme araçları, veri madenciliği araçları ve OLAP araçları verilebilir.
Veri ambarı mimarisi
Geçmişte, veri depoları iş verilerinin akışıyla eşleşen katmanlarda çalışırdı.
Veri ambarı mimarisi grafiği. Tipik bir veri ambarı yukarıdaki üç ayrı katmanı içerir. Günümüzde modern veri ambarları OLTP ve OLAP'ı tek bir sistemde birleştirir.
Veri katmanı: Veriler kaynaklarınızdan çekilir ve daha sonra ETL araçları kullanılarak dönüştürülür ve alt kademeye yüklenir. Alt katman veri tabanı sunucunuzdan, veri martlarınızdan ve veri göllerinizden oluşur. Meta veriler bu katmanda oluşturulur. Verileri sorunsuz bir şekilde birleştirmek ve toplamak için veri sanallaştırma gibi veri entegrasyon araçları kullanılır.
Semantik katman: Orta katmanda, çevrimiçi analitik işleme (OLAP) ve çevrimiçi işlemsel işleme (OLTP) sunucuları hızlı, karmaşık sorgular ve analitikler için verileri yeniden yapılandırır.
Analitik katmanı: Üst katman, ön uç istemci katmanıdır. Kullanıcıların verilerle etkileşimde bulunmasına, gösterge tabloları ve raporlar oluşturmasına, KPI'leri izlemesine, verileri ölçüp analiz etmesine, uygulama oluşturmasına ve daha fazlasına olanak sağlayan veri ambarı erişim araçlarını içerir. Bu katman genellikle veri keşfi ve yeni veri modeli geliştirme için bir çalışma yeri veya sandbox alanı içerir.
Veri depoları, karar vermeyi destekleyecek şekilde tasarlanmıştır ve öncelikle BT ekipleri tarafından oluşturulup sürdürülmüştür, ancak son birkaç yıldır, verilere erişebilmek ve eyleme geçirilebilir öngörüler elde etmek için BT'ye olan bağımlılıklarını azaltarak iş kullanıcılarını güçlendirmek için gelişmişlerdir. Güçlü iş kullanıcılarına sahip birkaç temel veri ambarlama özelliği şunlardır:
- Doğal dil tümcecikleri sağlayan ve herkesin verileri anında anlamasına, veri modelindeki öğeler arasındaki ilişkileri tanımlamasına ve yeni iş bilgileriyle veri alanlarını zenginleştirmesine olanak sağlayan semantik veya iş katmanı.
- Sanal çalışma alanları, ekiplerin tek bir ortak alan ve bir ortak veri kümesi aracılığıyla iş arkadaşlarınızla daha iyi iş birliği yapmayı destekleyen güvenli ve yönetilen tek bir yere veri modelleri ve bağlantıları getirmesine olanak sağlar.
- Bulut, veri analizi görevlerini kolayca gerçekleştirmek için çalışanları zengin bir araç ve özellik kümesiyle global olarak güçlendirerek karar verme sürecini daha da geliştirdi. Bunlar çok fazla BT desteği olmadan yeni uygulamaları ve veri kaynaklarını bağlantılı hale getirebilir.
Bulut veri deposunun ilk yedi avantajı
Bulut tabanlı veri depoları popülerlik açısından - iyi bir nedenle - yükseliyor. Bu modern depolar geleneksel, şirket içi versiyonlar üzerinde çeşitli avantajlar sunmaktadır. Bulut veri deposunun ilk yedi avantajı şunlardır:
- Hızlı dağıtma: Bulut veri ambarı sayesinde yalnızca birkaç tıklamayla neredeyse sınırsız bilişim gücü ve veri depolama satın alabilir; kendi veri deponuzu, veri martlarınızı ve kum kutularınızı dakikalar içinde istediğiniz yerden oluşturabilirsiniz.
- Düşük toplam sahip olma maliyeti (TCO): Veri ambarı hizmet olarak (DWaaS) fiyatlandırma modelleri oluşturulur, böylece yalnızca ihtiyacınız olan kaynaklara ihtiyaç duyduğunuzda ödeme yapabilirsiniz. Uzun vadeli ihtiyaçlarınızı tahmin etmeniz veya yıl boyunca gerekenden fazla hesaplama için ödeme yapmanız gerekmez. Ayrıca pahalı donanım, sunucu odaları ve bakım personeli gibi ön maliyetlerden kaçınabilirsiniz. Depolama fiyatlandırmasını bilişim fiyatlandırmasından ayırmak size masrafları düşürmenin bir yolunu da sunar.
- Esneklik: Bulut veri ambarı ile dinamik olarak gerektiği şekilde yukarı veya aşağı ölçeklenebilirsiniz. Bulut bize, yukarı ve aşağı ölçeklenebilen büyük hacimli verileri yönetebilen sanallaştırılmış, yüksek düzeyde dağıtılmış bir ortam sunar.
- Güvenlik ve olağanüstü durum kurtarma: Birçok durumda, bulut veri ambarları aslında yerinde DW'lerden daha güçlü veri güvenliği ve şifreleme sağlar . Veriler de otomatik olarak çoğaltılır ve yedeklenir. Böylece, kaybolan verilerin riskini en aza indirebilirsiniz.
- Gerçek zamanlı teknolojiler: Bellek içi veri tabanı teknolojisi üzerine kurulan bulut veri depoları, anlık durumsal farkındalık için gerçek zamanlı veri sağlamak üzere son derece hızlı veri işleme hızları sağlayabilir.
- Yeni teknolojiler: Bulut veri depoları, makine öğrenmesi gibi yeni teknolojileri kolayca entegre etmenize olanak sağlar. Bu teknolojiler, iş kullanıcıları için rehberli bir deneyim ve örnek olarak, sorulacak önerilen sorular biçiminde karar desteği sağlayabilir.
- İş kullanıcılarını güçlendirme: Bulut veri ambarları, çalışanları çok sayıda kaynaktan gelen tek bir veri görünümü ve veri analizi görevlerini kolayca gerçekleştirmek için zengin bir araç ve özellik seti ile eşit ve küresel olarak güçlendirir. BT olmadan yeni uygulamaları ve veri kaynaklarını bağlayabilirler.
Veri ambarı; departman, satıcı, bölge ve duruma göre şirket giderlerinin birkaç tanesini adlandırmak için kapsamlı analizlerini destekler.
Veri ambarı en iyi uygulamaları
Yeni bir veri ambarı oluşturduğunuzda veya mevcut bir depoya yeni uygulamalar eklediğinizde zamandan ve paradan tasarruf ederken hedeflerinize ulaşmak için kanıtlanmış adımlar vardır. Bazıları iş kullanımınıza odaklanmıştır ve diğer uygulamalar genel BT programınızın bir parçasıdır. Aşağıdaki liste iyi bir başlangıç noktasıdır ve teknoloji ve hizmet ortaklarınızla çalışırken ek en iyi uygulamaları alırsınız.
İş En İyi Uygulamaları
İstediğiniz bilgileri tanımlayın. İlk ihtiyaçlarınızı iyi anladığınızda bunları destekleyecek veri kaynaklarını bulabilirsiniz. Genellikle ticaret grupları, müşteriler ve tedarikçiler sizin için veri önerilerine sahip olur.
Geçerli verilerinizin konumunu, yapısını ve kalitesini belgeleyin. Ardından, depo ihtiyaçlarınızı karşılamak üzere verileri dönüştürmeye yönelik veri boşluklarını ve iş kurallarını tanımlayabilirsiniz.
Ekip oluşturun. Buna idari sponsorlar, yöneticiler ve bu bilgileri kullanacak ve sağlayacak personel dahildir. Örneğin, işlerini yapmak için ihtiyaç duydukları standart raporlama ve KPI'leri tanımlamak.
Veri ambarı uygulamalarınızın önceliğini belirleyin. Makul gereksinimleri ve iyi iş değeri olan bir veya iki pilot proje seçin.
Güçlü bir veri ambarı teknolojisi muhatabı seçin. Projeleriniz için gerekli uygulama hizmetlerine ve deneyime sahip olmaları gerekir. Hem bulut hizmetleri hem şirket içi seçenekler dahil olmak üzere dağıtım ihtiyaçlarınızı desteklediğinden emin olun.
İyi bir proje planı geliştirin. İletişimi ve durum raporlamayı destekleyen gerçekçi bir kavramsal tasarım ve çizelge üzerinde ekibinizle birlikte çalışın.
BT En İyi Uygulamaları
Performansı ve güvenliği izleyin. Veri deponuzdaki bilgiler değerlidir ancak organizasyona değer kazandırmak için kolayca erişilebilir olmalıdır. Performans düzeylerinin yüksek olduğundan emin olmak için sistem kullanımını dikkatlice izleyin.
Veri kalitesi standartlarının, meta verilerin, yapının ve yönetişimin bakımını yapma. Yeni değerli veri kaynakları rutin olarak kullanılabilir hale geliyor ancak veri ambarının parçası olarak tutarlı bir yönetime ihtiyaç duyuyorlar. Veri temizleme, meta verileri tanımlama ve yönetim standartlarını karşılamaya yönelik prosedürleri izleyin.
Agile mimarisi sağlayın. Kurumsal ve iş birimi kullanımınız arttıkça çok çeşitli data mart ve depo ihtiyaçlarını keşfedeceksiniz. Esnek bir platform onları sınırlı, kısıtlayıcı bir üründen çok daha iyi destekleyecek.
Bakım gibi süreçleri otomatikleştirin. Makine öğrenmesi, iş zekasına değer katmanın yanı sıra hız sağlamak ve işletme masraflarını azaltmak için veri ambarı teknik yönetim işlevlerini otomatik hale getirebilir.
Bulutu stratejik olarak kullanın. İş birimleri ve departmanlar farklı dağıtım ihtiyaçlarına sahip. Gerektiğinde şirket içi sistemleri kullanın ve ölçeklenebilirlik, daha düşük maliyet, telefon ve tablet erişimi için bulut veri depolarından yararlanın.
Özette
Modern veri depoları ve gittikçe artan bulut veri depoları, üst şirketler ve bunların iş birimleri için herhangi bir dijital dönüşüm girişiminin önemli bir parçası olacaktır. Özellikle birden fazla dahili sistemdeki verileri, harici organizasyonların yeni ve önemli bilgileriyle birleştirdiğinizde geçerli iş sistemlerinden yararlanırlar.
Gösterge tabloları, KPI'lar, uyarılar ve raporlama; yönetici, yönetim ve personel gereksinimlerinin yanı sıra önemli müşteri ve tedarikçi ihtiyaçlarını destekler. Veri depoları aynı zamanda hızlı, karmaşık veri madenciliği ve analitikleri sağlar ve diğer iş sistemlerinin performansını kesintiye uğratmaz.
Küçük ve genişlemeye gerektiği şekilde başlama esnekliği göz önüne alındığında, hem kurumsal ofisler hem de iş birimleri modern veri ambarı teknolojisi ile karar alma mekanizmasını ve alt düzey performansı geliştirebilir.
Data warehouse SSS'leri
Modern veri ambarı araçlarını keşfedin
SAP Veri Kümesi, SAP Data Warehouse Cloud'un yeni nesil sürümüdür.
Başka bir yerde bulamayacağınız fikirler
Doğrudan gelen kutunuza iletilen bir doz iş zekası için kaydolun.