Büyük Veri Yazı Dizimizin 1. Bölümü

Birçok veriye sahip bir uygulamanız var. Hem de çok ama çok veri. Fakat bu verileri Büyük Veri (Big Data) olarak mı adlandırmalıyız? Büyük Verinin modern, bazen de korkutucu dünyasına giriş eşiğini geçip geçmediği hakkında kafasında soru işaretleri olan ilk kişi siz değilsiniz. Büyük Veri olarak adlandırmak için 10.000 kayıt mı olmalı? 10 milyon kayıt mı? Bir terabaytlık veri mi?

big data

Bu soruların cevabı, bir sayıdan çok daha karmaşıktır. Evet, verinin hacmi çok büyük bir faktördür ama, aynı zamanda veri karmaşıklığını da göz önünde bulundurmanız gerekir; yeni kayıtlar ne kadar hızlı geliyor ve oluşan tüm bu verilere kullanıcılar tarafından erişim ne kadar hızlı olmalı.

Basit bir tanımla Büyük Veri – Big Data

Metamarkets kurucu ve CEO’su Michael Driscoll’un Büyük Veri için basit bir tanımı var: Dağıtılmış veri. Özetle, veriniz artık tek bir bilgisayarda saklanamaz hale geldiğinde eşiği geçersiniz der. Bunu açıklamakta kullandığı grafik ise şu şekildedir:

Sınıf Boyut Yönetim şekli Nasıl saklanır Örnek
Küçük <10 GB Excel, R Bir makinenin belleğinde Binlerce satış rakamı
Orta 10 GB – 1 TB İndekslenmiş dosyalar, monolitik veritabanı Bir makinenin diskinde Milyonlarca web sayfası
Büyük > 1 TB Hadoop, dağıtılmış veritabanları Birçok makine üzerinde Milyarlarca web tıklaması

Bir diğer yaygın tanım ise veri yönetimindeki mevcut tekniklerin ve teknolojinin artık yeterli gelmemesi halinde Büyük Veri eşiğinin geçildiğini söylemektedir. Örnek verecek olursak, verilerin normal sabit disklerde saklanamaması, veri işleme zamanlarının yavaşlaması, arama ve analiz sürelerinin uzaması, ısınan sunucular, yeni kayıtların gelişinin kayıtların işlenmesinden daha hızlı olması vs. Bu ve benzer sorunların aşılması için daha gelişmiş ve kapsamlı tekniklerin ve teknolojilerin kullanımı gerekmektedir; Spark veya Hadoop gibi çözümler, ETL işlemleri, daha gelişmiş yük dengeleme, daha akıllı arama araçları, vs.

Bu tanımların her ikisi de bize basit bir başlangıç noktası veriyor ancak kolaylık ve maliyet için, dağıtılmış, bulut tabanlı mimarilerin her yerde kullanılması, orta ve büyük arasındaki çizgiyi ciddi derecede bulanıklaştırmakta.

big data

Büyük Verinin 4 V’si

Başka bir Büyük Veri tanımlama yöntemi de, Büyük Verinin 4 V’si olarak adlandırılan tanımdır-  Hacim, Çeşitlilik, Hız ve Doğruluk (Volume, Variety, Velocity, Veracity). IBM’in Büyük Veri & Analitik Merkezi’nde V’leri açıklayan bu yararlı infografiği bulabilirsiniz: http://www.ibmbigdatahub.com/infographic/four-vs-big-data

Hacim veri miktarını belirtir, çeşitlilik türünü ve yapısını ifade eder, hız yeni verinin ne kadar hızlı geldiği ve kullanım için gerekli olduğudur, doğruluk ise verinin ne denli kesin ya da güvenilir olduğunun ölçüsüdür. İlk üç faktörün herhangi bir kombinasyonu Data Science Central’ın şemasında da gösterildiği gibi Büyük Veri dünyasının eşiğini geçen bir uygulamaya işaret eder: http://www.datasciencecentral.com/forum/topics/the-3vs-that-define-big-data

Peki tüm bunlarla ne yapabiliriz? Cloudtweaks’ın bu büyüleyici makale ve infografiğinden yapılan alıntı doğrultusunda her gün 2,5 kentilyon bayt veri –bu 2,5’i izleyen 18 sıfır demek!-  oranında yeni bilgi oluşturuyoruz. Kullandığımız her sistem veya uygulamanın, evveliyatında Büyük Veri ilkelerini takip etmesi gerekeceği zaman çok da uzak değil. Büyük Veri eşiğini tanımlamak için uğraşırken, sistemlerinizin, uygulamalarınızın, teknolojilerinizin, arama araçlarınızın ve altyapınızın, işleyeceğiniz veri miktarı ve kullanıcılarınızın ihtiyaçları için uygun ölçeklenmiş olup olmadığını sormak yerine, belki sadece verilerinizin faydalı veriler olup olmadığını sormanız gerekiyordur. Yoksa verileriniz sunucularınızda sadece yer mi işgal ediyor?

Büyük Veri yazı dizimizin gelecek makalelerinde bu soruyu, Büyük Verinizden en yüksek değeri nasıl elde edebileceğinize, Büyük Verinin devreye girişiyle raporlamanın nasıl etkilendiğine, işletmelerin veri zorlukları ile başa çıkmakta ERP sistemlerinin nasıl yardım ettiğine ve sisteminizin performansını artırmak için hali hazırda kullanabileceğiniz araç ve tekniklere bakarak daha ayrıntılı ele alacağız.

“Büyük Veri Raporlamayı Nasıl Değiştirir” başlıklı bir sonraki makalemiz için ERP HABER’i takip etmeye devam edin.
Referans: abas Blog

Sponsored Content

abas-sponsored

29 ülkede, 65 iş ortağı ve 1.000’den fazla danışmanı ile 3.500′den fazla Küçük ve Orta Ölçekli (KOBİ) müşterisine 35 yıldır hizmet sunan abas, ürünü olan abas ERP ile müşterilerine standart ERP modüllerinin yanı sıra CRM (Müşteri İlişkileri Yönetimi), Mobil Çözümler, Business Apps, BI (İş Zekası), APS (İleri Planlama Çizelgeleme), DMS (Doküman Yönetim Sistemi), Proje Yönetimi, Konfigüratör, e-Fatura, e-Defter ve Webshop çözümlerini de sunmaktadır.