Büyük veri denince herkesin aklında farklı bir konsept canlanıyor. Sosyal medya ve nesnelerin interneti gibi yeni nesil trendler sayesinde hayatımızın içinde olmasına karşın, görünmez bir kurumsal bariyer neticesinde son kullanıcıların birçoğu büyük veriyi yanlış tanımlıyor. “Büyük veri kaç GB?” diye sormadan önce bizim sorularımıza (ve yanıtlarımıza) göz atmanızda fayda var.

1 – Büyük veri nedir?

Büyük veri sadece çok fazla veri demek değildir. Büyük veri konsepti günümüzün veri tüketim ihtiyaçlarına uygun şekilde hızlı akışa sahip, çok farklı formatlarda saklanması gereken ve bir Excel tablosu gibi düzgün yapılandırılamayan veriyi ifade eder.

2 – Büyük verinin bileşenleri nelerdir?

Bilişim teknolojilerinin ivme kazanmasıyla birlikte veri hacmindeki büyüme katlanarak arttı. On yıl önce bir terabayt muazzam bir depolama alanı demekti; bugün ise standart bir son kullanıcı bilgisayarında daha fazlasını görmek mümkün. Bu yüzden, sadece hacimsel büyüklük baz alındığında büyük veri tanımı eksik kalıyor.

Üretilen verinin akıl almaz boyutlara ulaşması sadece hacimsel bir artışı değil; veri hızı ve çeşitliliği konusunda da zenginleşmeyi beraberinde getiriyor. Bu nedenle 2000’li yılların başında sektör uzmanı Doug Laney tarafından yapılan “büyük veri” tanımının üç temel boyutu bulunuyor.

Hacim

Verinin metin formundan çıkarak video, müzik ve büyük boyutlu görsel gibi yeni formatlara dönüşmesi, depolanması gereken verinin hacmini de hızla artırıyor. Bu verinin tutulduğu veri tabanı büyüdükçe, bu yapıyı desteklemesi gereken uygulamalar ve mimarinin de yeniden tasarlanması gerekiyor. Kimi zaman ise aynı verinin birden fazla açıdan incelenmesi; orijinal veriyi değiştirmeksizin yeni anlamlar çıkarılmasına olanak tanıyor.

Hız

Sosyal medyanın ve gerçek zamanlı veri tüketiminin çığ gibi büyümesi, veriye ilişkin çoğu algının yeniden oluşturulmasına yol açıyor. Bir zamanlar, önceki güne ait veriler “güncel” sayılırken, bugün bu mantığı sadece basılı gazeteler koruyor. Haber kanalları ve radyolar ise haberleri eskiye nazaran çok daha hızlı sunuyor. Dijital uygulama ve servislerde ise hızlı demek, “gerçek zamanlı” demek oluyor. Örneğin direksiyon başına geçtiğinizde harita uygulamasını açıp göz attığınız yol durumu; siz otobana çıkana kadar değişmiş olabiliyor. Sosyal medyada birkaç dakika geç yapılan bir paylaşım krize dönüşebiliyor. Verinin akış hızı, teknolojik altyapının izin verdiği ölçüde “gerçek zamanlı” olmaya yaklaşırken, güncelleme penceresi de saniyenin küçük bir bölümüne sıkışmış durumda. Kısacası büyük veri aynı zamanda “büyük hızda akan veri” anlamına geliyor.

Çeşitlilik

Şirketler için eskiden veri yönetimi demek, Excel tabloları demekti. Bugün ise verinin çok farklı formatlarda saklanmasını gerektiren bir iş akışı mevcut. Excel, CSV, Access ya da metin belgelerinin yanı sıra video, SMS, PDF ya da bir liste olarak yapılandırılmamış bir diğer formatlarda da veri mevcut. Tüm bunların derlenmesi ve içinden şirkete fayda sağlayacak anlamlı bilgilere ulaşılması, iş dünyasının “büyük veri” dediği ve üstesinden gelmek istediği kısmı oluşturuyor. Büyük verinin üçüncü boyutu, “büyük çeşitliliğe sahip veri” oluyor.

3 – Büyük veri neden önemlidir?

Büyük veri sayesinde ne kadar çok veriye sahip olduğunuz değil; o veriyle neler yapabildiğiniz önem kazanır. Günümüzde çoğu şirket, bu konsepti benimseyerek ellerindeki veriyi artırmaya değil; verimli kullanmaya odaklandı ve çeşitli kaynaklardan alınan verinin daha başarılı şekilde analizi maliyet tasarrufu, iş gücü tasarrufu, daha güçlü promosyonlar ya da yeni ürün geliştirme süreçleri gibi pek çok alanda fayda sağladı. Şirketler gerçek veriye dayalı analizler sayesinde daha iyi karar verebilir hale geldiler. Büyük veriyi güçlü bir iş analitiği uygulamasıyla işlediğinizde, neredeyse her sektörde fayda sağlayarak rekabet avantajına dönüştürülebilecek faydalar elde etmek mümkün oluyor.

4 – Büyük veriyi kimler kullanıyor?

Her sektör büyük veriden kendi ölçeğinde faydalanıyor. Ancak son kullanıcıya hizmet eden, kişisel bilgilerin kritik öneme sahip olduğu sektörler büyük veriden çok daha fazla fayda sağlıyor. Bu sektörlerin başında bankacılık geliyor. Bankaların büyük veriyi en verimli halde kullanması iki yönden işe yarıyor; birincisi müşteri beklentilerini daha iyi anlayarak memnuniyet sağlamak. İkincisi de yasal yükümlülüklerle tam uyumluluk göstererek risk ve sahtekarlıkları en aza indirmek.

Kamu sektörünün büyük veriyi verimli biçimde yönetmesi; trafik sorunlarının çözümünden suç oranlarının azaltılmasına kadar pek çok noktada hissedilir değişim getirebiliyor. Eğitim sektöründe de bir yandan genele fayda sağlayacak müfredat ve sistem belirlenirken; diğer yandan bireysel ölçekte her öğrencinin gelişim sürecini takip etmek ve özel programlar hazırlamak mümkün oluyor.

Hasta kayıtları, tedavi takvimleri ve reçetelerle zengin ve hızlı akışa sahip veri kaynaklarına sahip olan sağlık sektörü de büyük verinin nimetlerinden faydalanıyor. Doğru iş uygulamalarını kullanan sağlık kuruluşları, hastaya tüm süreçlerde daha kaliteli ve daha hızlı hizmet sunabiliyor.

5 – Büyük veri nasıl oluşuyor?

Büyük veri denince genelde ilk olarak akla sosyal medya geliyor. Buradaki sınırsız etkileşimden kaynaklı ortaya çıkan yapılandırılmamış veri, özellikle satış ve pazarlama departmanları için cazip bir kaynak oluşturuyor. Ancak binlerce satırlık kişisel paylaşım arasında o kullanıcının tercihleri ve ilgi alanları hakkında anlamlı bilgi verecek veriyi bulmak; samanlıkta iğne aramaya benziyor.

İnternete bağlı cihazlardan merkezi sisteme akan veri de bir büyük veri trafiği oluşturuyor. Nesnelerin İnterneti trendiyle beraber internete bağlı milyarlarca cihazın önümüzdeki yıllarda aktif olarak kullanılması bekleniyor. Sensörler, tarayıcılar, radarlar ve diğer alıcıların ürettiği bu zengin veri setinin çözümlenmesi ve mümkün olduğunca kısa sürede yanıtlanması yine büyük verinin çözüm gerektiren bir zorluğunu oluşturuyor.

6 – Nedir bu yapılandırılmamış veri?

Yapılandırılmamış veriyi daha iyi anlamak için öncelikle “yapılandırılmış” veriyi bilmek gerekiyor. Yapılandırılmış veriye en iyi örnek ise bir Excel dosyası olabilir. Örneğin Excel’de hazırlanmış bir masraf listesi; belirli bir ilişkiler ağı içinde oluşturulmuş, tarih, yer, saat ve diğer pek çok kırılım altında kolayca arama yapılabilen bir veri kaynağıdır. En basit arama motorlarıyla bile bu tablolardan istediğiniz bilgiyi elde etmeniz kolaydır. “Mayıs ayında hangi gün ulaşım harcaması yapılmış” gibi bir sorgunun yanıtı anlık olarak karşınızdadır.

Yapılandırılmamış veride ise bu durumun tam tersi söz konusu. İçerdiği veri bileşenleri arasında tanımlanabilir bir ilişki düzenine sahip olmayan bu tür veri içinde metin bazlı ya da metin bazlı olmayan ham veri bulunuyor. E-posta iletileri, metin bazlı yapılandırılmamış veriye ideal bir örnek teşkil ediyor. Bu iletinin içinde bir tarih, saat, alıcı ve gönderici detayları bulunuyor ancak metin gövdesi tüm bunlardan bağımsız bir içeriğe sahip ve bu içerikten anlamlı bilgiler çıkarmak geleneksel sistemlerle mümkün değil.

7 – Büyük veriden nasıl fayda sağlanıyor?

Büyük veriyi depolamak için kullanılan bulut tabanlı analitik uygulamaları şirketlere önemli ölçüde maliyet tasarrufu sağlıyor. Mevcut veri ambarları ve iş analitiği uygulamalarını büyük veri teknolojileriyle zenginleştiren şirketler, çok farklı depolama fonksiyonları kullanabilir hale geliyor. Örneğin devasa boyutlardaki veriyi bir veri ambarında yüksek maliyetlerle saklamak yerine; şirketler aynı veriyi çok daha ucuza tutuyor ve sadece analitik uygulamaları ihtiyaç duyduğunda veri ambarına taşıyor.

Büyük veri analitiği kurum içindeki karar mekanizmalarına da eşsiz bir destek sunuyor. Büyük ölçekli şirketler büyük veriyi kullanarak daha hızlı ve daha iyi karar verebiliyor. Veriyi disk üzerinde değil, doğrudan bellek üzerinde işleyerek muazzam hızlara ulaşan “bellek içi” iş analitiği sayesinde şirketler anlık veriye dayalı kararlar alarak faaliyet gösterdikleri pazarda rekabet avantajı yakalıyor.