Büyük Veri, sürekli artan oranlarda büyüyen geniş ve çeşitli bilgi kümelerini ifade eder. Geleneksel veri tabanı sistemlerini kullanarak yönetimi zor olan bu geniş bilgi kümesi birden fazla kaynaktan çeşitli şekillerde toplanmaktadır.
İnsanlar, internet üzerinden yaptıkları alışverişler, sosyal medya paylaşımları gibi çevrimiçi faaliyetleri sonucu dijital izler bırakırlar. Bu izler yeni çağın teknolojileri için anlamlı bilgiler içerir ancak bu buzdağının sadece görünen kısmıdır. Büyük veri; dijitalleştirilmiş belgeler, fotoğraflar, videolar, ses dosyaları, sosyal ağ paylaşımları, e-postalar, metin mesajları, telefon kayıtları, arama motoru sorguları, RFID etiketi ve barkod taramaları hatta finansal işlem kayıtlarını içerebilir. Teknolojinin gelişmesiyle veri üreten cihazların sayısı ve türleri de artmaktadır. Kişisel bilgisayarlar, akıllı telefonlar, sağlıkla ilgili verileri izleyen ve bazen paylaşan akıllı saatler, dünyadaki konumumuzu tam olarak belirleyebilen küresel konumlandırma uydu (GPS) cihazları, fotoğrafları ve videoları çevrimiçi olarak paylaşmaya imkân veren kameralar bu cihazların sadece küçük bir kısmını oluşturmaktadır. Farklı cihaz ve kaynaklardan çeşitli şekillerde gelen tüm bu dijital izlerin bilgisayar analiziyle anlamlı bir amaç için kullanılması büyük veri teknolojisinin temelini oluşturmaktadır.
Büyük Verinin Kısa Tarihi
Veri miktarı, en ilkel yazma biçimlerinden en son veri merkezlerine kadar insanlık tarihi boyunca sürekli artmıştır. Sürekli artarak biriken çok miktarda veri karmaşık veri depolama sistemleri gerektirmiştir. Büyük veri, uzun zamandır var olmasına rağmen birçok insan için kafa karıştırıcı bir konu olmuştur. En büyük sorun, büyük veriyi işlemektir. İnsanlık ihtiyaçları doğrultusunda veriyi işlemek için çeşitli yöntemler geliştirmişlerdir.
Antik zamanlarda Mezopotamya’da mahsul ve sürü kayıtları kil tabletler üzerinde tutuluyordu.
Verileri kullanmaya ilişkin en eski kayıtlar, mahsul ve sürülerin büyümesini kaydetmek için Mezopotamya’da muhasebe faaliyetlerinin yapıldığı 7.000 yıl öncesine dayanmaktadır. Bu tarihten günümüze kadar birçok amaçla veri işleme çalışmaları gelişerek ilerlemiştir.
Natural and Political Observations Made upon the Bills of Mortality
1663’te John Graunt Londra’daki ölüm oranları ilgili bilgileri kaydetmiş ve incelemiştir. John Graunt, dönemin ölümcül hastalıklarından bubonik veba için bir anlayış kazanmak ve uyarı sistemi kurmak istemiştir. John Graunt, ilk istatistiksel veri analiz kayıtlarından birisi olan çalışmasından elde ettiği bulgularını, on yedinci yüzyıldaki ölüm nedenlerine dair büyük iç görüler sunan “Natural and Political Observations Made upon the Bills of Mortality” isimli kitabında toplamıştır.
Herman Hollerith ve Çizelge Makinesi
Amerikalı istatistikçi Herman Hollerith, 1890’li yıllarda nüfus sayımı verilerini tablo haline getirmek için kâğıt kartlarına açılan delikleri okuyan devrimsel bir elektrikli makine icat etmiştir. Amerika Birleşik Devletleri’nin nüfus sayımının sekiz yerine bir yılda tamamlamasını sağlayan cihaz, modern veri işleme çağının başlangıcı olarak dünyaya yayılmıştır.
20. yüzyılın ilk büyük veri projesi 1937’de Franklin D. Roosevelt’in ABD’deki yönetimi tarafından IBM şirketi ile birlikte gerçekleştirildi. Sosyal Güvenlik Yasası’nın 1937’de kanun haline gelmesinden sonra, hükümetin 26 milyon Amerikalı ve 3 milyondan fazla işveren katkısını takip etmesi gerekiyordu. Büyük veri projesi için delikli kart okuma makinesi geliştirme sözleşmesini IBM devralmıştır.
Colossus Bilgisayarı
1943 yılında İkinci Dünya Savaşı sırasında nazi kodlarını deşifre etmek için İngilizler tarafından bir veri işleme makinesi geliştirilmiştir. Colossus adlı bu cihaz, yakalanan mesajlardaki kalıpları saniyede 5.000 karakter oranında arayabilme yeteneğine sahipti.
1965 yılında, Birleşik Devletler, 742 milyondan fazla vergi iadesi ve 175 milyon parmak izi seti depolayan ilk veri merkezini kurmaya karar verdi. Bu veri merkezinde kayıtları, manyetik bilgisayar kasetine aktarılarak tek bir yerde depolanacaktı. Proje gerçekleşemedi fakat genel olarak elektronik veri depolama çağının başlangıcını belirledi.
World Wide Web’in mucidi Tim Berners
1989’da İngiliz bilgisayar bilimcisi Tim Berners-Lee sonunda World Wide Web’i icat etti. Bir “köprü (hypertext system )” sistemi ile bilgi paylaşımını kolaylaştırmak istedi. O zamanlarda icadının etkisi çok az biliniyordu. 1990 yılına kadar internete bağlı cihaz sayısının artması ile birlikte büyük veri setlerinin oluşturulmasına başlandı.
Tim O’Reilly tarafından kurulan öğrenim şirketi O’Reilly Media’dan Roger Mougalas 2005’te Web 2.0 terimini kullandıktan bir yıl sonra ilk kez büyük veri terimini kullandı. 2005 yılında aynı zamanda Yahoo tarafından Hadoop oluşturuldu. Hadoop, verileri depolamak ve donanım kümelerinde uygulamaları çalıştırmak için kullanılan açık kaynaklı bir yazılım çerçevesidir. Günümüzde Hadoop, birçok kuruluş tarafından büyük miktarlarda veri toplamak için kullanılmaktadır.
Son birkaç yılda, Büyük Veri girişimlerinde büyük bir artış oldu ve gittikçe daha fazla şirket Büyük Veriye adapte olmaya başladı. Bağlantılı nesnelerin artmasıyla muazzam miktarda veri oluştu ve veri bilimcilere olan ihtiyaç arttı.
Büyük Verinin Faydaları ve Uygulama Alanları
Büyük veri uygulamalarının temel amacı, büyük hacimli verileri analiz ederek şirketlerin daha bilgilendirici iş kararları almasına yardımcı olmaktır. Bu veri kümeleri; web sunucusu günlüklerini, internet tıklama akışı verilerini, sosyal medya içeriği ve etkinlik raporlarını, müşteri e-postalarından gelen metinleri, cep telefonu görüşmesi ayrıntılarını ve çoklu sensörler tarafından yakalanan makine verilerini içerebilir.
Farklı alanlardan gelen organizasyonlar, tüm gizli kalıpları, bilinmeyen korelasyonları, pazar trendlerini, müşteri tercihlerini ve diğer faydalı işletme bilgilerini ortaya çıkarmak için büyük veri uygulamalarına yatırım yapmaktadır. Büyük veri uygulamaları sağlık sektöründen eğitime, medyadan otomotiv endüstrisine hatta devlet yönetimine kadar sınırsız alanda kullanılmaktadır.
Büyük veri sağladığı avantajlar sayesinde günümüzün anahtar teknolojilerinden birisi olmuştur:
Geçmişte, insanlar raporları almak için devasa veri ambarlarından veri çıkarmak, dönüştürmek ve yüklemek için hantal sistemler kullanıyorlardı. Periyodik olarak, tüm sistemler yedek kopyalar oluşturdu ve verileri, raporların çalıştırılabileceği bir veri tabanında birleştirdi. Sorun şu ki veri tabanı teknolojisi büyük miktarda ve sürekli veri akışıyla başa çıkamıyordu. Büyük miktarda veri akışı; verilerin hacminin yönetilememesi, girdi bilgisinin gerçek zamanlı olarak değiştirilememesi vb. birçok problem doğurdu.
Büyük veri çözümleri raporlama ara yüzleri, çıkarım yetenekleri, otomatik dosya, optimize edilmiş veri yapıları ve şirketlerin daha iyi karar vermeleri ve doğru analizleri sunmaları geliştirilmiş bulut sunucuları içermektedir. Şirketler, satış ve pazarlamanın etkinliğini artıran ve daha iyi karar alma ile maliyetleri düşüren büyük veri teknolojisini yoğun bir şekilde kullanmaya başlamıştır.