30 Eylül 2015 Çarşamba

Azure ve Machine Learning'de İlk Deneyimim



Bir süredir Sql Server Data Tools 2012'de SSAS üzerinden Veri Madenciliği çalışması yapıyordum.Diğer bir yandan da aklımın bir ucunda Azure Machine Learning bekliyordu.Bugün denemeye karar verdim.Şu bağlantı üzerinden ücretsiz kayıt yaptırdım.Ayrıca Microsoft bu aralar denemek isteyen üyelerine Azure servislerinde harcamaları için  460 TL da hediye ediyor.Azure kısaca Microsoft  servislerinin, bulutsal işleme çözümlerinin,sanal makine ve server sağlayıcı hizmetlerinin web ortamı üzerinden sunulduğu   bir platformdur.Azure ile birlikte  Veri Analitiği konusunda yeni bir araç "Azure Machine Learning" de geldi.SSAS'den sonra bu yeni analitik araç, son zamanlardaki gelişmelere uygun olarak Microsoft ürünleri açısından bir devrim niteliğinde olarak görüyorum.Azure ML SSAS 2012'e kıyasla çok güçlü ve fonksiyonel  olmakla birlikte ; Veri Analitiği açısından çok detaylı yapay zeka algoritmalarına ve açık kaynak  programlama ortamına sahip.

Azure ML'de projeler experiment olarak adlandırılıyor.Bu experimentler de kullanıcılar ihtiyaçları doğrultusunda analitik modeller tasarlıyor,test ediyor ve sonuçlarını analiz ediyorlar.Ben de Azure ML üstünde ilk deneyimimi şu bağlantıda yer alan  eğitim makalesi ile yaşamış oldum.Makalede Gary Ericson ,   doğrusal regresyon algoritmasını kullanarak otomobil fiyatlarını teknik özellikleri üzerinden  tahmin edebilen örnek bir analitik modeli adım adım anlatıyor.En tepede modelin şematik gösterimi üzerinden bir kesit yer alıyor.

Ayrıca Azure ML'de yaptığınız projelere ekip çalışması dahilinde diğer kullanıcıları da ekleyebiliyorsunuz.Yaptığınız projeleri web hizmeti olarak yayınlayabilir ve market ortamında satışa sunma imkanınız var.

24 Eylül 2015 Perşembe

Big Data is better data


Kenneth Cukier, Londra'da ikamet ediyor ve The Economist dergisinin iş ve teknoloji yazılarını kapsayan  data (veri)  editörlüğünü yapıyor.Yabancı muhabir olarak 2007-2012 yılları arasında Japonya'da aynı zamanda görev almıştır. Adı geçen  bu kitapların da  "Big Data: A Revolution that Will Transform How We Work, Live and Think" (2013) and "Learning with Big Data: The Future of Education" (2014) with Viktor Mayer-Schönberger   yazarlığını üstlenmiştir.

TED için yaptığı konuşmada Big Data'nın hayatımıza getirebileceği kolaylıklardan,tarihinden,gelişiminden ,Machine Learning (Makine Öğrenmesi) ile ilişkisinden,geleceğinden ve oluşabilecek zararlarından ( NSA skandalı Edward Snowden örneği) gayet yalın ve sade bir üslupla bahsetmiş.Final kısmını da So that is why Big Data is the big deal cümlesi ile de taçlandırıyor.

23 Eylül 2015 Çarşamba

ETL projesi-Demo Video Gösterimleri

Bu video gösterimleri  SSIS'de çoklu görevlerin gerçekleştirilmesini üstlenen Foreach Loop Container ile ilgili Foreach File Enumerator ve Foreach Ado Enumerator  örneklerini kapsıyor.Çoklu görevler yani  birden fazla klasörün,dosyanın taşınması,kopyalanması,silinmesi,veritabanında bir tablodan farklı parametreler üzerinden birden fazla veri çekilmesi v.b. görevlerin yapılabilmesi için de SSIS 'de Foreach Loop,For Loop containerları yer alıyor.





Birinci video da AdventureWorks2014 veritabanına ait  Production.ProductInventory tablosu ile ilgili  beş tane Excel dosyası oluşturdum.Bu Excel dosyalarının ilk etapta hedef klasöre taşınmalarını ve ikinci aşamada ayrı ayrı ilgili SQL tablosuna yüklenmelerini işlemini SSIS Foreach File Enumerator uygulaması ile gerçekleştirdim.Kod ve paketin ayrıntılarını sunum dosyamda bulabilirsiniz.



İkinci video gösterimde ise  AdventureWorks2014 veritabanında yer alan   Production.Product tablosuna ait  verileri subcategory bazında ayrı ayrı Excel dosyalarına  yazdırdım.Bu örnekte  üç değişken ve bir parametre kullandım.Parametre tahmin edeceğiniz gibi subcategoryID oldu.

Örnek SSIS-ETL Projesi

SSRS Raporlama Servisleri üzerinde çalıştığım örnek projeyi tamamladıktan sonra SSIS entegrasyon servislerinde  örnek ETL projesine hazırlanmaya başlamıştım.Geçen hafta ETL örnek projemin sunum ve video gösterimlerini tamamladıktan sonra bu sayfada  ilgili sunum dosyasını paylaşmıştım.Bu SSIS projesi  küçük ve temel iş yapan SSIS paketlerinden oluşuyor.Projede en çok kullanılan transform ve control task lere yer vermeye çalıştım.SSIS o kadar çok geniş fonksiyonlara sahip ki yani 40 sayfalık bir sunumda bütün fonksiyonlarını kullanarak bir projeyi anlatmak pek de mümkün görünmüyordu.Projenin sunumu  üç farklı başlık altında anlatıldı. Birinci başlık  SQL'den Excel kaynağına veri aktarımlarıydı.Bu başlık altında farklı transformlar  ile  SQL tabloları kullanarak    Excel dosyaları oluşturdum.İkinci başlıkta  Excel ve Txt dosya kaynaklarından  ETL ile verileri  veri ambarına transfer ettim.Bu başlığın altında ayrıca  Data Cleansing konusuna değindim.Data Cleansing yani veri temizliği veri ambarında kullanacağımız verilerin uygun düzen ve formata  dönüşmeleri için  Derived Column transformu ve SSIS expression ifadeleri ile  düzenlenmesi işlemi olarak tanımlanabilir.Bu işlem ETL sürecinin  önemli adımlarından biridir.Ve son başlıkta ise  SSIS'de çoklu görevlerin gerçekleştirilmesi başlığı altında Foreach Loop Control Task ile  Foreach File Enumerator  ve Foreach Ado Enumerator  ile ilgili toplam iki SSIS paketi oluşturdum ve demo gösterimleri için videolarını hazırladım.Foreach Ado Enumerator  örnek paketini hazırlarken Microsoft MSDN forum moderatörü  Mike Yin'den ilham kaynağı aldım ve kendisine özel teşekkürümü son sayfada belirttim.Projede yer alan bütün SSIS paketleri içerik açısından özgün ve benzersizdir.