30 Eylül 2015 Çarşamba
Azure ve Machine Learning'de İlk Deneyimim
Bir süredir Sql Server Data Tools 2012'de SSAS üzerinden Veri Madenciliği çalışması yapıyordum.Diğer bir yandan da aklımın bir ucunda Azure Machine Learning bekliyordu.Bugün denemeye karar verdim.Şu bağlantı üzerinden ücretsiz kayıt yaptırdım.Ayrıca Microsoft bu aralar denemek isteyen üyelerine Azure servislerinde harcamaları için 460 TL da hediye ediyor.Azure kısaca Microsoft servislerinin, bulutsal işleme çözümlerinin,sanal makine ve server sağlayıcı hizmetlerinin web ortamı üzerinden sunulduğu bir platformdur.Azure ile birlikte Veri Analitiği konusunda yeni bir araç "Azure Machine Learning" de geldi.SSAS'den sonra bu yeni analitik araç, son zamanlardaki gelişmelere uygun olarak Microsoft ürünleri açısından bir devrim niteliğinde olarak görüyorum.Azure ML SSAS 2012'e kıyasla çok güçlü ve fonksiyonel olmakla birlikte ; Veri Analitiği açısından çok detaylı yapay zeka algoritmalarına ve açık kaynak programlama ortamına sahip.
Azure ML'de projeler experiment olarak adlandırılıyor.Bu experimentler de kullanıcılar ihtiyaçları doğrultusunda analitik modeller tasarlıyor,test ediyor ve sonuçlarını analiz ediyorlar.Ben de Azure ML üstünde ilk deneyimimi şu bağlantıda yer alan eğitim makalesi ile yaşamış oldum.Makalede Gary Ericson , doğrusal regresyon algoritmasını kullanarak otomobil fiyatlarını teknik özellikleri üzerinden tahmin edebilen örnek bir analitik modeli adım adım anlatıyor.En tepede modelin şematik gösterimi üzerinden bir kesit yer alıyor.
Ayrıca Azure ML'de yaptığınız projelere ekip çalışması dahilinde diğer kullanıcıları da ekleyebiliyorsunuz.Yaptığınız projeleri web hizmeti olarak yayınlayabilir ve market ortamında satışa sunma imkanınız var.
24 Eylül 2015 Perşembe
Big Data is better data
Kenneth Cukier, Londra'da ikamet ediyor ve The Economist dergisinin iş ve teknoloji yazılarını kapsayan data (veri) editörlüğünü yapıyor.Yabancı muhabir olarak 2007-2012 yılları arasında Japonya'da aynı zamanda görev almıştır. Adı geçen bu kitapların da "Big Data: A Revolution that Will Transform How We Work, Live and Think" (2013) and "Learning with Big Data: The Future of Education" (2014) with Viktor Mayer-Schönberger yazarlığını üstlenmiştir.
TED için yaptığı konuşmada Big Data'nın hayatımıza getirebileceği kolaylıklardan,tarihinden,gelişiminden ,Machine Learning (Makine Öğrenmesi) ile ilişkisinden,geleceğinden ve oluşabilecek zararlarından ( NSA skandalı Edward Snowden örneği) gayet yalın ve sade bir üslupla bahsetmiş.Final kısmını da So that is why Big Data is the big deal cümlesi ile de taçlandırıyor.
23 Eylül 2015 Çarşamba
ETL projesi-Demo Video Gösterimleri
Bu video gösterimleri SSIS'de çoklu görevlerin gerçekleştirilmesini üstlenen Foreach Loop Container ile ilgili Foreach File Enumerator ve Foreach Ado Enumerator örneklerini kapsıyor.Çoklu görevler yani birden fazla klasörün,dosyanın taşınması,kopyalanması,silinmesi,veritabanında bir tablodan farklı parametreler üzerinden birden fazla veri çekilmesi v.b. görevlerin yapılabilmesi için de SSIS 'de Foreach Loop,For Loop containerları yer alıyor.
Birinci video da AdventureWorks2014 veritabanına ait Production.ProductInventory tablosu ile ilgili beş tane Excel dosyası oluşturdum.Bu Excel dosyalarının ilk etapta hedef klasöre taşınmalarını ve ikinci aşamada ayrı ayrı ilgili SQL tablosuna yüklenmelerini işlemini SSIS Foreach File Enumerator uygulaması ile gerçekleştirdim.Kod ve paketin ayrıntılarını sunum dosyamda bulabilirsiniz.
İkinci video gösterimde ise AdventureWorks2014 veritabanında yer alan Production.Product tablosuna ait verileri subcategory bazında ayrı ayrı Excel dosyalarına yazdırdım.Bu örnekte üç değişken ve bir parametre kullandım.Parametre tahmin edeceğiniz gibi subcategoryID oldu.
Örnek SSIS-ETL Projesi
SSRS Raporlama Servisleri üzerinde çalıştığım örnek projeyi tamamladıktan sonra SSIS entegrasyon servislerinde örnek ETL projesine hazırlanmaya başlamıştım.Geçen hafta ETL örnek projemin sunum ve video gösterimlerini tamamladıktan sonra bu sayfada ilgili sunum dosyasını paylaşmıştım.Bu SSIS projesi küçük ve temel iş yapan SSIS paketlerinden oluşuyor.Projede en çok kullanılan transform ve control task lere yer vermeye çalıştım.SSIS o kadar çok geniş fonksiyonlara sahip ki yani 40 sayfalık bir sunumda bütün fonksiyonlarını kullanarak bir projeyi anlatmak pek de mümkün görünmüyordu.Projenin sunumu üç farklı başlık altında anlatıldı. Birinci başlık SQL'den Excel kaynağına veri aktarımlarıydı.Bu başlık altında farklı transformlar ile SQL tabloları kullanarak Excel dosyaları oluşturdum.İkinci başlıkta Excel ve Txt dosya kaynaklarından ETL ile verileri veri ambarına transfer ettim.Bu başlığın altında ayrıca Data Cleansing konusuna değindim.Data Cleansing yani veri temizliği veri ambarında kullanacağımız verilerin uygun düzen ve formata dönüşmeleri için Derived Column transformu ve SSIS expression ifadeleri ile düzenlenmesi işlemi olarak tanımlanabilir.Bu işlem ETL sürecinin önemli adımlarından biridir.Ve son başlıkta ise SSIS'de çoklu görevlerin gerçekleştirilmesi başlığı altında Foreach Loop Control Task ile Foreach File Enumerator ve Foreach Ado Enumerator ile ilgili toplam iki SSIS paketi oluşturdum ve demo gösterimleri için videolarını hazırladım.Foreach Ado Enumerator örnek paketini hazırlarken Microsoft MSDN forum moderatörü Mike Yin'den ilham kaynağı aldım ve kendisine özel teşekkürümü son sayfada belirttim.Projede yer alan bütün SSIS paketleri içerik açısından özgün ve benzersizdir.
Kaydol:
Kayıtlar (Atom)