Kaldığım yerden devam...

Evet bir süre  veri madenciliği ve iş zekası alanında yaptığım çalışmalara ara verip başka bir işle meşgul oldum.Detaylarını açıklamak istemiyorum ama sonuçları itibariyle pek tatmin olmadım.Karakterime ve yeteneklerime uygun bir iş değildi.Şu an itibariyle iş zekası alanında iş arayışım devam ediyor.Uzun bir süredir profesyonel olarak bir yerde çalışmıyorum.İş zekasında  üç tane projem bulunmasına rağmen  bir mülakat yapma şansı bulamadım.İş bulması gerçekten zor bir alan kadro sayısı çok kısıtlı ve talep çok fazla.Belki de yaptığım projeleri hafif sıklet buldukları için çağırmamış da olabilirler.Pes etmeye hiç niyetim yok ama sabrımın sınırları gittikçe zorlanıyor.Diğer bir yandan kendimin tecrübeli olduğu iş alanlarında iş aramaya da başladım.

İş arayışım devam ederken boş durmuyorum.İş zekası alanında yaptığım çalışmaları  Veri Bilimi (Data Science) tarafına genişletmeye karar verdim.Data Science için yaptığım araştırmalar neticesinde   Python aracı üzerinde çalışmaya karar verdim.Python ile birlikte  veri platformu olarak Azure ya da Hadoop platformunu kullanabilirim henüz karar vermedim.Data Science için şu sıralar en çok kullanılan araçlar SAS,R,Python,Weka,Qlikview  olarak görülüyor.Python üzerinde çalışma kararını kolay erişilebilir,öğrenilmesi kolay bir programlama ve geniş bilimsel kütüphanelere sahip olması yüzünden aldım.Harvard'da Data Science dersi de Python ile öğretiliyor.Ben de işe Python öğrenmekle başladım.Şu sıralar Python'un temel konularına çalışıyorum.Bir sonraki aşamam kütüphanelerini öğrenmek olacak.Data Science işiyle uğraşan profesyonellere Data Scientist  (Veri Bilimcisi) deniliyor.Veri Bilimci mesleği 21.yüzyılın en seksi mesleği olarak nitelendiriliyor.Bu mesleği yürüten kişiler çok yönlü özelliklere ve çok çeşitli yeteneklere sahip oluyorlar.Ayrıntısına başka bir yazım da değinirim.Ben bu kadar iddialı değilim.Ben ise kendi işlerimde ve projelerimde kullanmak üzere data science öğrenmeye karar verdim.Beni bu işe çeken cazip nokta Python'un bilimsel kütüphaneleri ve yapay zeka algoritmaları oldu.Üniversitede Endüstri Mühendisliği eğitimi alırken Yöneylem Araştırması dersinde gördüğüm metotların ; Python'da fonksiyonlar olarak kütüphanelerde yer bulması beni bu işi öğrenmeye ikna etti.Bu işe nereden ve nasıl çalışıyor diye soracak olursanız bu soruya da başka bir yazım da ayrıntılı olarak cevap vereyim...

Programlamayı kod yazdırarak öğreten site

www.codecademy.com 'dan bahsediyorum.Programlama dili içeriğinde şu an itibariyle html,javascript,jquery,php,python,ruby dilleri bulunuyor.Ayrıca  web geliştirme ile ilgili hazır eğitimleri de mevcut.Sitenin tasarımı,şablonu oldukça anlaşılır ve yalın bir şekilde tasarlanmış.Eğitimler çok kısa adımlar üzerinden tasarlandığı için kullanıcıları sıkmıyor.Her sayfada bir kod örneği yer alıyor ve sizden o örnekle ilgili talimatları da verilmiş bir küçük program yazmanızı istiyorlar.Her eğitim sayfasında kod yazarak programlama öğreniyorsunuz.Kodlamayı yapamadığınız taktirde üzülmenize gerek yok ; sitenin forum sayfasında moderatörler size yardımcı oluyor.Tabii ki sitenin eğitim sayfaları bir programlama editörü gibi çalışmıyor.Bazen programlama ve yazım ile ilgili hataları göremiyorsunuz.Bazen  eğitim sayfaları kullanıcıya geç yanıt veriyor veya kilitlenme olabiliyor.Bu durumda  f5 ile sayfayı güncelleyerek çözüme ulaşabiliyorsunuz.Eğitimlerde ilerleme durumunuzu  da  yüzdesel olarak takip edebiliyorsunuz.Her bitirdiğiniz konuların sonunda codecademy size ödül puanı veriyor.Benim şu an için  dört gün itibariyle 83 ödül puanım ve 14 rozetim yer alıyor.Ödül puanları ne işe yarıyor şu an için bilmiyorum sanırım kullanıcılar arasında rekabet veya itibar sağlıyor olabilir.Codecademy.com  ayrıca   CBS,Forbes,The Washington Post,Usa Today,CNBC gibi dev medya yayıncılarından olumlu ve tavsiyeci yorumlar almış bir eğitim platformu.Özellikle web programlama ve web geliştirme öğrenmek isteyenler için  çok faydalı bir eğitim kaynağı olabileceğini düşünüyorum.

Azure ve Machine Learning'de İlk Deneyimim

Bir süredir Sql Server Data Tools 2012'de SSAS üzerinden Veri Madenciliği çalışması yapıyordum.Diğer bir yandan da aklımın bir ucunda Azure Machine Learning bekliyordu.Bugün denemeye karar verdim.Şu bağlantı üzerinden ücretsiz kayıt yaptırdım.Ayrıca Microsoft bu aralar denemek isteyen üyelerine Azure servislerinde harcamaları için  460 TL da hediye ediyor.Azure kısaca Microsoft  servislerinin, bulutsal işleme çözümlerinin,sanal makine ve server sağlayıcı hizmetlerinin web ortamı üzerinden sunulduğu   bir platformdur.Azure ile birlikte  Veri Analitiği konusunda yeni bir araç "Azure Machine Learning" de geldi.SSAS'den sonra bu yeni analitik araç, son zamanlardaki gelişmelere uygun olarak Microsoft ürünleri açısından bir devrim niteliğinde olarak görüyorum.Azure ML SSAS 2012'e kıyasla çok güçlü ve fonksiyonel  olmakla birlikte ; Veri Analitiği açısından çok detaylı yapay zeka algoritmalarına ve açık kaynak  programlama ortamına sahip.

Azure ML'de projeler experiment olarak adlandırılıyor.Bu experimentler de kullanıcılar ihtiyaçları doğrultusunda analitik modeller tasarlıyor,test ediyor ve sonuçlarını analiz ediyorlar.Ben de Azure ML üstünde ilk deneyimimi şu bağlantıda yer alan  eğitim makalesi ile yaşamış oldum.Makalede Gary Ericson ,   doğrusal regresyon algoritmasını kullanarak otomobil fiyatlarını teknik özellikleri üzerinden  tahmin edebilen örnek bir analitik modeli adım adım anlatıyor.En tepede modelin şematik gösterimi üzerinden bir kesit yer alıyor.

Ayrıca Azure ML'de yaptığınız projelere ekip çalışması dahilinde diğer kullanıcıları da ekleyebiliyorsunuz.Yaptığınız projeleri web hizmeti olarak yayınlayabilir ve market ortamında satışa sunma imkanınız var.

Big Data is better data

Kenneth Cukier, Londra'da ikamet ediyor ve The Economist dergisinin iş ve teknoloji yazılarını kapsayan  data (veri)  editörlüğünü yapıyor.Yabancı muhabir olarak 2007-2012 yılları arasında Japonya'da aynı zamanda görev almıştır. Adı geçen  bu kitapların da  "Big Data: A Revolution that Will Transform How We Work, Live and Think" (2013) and "Learning with Big Data: The Future of Education" (2014) with Viktor Mayer-Schönberger   yazarlığını üstlenmiştir.

TED için yaptığı konuşmada Big Data'nın hayatımıza getirebileceği kolaylıklardan,tarihinden,gelişiminden ,Machine Learning (Makine Öğrenmesi) ile ilişkisinden,geleceğinden ve oluşabilecek zararlarından ( NSA skandalı Edward Snowden örneği) gayet yalın ve sade bir üslupla bahsetmiş.Final kısmını da So that is why Big Data is the big deal cümlesi ile de taçlandırıyor.

ETL projesi-Demo Video Gösterimleri

Bu video gösterimleri  SSIS'de çoklu görevlerin gerçekleştirilmesini üstlenen Foreach Loop Container ile ilgili Foreach File Enumerator ve Foreach Ado Enumerator  örneklerini kapsıyor.Çoklu görevler yani  birden fazla klasörün,dosyanın taşınması,kopyalanması,silinmesi,veritabanında bir tablodan farklı parametreler üzerinden birden fazla veri çekilmesi v.b. görevlerin yapılabilmesi için de SSIS 'de Foreach Loop,For Loop containerları yer alıyor.

Birinci video da AdventureWorks2014 veritabanına ait  Production.ProductInventory tablosu ile ilgili  beş tane Excel dosyası oluşturdum.Bu Excel dosyalarının ilk etapta hedef klasöre taşınmalarını ve ikinci aşamada ayrı ayrı ilgili SQL tablosuna yüklenmelerini işlemini SSIS Foreach File Enumerator uygulaması ile gerçekleştirdim.Kod ve paketin ayrıntılarını sunum dosyamda bulabilirsiniz.

İkinci video gösterimde ise  AdventureWorks2014 veritabanında yer alan   Production.Product tablosuna ait  verileri subcategory bazında ayrı ayrı Excel dosyalarına  yazdırdım.Bu örnekte  üç değişken ve bir parametre kullandım.Parametre tahmin edeceğiniz gibi subcategoryID oldu.

Örnek SSIS-ETL Projesi

SSRS Raporlama Servisleri üzerinde çalıştığım örnek projeyi tamamladıktan sonra SSIS entegrasyon servislerinde  örnek ETL projesine hazırlanmaya başlamıştım.Geçen hafta ETL örnek projemin sunum ve video gösterimlerini tamamladıktan sonra bu sayfada  ilgili sunum dosyasını paylaşmıştım.Bu SSIS projesi  küçük ve temel iş yapan SSIS paketlerinden oluşuyor.Projede en çok kullanılan transform ve control task lere yer vermeye çalıştım.SSIS o kadar çok geniş fonksiyonlara sahip ki yani 40 sayfalık bir sunumda bütün fonksiyonlarını kullanarak bir projeyi anlatmak pek de mümkün görünmüyordu.Projenin sunumu  üç farklı başlık altında anlatıldı. Birinci başlık  SQL'den Excel kaynağına veri aktarımlarıydı.Bu başlık altında farklı transformlar  ile  SQL tabloları kullanarak    Excel dosyaları oluşturdum.İkinci başlıkta  Excel ve Txt dosya kaynaklarından  ETL ile verileri  veri ambarına transfer ettim.Bu başlığın altında ayrıca  Data Cleansing konusuna değindim.Data Cleansing yani veri temizliği veri ambarında kullanacağımız verilerin uygun düzen ve formata  dönüşmeleri için  Derived Column transformu ve SSIS expression ifadeleri ile  düzenlenmesi işlemi olarak tanımlanabilir.Bu işlem ETL sürecinin  önemli adımlarından biridir.Ve son başlıkta ise  SSIS'de çoklu görevlerin gerçekleştirilmesi başlığı altında Foreach Loop Control Task ile  Foreach File Enumerator  ve Foreach Ado Enumerator  ile ilgili toplam iki SSIS paketi oluşturdum ve demo gösterimleri için videolarını hazırladım.Foreach Ado Enumerator  örnek paketini hazırlarken Microsoft MSDN forum moderatörü  Mike Yin'den ilham kaynağı aldım ve kendisine özel teşekkürümü son sayfada belirttim.Projede yer alan bütün SSIS paketleri içerik açısından özgün ve benzersizdir.

64 bit Office 2010 ve SSIS entegrasyon sorunu

Eğer  64 bit sürümü  MS Office kullanıyorsanız , SSIS ile  herhangi bir kaynaktan  Excel'e , Excel'den hedef kaynağına veri aktarımı yaparken  sorun yaşamanız  muhtemeldir.Bu sorunun ana kaynağı ,  Microsoft'un 32 bit sürümünde olduğu gibi  Office 64 bit sürümünde  Oledb sağlayıcı desteği sunmamasıdır. Bununla birlikte  şu sitede     Access 2010 database engine üzerinden  oledb sağlayıcı driverı kurulumu ve kullanımı hakkında bilgi verilmiş.Fakat  ben SSIS üzerinde SQL'den Excele veri aktarmak istediğimde  ve bu yöntemi denediğimde bir sonuç elde edemedim.Eğer bu yöntemi denemek istiyorsanız  yapmanız gereken  SSIS'de  OleDb destination ya da source seçerken  resimde olduğu gibi  providerı access 2010 database engine olarak seçmek ve   extenden properties'i Excel 14.0;HDR=YES  girmek olacaktır.

Ben ise bu sorunu 64 bit Office 2010'u kaldırıp yeniden 32 bit sürümünde kurulum yapmak ile çözebildim.Office 2010 32 bit sürümünde kurulduğunda  OleDb  provider gayet iyi çalışıyor.Eğer sisteminiz  ve SSIS programınız  64 bit üzerinde çalışıyorsa , SSIS üzerinde Office programları  ile entegrasyon kurmadan önce son bir işlem daha yapmanız gerekiyor.Projenizin özellikler sayfasında  Run64bitruntime seçeneğini "False" olarak seçtiğinizde  SSIS projeniz artık sorunsuz olarak Excel ile entegrasyon kurabilecektir.