Databricks Apache Spark 3 sertifikasına nasıl hazırlandım

Apache Spark, Databricks, Sertifika, Teknoloji

Kısa süre önce Databricks Certified Associate Developer for Apache Spark-3.0 sertifikasını aldığımı LinkedIn profilimden paylaşmıştım. Bu yazıda başından sonuna kadar nasıl hazırlandığımı ve hangi kaynakları kullandığımı paylaşacağım. Resmi sertifikamı buradan görebilirsiniz.

Ne kadar tecrübe gerekiyor?

Apache Spark 3 hakkında hiç bir bilginiz yoksa size tavsiyem önce bu konu hakkında biraz tecrübe kazanmanız. Şayet bilginiz var ama tecrübeniz yoksa yine de bu sertifikayı tavsiye etmem. En az 6 aylık tecrübeniz olması gerekiyorki öğrendiğiniz ve tatbik ettiğiniz konular sizin teknik donanımınıza bir şey katsın.

Sertifika sınavı hakkında bilgi

Sertifika hakkında ingilizce detaylı bilgiye resmi sitesinden ulaşabilirsiniz. Kısaca şöyle özetleyebilirim:

Toplam süre 120 dakika
Çoktan seçmeli ve tek bir cevap olacak şekilde 60 soru var. Birden fazla doğru cevap şeklinde değil.
Soruları Scala mı Python mu istediğinize önceden karar vermeniz gerekiyor. Bunlar farklı sınavlar.
Genel olarak şu 3 konu ele alınıyor ve her konu arkasında o konu hakkında kaç soru beklendiği yazıyor:
- Apache Spark Architecture Concepts – 17% (10/60)
- Apache Spark Architecture Applications – 11% (7/60)
- Apache Spark DataFrame API Applications – 72% (43/60)
En az 70% skorunu almak gerekiyor geçebilmek için. Gözünüzde büyütmeyin çok ta zor değil.
Ücreti $200 dolar. İlk seferde alamazsanız tekrar denemek için yine 200 dolar ödemeniz gerekiyor.
Sertifikanın geçerlilik süresi 2 yıl

Resmi dokümantasyon

Öncelikle ihtiyacınız olan ilk şey resmi dokümantasyon. Python versiyonu veya Scala versiyonu. Sınav sırasında bu dokümantasyonu kullanmanıza izin veriliyor fakat Ctrl+F kullanarak arama yapamazsınız. O yüzden de çok kullandığınız sınıfların sırasını ve yerini aklınızdan iyi öğreninki kolay bir şekilde bulabilin.

Hangi kitaplar

Ücretsiz kopyasını databricks resmi sitesinden indirebilirsiniz. Sadece ilk 7 ve 12inci bölümü okuyun.

Spark – The Definitive Guide linki
Bölüm I, II ve IV

Bu sertifikaya sizi en güzel hazırlayan kitaplar bu ikisi. Sadece birini seçin ve okumaya başlayın. Ben Learning Spark kitabını kullandım ve çok memnun kaldım. Size de nacizane tavsiyem bu kitabı okuyun. Hem de ücretsiz.

Kitaptaki tüm örnekleri teker teker uygulamanızı tavsiye ederim. Bilgisayarınıza Apache Spark kurmanıza gerek yok. Databricks’in ücretsiz deneme cluster veriyor ve burada tüm komutları test edebilirsiniz. Hiçbir şekilde kredi kartı da istemiyor.

Ücretsiz community edition aldıktan Learning Spark kitabının içindeki tüm kodları github profilinden databricks içine import ederek tüm örnekleri hazır bir şekilde test edebilirsiniz.

Test soruları çözme

İnternette bu sertifika için pratik sınav soruları arattığınızda karşınıza bir çok site çıkar. Bir çoğu da size içinde yüzlerce soru barındıran pdf veya program satmaya kalkarlar. Size tavsiyem kesinlikle benim gibi 🙂 bunlara paranızı kaptırmayın. İçinde 500 soru olan böyle bir paket aldım 50 euro verip ama sonradan baktığımda tonla hata ve aynı sorulardan oluşan koca bir pdf geçti elime. Paramı da geri vermediler, dönüş bile yapmadılar :). Neyse size tavsiyem şöyle:

Databricks’in kendi hazırladığı mükemmel ve ücretsiz pratik test seti var. Python testi ve Scala testi.
Udemy içinde 2 tane önerebileceğim pratik testler var.
- Eğer Scala kullanıyorsanız kesinlikle tavsiyem bu pratik testi alın. Çok kaliteli ve öğretici soruları var.
- Eğer Python kullanıyorsanız, bir çok okuduğum blogdaki insanlar tarafından tavsiye edilen şu udemy pratik testi varç Şahsen ben kullanmadım.
Kitabı okuduktan sonra ve bu testleri de tekrar tekrar yapıp skorunuz 90% üstüne çıkıyorsa hazırsınız demektir.

Faydalandığım diğer kaynaklar

İnternette bir çok ingilizce blog yazıları var bu konuda. Bunların içinde faydalandıklarım şöyle:

Hangi konulara dikkat edilmeli

Bir çok farklı konudan sorular bekleyebilirsiniz, size konular ve soru şekilleri hakkında bir kaç tavsiye vermek istiyorum:

İstenilen birşeyi şıklardaki hangi kod ile çözebilirim tarzı sorular çok oluyor. Böyle durumlarda tüm şıkları compile hataları için kontrol edin. Mesela df.withColumn(“column”… yerine df.withColumn(column…. yazabilir.
DataFrame fonksiyonlarının hepsini pratik yapın ve öğrenin. Soruların büyük bir kısmı buradan gelecek. Ama ezbere bilmenize gerek yok çünkü sınav sırasında spark resmi dokümantasyonu pdf olarak size sunulur. Ama Ctrl F kullanarak arama yapamazsınız. Kendiniz scroll yapmanız gerekecek.
UDF null check hakkında kesin en az 1 soru gelir.
Cache ve persist konularını çok iyi öğrenin
Broadcast hakkında en az 1 soru gelir
Coalesce ve repartition farkını bilin, 2-3 soru gelir
Join, union ve aggregation konuları hakkında bir çok soru gelir
Spark mimarisi ve belli başlı komponentleri hakkında en az 10 soru gelir

Sınav kayıt ve gününü tayin etme

Hazır olduğunuzu düşünüyorsanız bir sonraki aşama databricks kullandığı kayıt sisteminde 200 dolar ödeyerek bu sınavı satın almanız. Sınav tarihini ve gününü ben hafta sonuna denk getirmiştim.

Sınav günü – sınav ekranı

Sınava başlamadan bilgisayarınızda kurmanız ve hazırlamanız gereken şeyler var. Tüm bunları size mail ve webassessor sayfasında da detaylı bir şekilde anlatıyorlar. Sınav süresince sizi kameradan biri kontrol ediyor olacak. Siz bu kişiyi görmüyorsunuz.

En son tavsiyelerimi vermek istiyorum:

İyi hazırlandıysanız 1 buçuk saatte tüm soruları tamamlayacağınızı düşünüyorum. Ama internette 120 dakikanın bile yetmediğini yazanlarla karşılaştım.
Eğer bir soruyu o an çözemiyorsanız fazla zaman kaybetmeden işaretleyip devam edin. Daha sonra işaretlediklerinize tekrar dönebilirsiniz.
Bazen 2 cevap arasında kalırsınız, böyle durumlarda tavsiyem işaretleyip devam edin sonra bakarsınız. Çünkü başka soruları okuduktan sonra bazen cevap otomatik olarak ortaya çıkıyor.
Bazen en zor sorular en önce arka arkaya geliyor (bende öyle oldu). Sakın moralinizi bozmayın devam edin.
Ekranın sol bölümünde sorular belirir. Sağ bölümünde ise yukarıda dokümantasyon ve aşağıda not defteri olacak şekilde bölümler var.
Sınava başlamadan profil resminiz çekilir
Belki bilgisayarınızda bir kaç değişiklik yapılması istenebilir (mesela anti virus sistemini devre dışı bırakmak gibi)
Tüm soruları cevapladıktan sonra artık sınavı tamamlama bölümüne geldiniz. Bitir düğmesne bastığınız andan saniyeler sonra size yüzde kaç doğru cevap verdiniz ve kaç puan aldığınız gösterilir. Artık şimdi programı kapatabilirsiniz. Size dakikalar içinde skorunuzu teyit eden resmi bir mail gelir.
Eğer kazandıysanız tebrik ederim 1-2 gün içinde de size sertifikanız dijital olarak gelir. Bu başarınızı sosyal platformda paylaşmayı unutmayın 🙂
Eğer kaybettiyseniz moralinizi bozmayın, çok güzel ve öğretici bir deneyim kazandınız. İnanıyorumki bir dahaki sefere alacaksınız 🙂

Sonuç

Umarım sizin de bu sertifikayı almanıza bir nebze de olsa katkım olmuştur. Paylaşımları takip ederek daha bir çok sertifika, teknoloji ve yazılım yazılarıma ulaşmayı unutmayın.