G\u00fcn\u00fcm\u00fcz\u00fcn dijital \u00e7a\u011f\u0131nda, her saniye \u00fcretilen muazzam miktardaki veri, “b\u00fcy\u00fck veri” kavram\u0131n\u0131 hayat\u0131m\u0131z\u0131n merkezine yerle\u015ftirmi\u015ftir. Bu veriyi anlamland\u0131rmak, i\u015flemek ve ondan de\u011ferli bilgiler \u00e7\u0131karmak, i\u015fletmeler ve ara\u015ft\u0131rmac\u0131lar i\u00e7in kritik \u00f6neme sahiptir. Geleneksel veri i\u015fleme y\u00f6ntemleri, bu \u00f6l\u00e7ekteki verilerle ba\u015fa \u00e7\u0131kmakta yetersiz kal\u0131rken, da\u011f\u0131t\u0131k hesaplama sistemleri devreye girer. Apache Spark, bu alanda \u00f6ne \u00e7\u0131kan en g\u00fc\u00e7l\u00fc ve esnek platformlardan biridir. Bellek i\u00e7i i\u015fleme yetenekleri sayesinde y\u00fcksek h\u0131z sunan Spark, \u00e7e\u015fitli veri kaynaklar\u0131yla entegre olabilme ve farkl\u0131 i\u015f y\u00fcklerini destekleme kabiliyetiyle b\u00fcy\u00fck veri d\u00fcnyas\u0131n\u0131n vazge\u00e7ilmez bir arac\u0131 haline gelmi\u015ftir.<\/p>\n
Java, kurumsal uygulamalar\u0131n geli\u015ftirilmesinde uzun y\u0131llard\u0131r lider bir programlama dili olmu\u015ftur ve Spark ekosisteminde de \u00f6nemli bir yere sahiptir. Performans\u0131, olgun ekosistemi ve geni\u015f geli\u015ftirici taban\u0131 sayesinde Spark uygulamalar\u0131n\u0131 Java ile yazmak, bir\u00e7ok \u015firket ve geli\u015ftirici i\u00e7in do\u011fal bir tercihtir. Bu makalede, Apache Spark’\u0131n g\u00fcc\u00fcn\u00fc Java ile birle\u015ftirerek, b\u00fcy\u00fck veri i\u015fleme d\u00fcnyas\u0131n\u0131n “Merhaba D\u00fcnya” uygulamas\u0131 olarak kabul edilen Kelime Sayma (Word Count) program\u0131n\u0131 ad\u0131m ad\u0131m nas\u0131l geli\u015ftirece\u011fimizi detayl\u0131 bir \u015fekilde inceleyece\u011fiz. Bu \u00f6rnek, Spark’\u0131n temel prensiplerini, d\u00f6n\u00fc\u015f\u00fcmlerini (transformations) ve eylemlerini (actions) anlamak i\u00e7in m\u00fckemmel bir ba\u015flang\u0131\u00e7 noktas\u0131d\u0131r.<\/p>\n
Apache Spark, b\u00fcy\u00fck \u00f6l\u00e7ekli veri i\u015fleme i\u00e7in tasarlanm\u0131\u015f, a\u00e7\u0131k kaynakl\u0131, da\u011f\u0131t\u0131k bir hesaplama \u00e7er\u00e7evesidir. Hadoop MapReduce’un aksine, Spark i\u015f y\u00fcklerinin \u00e7o\u011funu bellekte tutarak \u00e7ok daha y\u00fcksek performans sunar. Bu, \u00f6zellikle yinelemeli algoritmalar ve etkile\u015fimli veri analizleri i\u00e7in b\u00fcy\u00fck bir avantajd\u0131r. Spark’\u0131n temel g\u00fcc\u00fc, tek bir platformda \u00e7e\u015fitli i\u015f y\u00fcklerini destekleyebilmesidir:<\/p>\n
Spark’\u0131n mimarisi, bir s\u00fcr\u00fcc\u00fc (driver) program\u0131 ve bir dizi y\u00fcr\u00fct\u00fcc\u00fcden (executor) olu\u015fur. S\u00fcr\u00fcc\u00fc, uygulaman\u0131n ana mant\u0131\u011f\u0131n\u0131 \u00e7al\u0131\u015ft\u0131r\u0131r, i\u015fleri planlar ve y\u00fcr\u00fct\u00fcc\u00fclere da\u011f\u0131t\u0131r. Y\u00fcr\u00fct\u00fcc\u00fcler ise s\u00fcr\u00fcc\u00fc taraf\u0131ndan atanan g\u00f6revleri yerine getirir. Bu da\u011f\u0131t\u0131k yap\u0131, b\u00fcy\u00fck veri k\u00fcmelerini paralel olarak i\u015fleyerek \u00f6l\u00e7eklenebilirlik ve hata tolerans\u0131 sa\u011flar. Herhangi bir y\u00fcr\u00fct\u00fcc\u00fcn\u00fcn \u00e7\u00f6kmesi durumunda, Spark kay\u0131p veriyi otomatik olarak yeniden hesaplayabilir, bu da sistemin dayan\u0131kl\u0131l\u0131\u011f\u0131n\u0131 art\u0131r\u0131r.<\/p>\n
Java ile Spark uygulamalar\u0131 geli\u015ftirmek i\u00e7in birka\u00e7 \u00f6n ko\u015ful ve ara\u00e7 gereklidir.<\/p>\n
Spark uygulamalar\u0131 Java Sanal Makinesi (JVM) \u00fczerinde \u00e7al\u0131\u015ft\u0131\u011f\u0131 i\u00e7in, sisteminizde uyumlu bir JDK s\u00fcr\u00fcm\u00fcn\u00fcn (genellikle JDK 8 veya daha yenisi) kurulu olmas\u0131 gerekir. Ortam de\u011fi\u015fkenlerinin (JAVA_HOME) do\u011fru \u015fekilde ayarland\u0131\u011f\u0131ndan emin olun.<\/p>\n
Spark ve di\u011fer ba\u011f\u0131ml\u0131l\u0131klar\u0131 projenize eklemek i\u00e7in bir proje y\u00f6netim arac\u0131 kullanmak en iyi yakla\u015f\u0131md\u0131r. Maven veya Gradle bu konuda en pop\u00fcler se\u00e7eneklerdir. Bu makalede Maven kullanaca\u011f\u0131z.<\/p>\n
IntelliJ IDEA veya Eclipse gibi modern bir entegre geli\u015ftirme ortam\u0131 (IDE), kod yazma, derleme ve hata ay\u0131klama s\u00fcre\u00e7lerini b\u00fcy\u00fck \u00f6l\u00e7\u00fcde kolayla\u015ft\u0131racakt\u0131r.<\/p>\n
Yeni bir Maven projesi olu\u015fturduktan sonra, Kelime Sayma program\u0131n\u0131n temel amac\u0131, bir metin dosyas\u0131ndaki her kelimenin ka\u00e7 kez ge\u00e7ti\u011fini bulmakt\u0131r. Bu i\u015flem genellikle \u015fu ad\u0131mlar\u0131 i\u00e7erir:<\/p>\n Spark, bu ad\u0131mlar\u0131n her birini da\u011f\u0131t\u0131k ve paralel bir \u015fekilde ger\u00e7ekle\u015ftirmek i\u00e7in g\u00fc\u00e7l\u00fc API’ler sunar.<\/p>\n \u015eimdi, yukar\u0131daki algoritmay\u0131 Java ve Spark kullanarak nas\u0131l uygulayaca\u011f\u0131m\u0131z\u0131 g\u00f6relim.<\/p>\n Spark 2.0’dan itibaren * Girdi metin dosyas\u0131n\u0131 okumak i\u00e7in Spark’ta d\u00f6n\u00fc\u015f\u00fcmler, bir RDD\/Dataset \u00fczerinde yap\u0131lan ve yeni bir RDD\/Dataset d\u00f6nd\u00fcren i\u015flemlerdir. Hen\u00fcz bir hesaplama yapmazlar; sadece bir i\u015flem plan\u0131 olu\u015ftururlar (lazy evaluation).<\/p>\n Her sat\u0131r\u0131 kelimelere ay\u0131rmak i\u00e7in * \u015eimdi her kelime i\u00e7in bir * Ayn\u0131 kelimeleri gruplamak ve onlar\u0131n say\u0131mlar\u0131n\u0131 toplamak i\u00e7in Kelime sayma i\u00e7in Burada E\u011fer RDD API’sini kullanmak isteseydik, Bu makalede Dataset API’sine odaklanaca\u011f\u0131m\u0131z i\u00e7in, Eylemler, Spark’\u0131n bir d\u00f6n\u00fc\u015f\u00fcm zincirini y\u00fcr\u00fctmesini tetikler ve sonu\u00e7lar\u0131 d\u00f6nd\u00fcr\u00fcr veya d\u0131\u015f bir depolama sistemine kaydeder.<\/p>\n Geli\u015ftirme a\u015famas\u0131nda veya k\u00fc\u00e7\u00fck veri setleri i\u00e7in sonu\u00e7lar\u0131 konsolda g\u00f6rmek isteyebiliriz. Kelime say\u0131mlar\u0131n\u0131 bir dosyaya kaydetmek i\u00e7in * Uygulama bitti\u011finde \u015eimdi t\u00fcm kodu bir araya getirelim:<\/p>\n Uygulamay\u0131 \u00e7al\u0131\u015ft\u0131rmadan \u00f6nce bir girdi metin dosyas\u0131na ihtiyac\u0131n\u0131z var. \u00d6rne\u011fin, projenizin k\u00f6k dizininde Maven Shade Plugin’i Bu komut, Uygulamay\u0131 * Uygulama ba\u015far\u0131yla \u00e7al\u0131\u015ft\u0131ktan sonra, projenizin k\u00f6k dizininde B\u00fcy\u00fck veri k\u00fcmeleriyle \u00e7al\u0131\u015f\u0131rken performans kritik \u00f6neme sahiptir. \u0130\u015fte Spark uygulamalar\u0131n\u0131z\u0131 optimize etmek i\u00e7in baz\u0131 ipu\u00e7lar\u0131:<\/p>\n Spark, veriyi a\u011f \u00fczerinden ta\u015f\u0131rken veya diske yazarken serile\u015ftirme kullan\u0131r. Varsay\u0131lan Java serile\u015ftirmesi yava\u015f ve verimsizdir. Apache Kryo, \u00e7ok daha h\u0131zl\u0131 ve kompakt bir serile\u015ftirme k\u00fct\u00fcphanesidir. Kryo’yu kullanmak i\u00e7in Spark yap\u0131land\u0131rman\u0131zda etkinle\u015ftirebilirsiniz: Verilerin do\u011fru \u015fekilde b\u00f6l\u00fcmlemesi (partitioning), shuffle operasyonlar\u0131n\u0131n performans\u0131n\u0131 etkiler. pom.xml<\/code> dosyan\u0131za Spark ba\u011f\u0131ml\u0131l\u0131klar\u0131n\u0131 eklemeniz gerekir. Kelime Sayma uygulamas\u0131 i\u00e7in temel Spark Core ve Spark SQL (DataFrame\/Dataset API kullanmak isterseniz) ba\u011f\u0131ml\u0131l\u0131klar\u0131 yeterli olacakt\u0131r.<\/p>\nspark-core_2.12<\/code> ve spark-sql_2.12<\/code> ba\u011f\u0131ml\u0131l\u0131klar\u0131ndaki _2.12<\/code> k\u0131sm\u0131, Spark’\u0131n derlendi\u011fi Scala s\u00fcr\u00fcm\u00fcn\u00fc belirtir. Kendi projenizde kulland\u0131\u011f\u0131n\u0131z Spark s\u00fcr\u00fcm\u00fcne ve Scala versiyonuna uygun olan\u0131 se\u00e7ti\u011finizden emin olun. Genellikle Spark 3.x, Scala 2.12 veya 2.13 ile uyumludur. maven-shade-plugin<\/code> ise t\u00fcm ba\u011f\u0131ml\u0131l\u0131klar\u0131 tek bir JAR dosyas\u0131na (fat JAR) paketleyerek uygulaman\u0131z\u0131 Spark k\u00fcmelerinde daha kolay \u00e7al\u0131\u015ft\u0131rman\u0131z\u0131 sa\u011flar.<\/p>\nKelime Sayma Algoritmas\u0131<\/h3>\n
\n
Spark ile Kelime Sayma Uygulamas\u0131: Ad\u0131m Ad\u0131m Java Kodu<\/h3>\n
SparkSession Olu\u015fturma<\/h4>\n
SparkSession<\/code>, Spark’\u0131n t\u00fcm fonksiyonlar\u0131na eri\u015fim sa\u011flayan birle\u015fik bir giri\u015f noktas\u0131d\u0131r. Uygulaman\u0131z i\u00e7in bir SparkSession<\/code> nesnesi olu\u015fturarak ba\u015flars\u0131n\u0131z.<\/p>\nimport org.apache.spark.sql.SparkSession;\n\npublic class WordCount {\n public static void main(String[] args) {\n \/\/ SparkSession olu\u015fturma\n SparkSession spark = SparkSession.builder()\n .appName(\"SparkWordCount\") \/\/ Uygulaman\u0131z\u0131n ad\u0131\n .master(\"local[*]\") \/\/ Spark'\u0131 yerel modda t\u00fcm \u00e7ekirdekleri kullanarak \u00e7al\u0131\u015ft\u0131r\n .getOrCreate();\n\n \/\/ Girdi ve \u00e7\u0131kt\u0131 yollar\u0131n\u0131 kontrol et\n if (args.length < 2) {\n System.err.println(\"Kullan\u0131m: WordCount appName(\"SparkWordCount\")<\/code>: Spark UI’da ve k\u00fcme y\u00f6neticisinde uygulaman\u0131z\u0131n g\u00f6r\u00fcn\u00fcr ad\u0131n\u0131 ayarlar.
\n master(\"local[<\/em>]\")<\/code>: Spark’\u0131 yerel bir makinede, mevcut t\u00fcm CPU \u00e7ekirdeklerini kullanarak \u00e7al\u0131\u015ft\u0131rmas\u0131n\u0131 s\u00f6yler. Bir Spark k\u00fcmesinde \u00e7al\u0131\u015f\u0131rken buraya k\u00fcme y\u00f6neticisinin adresini (\u00f6rn. spark:\/\/host:port<\/code>) veya yarn<\/code>, mesos<\/code> gibi bir de\u011feri yazabilirsiniz.
\n* getOrCreate()<\/code>: Mevcut bir SparkSession<\/code> varsa onu d\u00f6nd\u00fcr\u00fcr, yoksa yeni bir tane olu\u015fturur.<\/p>\nVeri Y\u00fckleme<\/h4>\n
spark.read().textFile()<\/code> metodunu kullan\u0131r\u0131z. Bu metod, her sat\u0131r\u0131 bir eleman olarak i\u00e7eren bir Dataset\/\/ Metin dosyas\u0131n\u0131 oku\n DatasetD\u00f6n\u00fc\u015f\u00fcmler (Transformations)<\/h4>\n
flatMap()<\/code> ile Kelimelere Ay\u0131rma<\/h5>\nflatMap()<\/code> d\u00f6n\u00fc\u015f\u00fcm\u00fcn\u00fc kullan\u0131r\u0131z. flatMap()<\/code>, her girdi eleman\u0131n\u0131 s\u0131f\u0131r veya daha fazla \u00e7\u0131kt\u0131 eleman\u0131na d\u00f6n\u00fc\u015ft\u00fcr\u00fcr ve t\u00fcm bu \u00e7\u0131kt\u0131 elemanlar\u0131n\u0131 tek bir d\u00fczle\u015ftirilmi\u015f koleksiyonda birle\u015ftirir.<\/p>\n\/\/ Her sat\u0131r\u0131 kelimelere ay\u0131r, k\u00fc\u00e7\u00fck harfe \u00e7evir ve noktalama i\u015faretlerini kald\u0131r\n Datasets.toLowerCase()<\/code>: Her kelimeyi k\u00fc\u00e7\u00fck harfe \u00e7evirir.
\n* split(\"\\\\W+\")<\/code>: Sat\u0131r\u0131 bo\u015fluklara ve noktalama i\u015faretlerine g\u00f6re b\u00f6ler. \\W+<\/code> regex’i, herhangi bir alfan\u00fcmerik olmayan karakter dizisini temsil eder.
\n* Arrays.asList(...).iterator()<\/code>: flatMap<\/code> bir Iterator<\/code> bekledi\u011fi i\u00e7in kelime listesini bir iterat\u00f6re d\u00f6n\u00fc\u015ft\u00fcr\u00fcr\u00fcz.
\n* Encoders.STRING()<\/code>: Spark’\u0131n Dataset<\/code> API’si i\u00e7in tip g\u00fcvenli\u011fi sa\u011flayan bir kodlay\u0131c\u0131d\u0131r.<\/p>\nmap()<\/code> ile Kelime-Say\u0131 \u00c7iftleri Olu\u015fturma<\/h5>\n(kelime, 1)<\/code> \u00e7ifti olu\u015fturmam\u0131z gerekiyor. Bu, map()<\/code> d\u00f6n\u00fc\u015f\u00fcm\u00fc ile yap\u0131l\u0131r. Tuple2<\/code> s\u0131n\u0131f\u0131, iki elemanl\u0131 bir \u00e7ifti temsil eder.<\/p>\n\/\/ Her kelimeye 1 de\u011feri ata (kelime, 1) \u00e7iftleri olu\u015ftur\n DatasetEncoders.tuple(Encoders.STRING(), Encoders.INT())<\/code>: Tuple2groupByKey()<\/code> ve reduceGroups()<\/code> ile Gruplama ve Toplama<\/h5>\ngroupByKey()<\/code> ve ard\u0131ndan reduceGroups()<\/code> (veya count()<\/code>) kullanabiliriz. Ancak, daha verimli bir yakla\u015f\u0131m olan reduceByKey()<\/code> (RDD API’sinde) veya groupByKey().count()<\/code> (Dataset API’sinde) kullanmak daha yayg\u0131nd\u0131r. reduceByKey<\/code> do\u011frudan Dataset API’sinde yoktur, ancak groupByKey<\/code> ve mapValues<\/code> veya agg<\/code> ile benzer i\u015flevsellik elde edilebilir. RDD API’sinde reduceByKey<\/code> daha do\u011fal bir kullan\u0131md\u0131r. Dataset API’sinde ise groupBy<\/code> ve count<\/code> veya sum<\/code> kullan\u0131r\u0131z.<\/p>\nDataset<\/code> API’sinde daha modern ve tip g\u00fcvenli bir yakla\u015f\u0131m \u015f\u00f6yledir:<\/p>\nimport static org.apache.spark.sql.functions.*; \/\/ count, col fonksiyonlar\u0131 i\u00e7in\n\n\/\/ ... \u00f6nceki kodlar ...\n\n \/\/ Kelimeleri grupla ve say\n Datasetwords<\/code> Dataset’i tek bir “value” s\u00fctununa sahip bir DatasetgroupBy(col(\"value\"))<\/code> ile bu s\u00fctuna g\u00f6re gruplama yapar\u0131z ve count()<\/code> ile her grubun eleman say\u0131s\u0131n\u0131 buluruz. Sonu\u00e7, iki s\u00fctunlu bir Datasetvalue<\/code> (kelime) ve count<\/code> (say\u0131).<\/p>\nJavaPairRDD<\/code> \u00fczerinde reduceByKey<\/code> kullan\u0131rd\u0131k:<\/p>\n\/\/ RDD API'si ile kelime sayma (alternatif)\nimport org.apache.spark.api.java.JavaPairRDD;\nimport org.apache.spark.api.java.JavaRDD;\nimport scala.Tuple2;\n\n\/\/ ... SparkSession olu\u015fturma ...\n\n JavaRDDgroupBy(col(\"value\")).count()<\/code> yakla\u015f\u0131m\u0131n\u0131 kullanmaya devam edelim.<\/p>\nEylemler (Actions)<\/h4>\n
show()<\/code> veya collect()<\/code> ile Sonu\u00e7lar\u0131 G\u00f6r\u00fcnt\u00fcleme<\/h5>\nshow()<\/code> metodu, Dataset<\/code> i\u00e7eri\u011finin ilk birka\u00e7 sat\u0131r\u0131n\u0131 formatl\u0131 bir \u015fekilde g\u00f6sterir. collect()<\/code> ise t\u00fcm veriyi s\u00fcr\u00fcc\u00fc program\u0131na getirir, bu nedenle b\u00fcy\u00fck veri setleri i\u00e7in dikkatli kullan\u0131lmal\u0131d\u0131r.<\/p>\n\/\/ Sonu\u00e7lar\u0131 konsola yazd\u0131r (k\u00fc\u00e7\u00fck veri setleri i\u00e7in uygun)\n wordCounts.show();<\/code><\/pre>\nwrite().mode().csv()<\/code> veya write().mode().parquet()<\/code> ile Sonu\u00e7lar\u0131 Kaydetme<\/h5>\nwrite()<\/code> metodunu kullan\u0131r\u0131z. Spark, sonu\u00e7lar\u0131 varsay\u0131lan olarak birden fazla par\u00e7aya b\u00f6ler ve bir dizin i\u00e7ine kaydeder.<\/p>\n\/\/ Sonu\u00e7lar\u0131 belirtilen dizine CSV olarak kaydet\n wordCounts.write()\n .mode(\"overwrite\") \/\/ E\u011fer dizin zaten varsa \u00fczerine yaz\n .csv(outputDirPath); \/\/ Sonu\u00e7lar\u0131 CSV format\u0131nda kaydet\n \n \/\/ Veya Parquet format\u0131nda (daha verimli)\n \/\/ wordCounts.write()\n \/\/ .mode(\"overwrite\")\n \/\/ .parquet(outputDirPath);<\/code><\/pre>\nmode(\"overwrite\")<\/code>: E\u011fer \u00e7\u0131kt\u0131 dizini zaten varsa, Spark’\u0131n \u00fczerine yazmas\u0131n\u0131 sa\u011flar. Di\u011fer modlar append<\/code>, ignore<\/code> ve errorIfExists<\/code>‘tir.
\n* csv(outputDirPath)<\/code>: Sonu\u00e7lar\u0131 CSV format\u0131nda belirtilen dizine kaydeder. Spark, \u00e7\u0131kt\u0131 dizini i\u00e7inde birden fazla part dosyas\u0131 (\u00f6rne\u011fin part-00000-....csv<\/code>) olu\u015fturacakt\u0131r.<\/p>\nSparkSession Kapatma<\/h4>\n
SparkSession<\/code>‘\u0131 kapatmak, kaynaklar\u0131 serbest b\u0131rakmak i\u00e7in iyi bir uygulamad\u0131r.<\/p>\n\/\/ SparkSession'\u0131 kapat\n spark.stop();<\/code><\/pre>\nTamamlanm\u0131\u015f Kelime Sayma Java Kodu<\/h4>\n
package com.example;\n\nimport org.apache.spark.sql.Dataset;\nimport org.apache.spark.sql.Encoders;\nimport org.apache.spark.sql.Row;\nimport org.apache.spark.sql.SparkSession;\nimport org.apache.spark.api.java.function.FlatMapFunction;\nimport org.apache.spark.api.java.function.MapFunction;\nimport scala.Tuple2;\n\nimport java.util.Arrays;\nimport java.util.Iterator;\n\nimport static org.apache.spark.sql.functions.*;\n\npublic class WordCount {\n public static void main(String[] args) {\n \/\/ 1. SparkSession olu\u015fturma\n SparkSession spark = SparkSession.builder()\n .appName(\"SparkWordCount\")\n .master(\"local[*]\")\n .getOrCreate();\n\n \/\/ Girdi ve \u00e7\u0131kt\u0131 yollar\u0131n\u0131 kontrol et\n if (args.length < 2) {\n System.err.println(\"Kullan\u0131m: WordCount Uygulamay\u0131 Derleme ve \u00c7al\u0131\u015ft\u0131rma<\/h3>\n
Girdi Dosyas\u0131 Haz\u0131rl\u0131\u011f\u0131<\/h4>\n
input.txt<\/code> ad\u0131nda bir dosya olu\u015fturun ve i\u00e7ine \u015funlar\u0131 yaz\u0131n:<\/p>\nMerhaba Spark,\nSpark harika bir platformdur.\nMerhaba d\u00fcnya, merhaba Spark.<\/code><\/pre>\nUygulamay\u0131 Derleme (Fat JAR Olu\u015fturma)<\/h4>\n
pom.xml<\/code>‘e eklediyseniz, uygulaman\u0131z\u0131 tek bir JAR dosyas\u0131 (fat JAR veya uber JAR) olarak paketleyebilirsiniz. Bu JAR dosyas\u0131, uygulaman\u0131z\u0131n kodunu ve t\u00fcm ba\u011f\u0131ml\u0131l\u0131klar\u0131n\u0131 i\u00e7erir, bu da onu Spark k\u00fcmesine da\u011f\u0131tmay\u0131 kolayla\u015ft\u0131r\u0131r.
\nProjenizin k\u00f6k dizininde \u015fu komutu \u00e7al\u0131\u015ft\u0131r\u0131n:<\/p>\nmvn clean package<\/code><\/pre>\ntarget<\/code> dizini alt\u0131nda spark-word-count-1.0-SNAPSHOT.jar<\/code> (veya benzer bir isimde) bir JAR dosyas\u0131 olu\u015fturacakt\u0131r.<\/p>\nUygulamay\u0131 \u00c7al\u0131\u015ft\u0131rma<\/h4>\n
spark-submit<\/code> komutu ile \u00e7al\u0131\u015ft\u0131r\u0131r\u0131z. spark-submit<\/code>, Spark uygulamalar\u0131n\u0131 Spark k\u00fcmelerinde veya yerel modda \u00e7al\u0131\u015ft\u0131rmak i\u00e7in kullan\u0131lan bir betiktir.<\/p>\nspark-submit \\\n --class com.example.WordCount \\\n --master local[*] \\\n target\/spark-word-count-1.0-SNAPSHOT.jar \\\n input.txt \\\n output_word_count<\/code><\/pre>\n--class com.example.WordCount<\/code>: \u00c7al\u0131\u015ft\u0131r\u0131lacak ana s\u0131n\u0131f\u0131n tam yolunu belirtir.
\n --master local[<\/em>]<\/code>: Uygulaman\u0131n yerel modda, mevcut t\u00fcm \u00e7ekirdekleri kullanarak \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flar. Bir k\u00fcmede \u00e7al\u0131\u015ft\u0131r\u0131rken yarn<\/code> veya spark:\/\/
\n* target\/spark-word-count-1.0-SNAPSHOT.jar<\/code>: Olu\u015fturdu\u011funuz fat JAR dosyas\u0131n\u0131n yoludur.
\n* input.txt<\/code>: Uygulaman\u0131z\u0131n bekledi\u011fi ilk arg\u00fcman (girdi dosyas\u0131n\u0131n yolu).
\n* output_word_count<\/code>: Uygulaman\u0131z\u0131n bekledi\u011fi ikinci arg\u00fcman (\u00e7\u0131kt\u0131 dizininin yolu).<\/p>\noutput_word_count<\/code> ad\u0131nda bir dizin olu\u015ftu\u011funu g\u00f6receksiniz. Bu dizinin i\u00e7inde part-00000-...csv<\/code> gibi dosyalar bulunacakt\u0131r. Bu dosyalar\u0131n i\u00e7eri\u011fi, kelime say\u0131m sonu\u00e7lar\u0131n\u0131 i\u00e7erecektir.
\n\u00d6rne\u011fin:<\/p>\nharika,1\nbir,1\nspark,3\nd\u00fcnya,1\nplatformdur,1\nmerhaba,2<\/code><\/pre>\nPerformans ve Optimizasyon \u0130pu\u00e7lar\u0131<\/h3>\n
Veri Serile\u015ftirme (Serialization)<\/h4>\n
\nspark.serializer org.apache.spark.serializer.KryoSerializer<\/code><\/p>\nDo\u011fru D\u00f6n\u00fc\u015f\u00fcm Se\u00e7imi<\/h4>\n
reduceByKey<\/code> gibi daha spesifik ve optimize edilmi\u015f d\u00f6n\u00fc\u015f\u00fcmler, groupByKey<\/code> gibi daha genel olanlara tercih edilmelidir. reduceByKey<\/code>, anahtarlar\u0131 ayn\u0131 olan verileri shuffle etmeden \u00f6nce yerel olarak birle\u015ftirir, bu da a\u011f trafi\u011fini ve bellek kullan\u0131m\u0131n\u0131 azalt\u0131r. Dataset API’sinde groupBy<\/code> ve agg<\/code> fonksiyonlar\u0131n\u0131 kullanmak genellikle iyi optimize edilmi\u015ftir.<\/p>\nVeri B\u00f6l\u00fcmleme (Partitioning)<\/h4>\n
repartition()<\/code> veya coalesce()<\/code> gibi metodlarla b\u00f6l\u00fcm say\u0131s\u0131n\u0131 ayarlayabilirsiniz. Genellikle, k\u00fcmenizdeki \u00e7ekirdek say\u0131s\u0131n\u0131n 2-3 kat\u0131 kadar b\u00f6l\u00fcm ideal bir ba\u015flang\u0131\u00e7 noktas\u0131 olabilir.<\/p>\n