Java由於其性能，類型的安全性和集成功能而在企業(yè)環(huán)境中使用Apache Spark進(jìn)行大數(shù)據(jù)處理的強(qiáng)大選擇。 1）Java通過JIT和垃圾收集調(diào)整（例如，用於計(jì)算重量任務(wù)）的JIT和垃圾收集調(diào)整（如JIT和垃圾收集調(diào)音）提供低延遲執(zhí)行。 2）其編譯時(shí)類型檢查減少了運(yùn)行時(shí)錯(cuò)誤，從而提高了生產(chǎn)數(shù)據(jù)管道的可靠性。 3）與現(xiàn)有基於Java的系統(tǒng)（包括Kafka，Hadoop和數(shù)據(jù)庫）無縫集成，簡(jiǎn)化了大規(guī)模環(huán)境中的部署。 4）成熟的Java生態(tài)系統(tǒng)提供強(qiáng)大的構(gòu)建工具（Maven/Gradle），監(jiān)視（JMX，Prometheus）和調(diào)試支持。 5）儘管與Scala或Python相比，Java的穩(wěn)定性更大，但Java的穩(wěn)定性使其非常適合高通量ETL和實(shí)時(shí)流媒體應(yīng)用。 6）當(dāng)將Java與SPARK一起使用時(shí)，請(qǐng)使用催化劑而不是RDD進(jìn)行優(yōu)化，使用lambda表達(dá)式進(jìn)行清潔功能代碼，確保lambda序列化效率，並調(diào)整記憶和GC的JVM設(shè)置。 7）避免使用Pyspark或Scala更合適的數(shù)據(jù)科學(xué)筆記本或快速原型製作Java。 8）最佳實(shí)踐包括利用Spark SQL，有效地管理分區(qū)，避免在大型數(shù)據(jù)集上進(jìn)行Collect（），通過Spark UI進(jìn)行監(jiān)視以及包裝應(yīng)用程序作為脂肪罐?？偠灾琂ava可能缺乏簡(jiǎn)潔，但在性能，可維護(hù)性和企業(yè)準(zhǔn)備就緒上表現(xiàn)出色，這使其成為生產(chǎn)級(jí)Spark應(yīng)用程序的可靠選擇。

Java是使用Apache Spark進(jìn)行大數(shù)據(jù)處理的可靠選擇，尤其是在性能，穩(wěn)定性和強(qiáng)大打字物質(zhì)的企業(yè)環(huán)境中。儘管Scala是Spark的母語，而Python（Pyspark）在數(shù)據(jù)科學(xué)方面很受歡迎，但Java提供了低延遲的執(zhí)行和與大型Java的系統(tǒng)的無縫集成。

這是您可以有效地將Java和Spark用於大數(shù)據(jù)工作負(fù)載的方法和原因。

?為什麼要使用java和火花？

1. 性能：Java在JVM上以成熟的優(yōu)化（JIT，垃圾收集調(diào)諧）運(yùn)行，在許多計(jì)算較重的情況下，它比Python快於Python。
2. 類型安全：編譯時(shí)間檢查減少運(yùn)行時(shí)錯(cuò)誤 - 最重要的生產(chǎn)管道。
3. 企業(yè)集成：許多遺產(chǎn)和大規(guī)模系統(tǒng)都是基於Java的。使用Java簡(jiǎn)化了與Kafka，Hadoop，數(shù)據(jù)庫和自定義庫的集成。
4. 強(qiáng)大的生態(tài)系統(tǒng)：Maven/Gradle，監(jiān)視工具（例如JMX，Prometheus）和調(diào)試支持是成熟的。

??權(quán)衡：比Scala或Python更詳細(xì)。您將編寫更多樣板代碼。

？設(shè)置Java Spark項(xiàng)目

使用Maven或Gradle來管理依賴關(guān)係。這是一個(gè)最小的pom.xml片段：

 <依賴項(xiàng)>
    <groupId> org.apache.spark </groupId>
    <Artifactid> spark-core_2.12 </artifactid>
    <版本> 3.5.0 </version>
</dependency>
<依賴項(xiàng)>
    <groupId> org.apache.spark </groupId>
    <Artifactid> spark-sql_2.12 </artifactid>
    <版本> 3.5.0 </version>
</dependency>

確保Scala版本（例如_2.12 ）與您的環(huán)境匹配。

然後，創(chuàng)建一個(gè)基本的火花應(yīng)用程序：

導(dǎo)入org.apache.spark.api.java.javasparkcontext;
導(dǎo)入org.apache.spark.sql.sparksession;

公共類Javasparkapp {
    公共靜態(tài)void main（string [] args）{
        sparksession spark = sparksession.builder（）
            .AppName（“ Javasparkapp”）
            .Master（“ local [*]”）
            .getorCreate（）;

        JavasparkContext JSC = new JavasparkContext（Spark.SparkContext（））;

        //示例：閱讀和處理文本文件
        jsc.textfile（“ input.txt”）
           .map（字符串:: touppercase）
           .saveastextfile（“輸出”）;

        spark.stop（）;
    }
}

？關(guān)鍵Java特定的火花技巧

• 使用lambda表達(dá)式使用Java函數(shù)：Spark的Java API使用功能接口，例如Function ， Function2 ， FlatMapFunction 。 Java 8 Lambdas使此更清潔。

   javardd <string> words = lines.flatmap（s-> arrays.aslist（s.split（“”））。iterator（））;

• 在可能的情況下，優(yōu)先於RDD數(shù)據(jù)集：雖然Java缺少Scala的完整類型推理， Dataset<Row> （通過SPARK SQL）比RAW RDD更優(yōu)化。

   dataset <Row> df = spark.read（）。 json（“ data.json”）;
  df.filter（col（“年齡”）。gt（21））。 show（）;

• 仔細(xì)序列化Lambdas ：Java Lambdas和匿名類必須序列化以進(jìn)行分佈式執(zhí)行。避免捕獲不可隔離的對(duì)象（例如DB連接）。

• 調(diào)整內(nèi)存和GC ：使用JVM標(biāo)誌來優(yōu)化大數(shù)據(jù)：

   -conf“ spark.executor.extrajavaoptions = -xx：useg1gc -xms4g -xmx4g”

  ---

  ？什麼時(shí)候選擇Java？

  用例	受到推崇的？	為什麼
  高通量ETL管道	?是的	穩(wěn)定性，與企業(yè)系統(tǒng)的集成
  實(shí)時(shí)流（Kafka Spark）	?是的	低潛伏期，可靠
  數(shù)據(jù)科學(xué) / ML筆記本	?不	Pyspark或Scala在這裡更好
  快速原型製作	?不	冗長(zhǎng)；改用Python

  ---

  ？最佳實(shí)踐

  • 在可能的情況下，請(qǐng)使用Spark SQL和DataFrames/DataSet，而不是低級(jí)RDD，它們受益於Catalyst Optimizer。
  • 使用repartition()或coalesce()明智地分區(qū)數(shù)據(jù)以避免偏斜。
  • 避免在大數(shù)據(jù)集中collect() - use take() ， foreach()或?qū)懭氪鎯?chǔ)。
  • 通過SPARK UI監(jiān)視以發(fā)現(xiàn)緩慢的任務(wù)或洗牌。
  • 使用Maven Shade插件包裝帶有所有依賴項(xiàng)的脂肪罐。

  ---

  基本上，Java並不是Spark的最華麗選擇，但它是可靠，快速且準(zhǔn)備就緒的。如果您在以Java中心的生態(tài)系統(tǒng)中構(gòu)建可擴(kuò)展，可維護(hù)的大數(shù)據(jù)服務(wù)，那將是一個(gè)有力的競(jìng)爭(zhēng)者。

  只需接受冗長(zhǎng)，然後傾斜到工具中即可。

  以上是使用Java與Apache Spark進(jìn)行大數(shù)據(jù)處理的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！