Java? ??, ?? ?? ? ?? ???? ?? ?????? ???? Apache Spark? ???? ? ??? ????? ??? ?????. 1) Java? JIT ? Garbage Collection Tuning? ?? JVM ???? ?? ?? ??? ????? ???? ?? ??? ?? Python?? ????. 2) ??? ?? ?? ??? ??? ??? ?? ?? ??? ??? ??? ???? ??????. 3) Kafka, Hadoop ? ??????? ??? ?? Java ?? ????? ??? ??? ??? ???? ??? ??????. 4) ??? Java ???? ??? ?? ?? (Maven/Gradle), ???? (JMX, Prometheus) ? ??? ??? ?????. 5) Scala ?? Python?? ? ???? ???? Java? ???? ? ??? ETL ? ??? ???? ??????? ??????. 6) Spark? ?? Java? ???? ?? ??? ?? ???? ?? RDD?? ??? ??? ???? ??? ?? ??? Lambda ???? ???? Lambda Serializability? ???? ??? ? GC? JVM ??? ??????. 7) Pyspark ?? Scala? ? ??? ??? ?? ??? ?? ?? ??? ???? Java? ?????. 8) ?? ???? Spark SQL ??, ???? ????? ??, ?? ??? ???? Collect ()? ??? Spark UI? ?? ???? ? ??? ???? ?? ?? ????? ?????. ????, Java? ???? ????? ??, ?? ?? ? ?????? ??? ???? ?? ??? ??? ?? ??????? ???? ?????.

Java? Apache Spark , ?? ??, ??? ? ??? ??? ????? ?????? ???? ? ??? ????? ??? ?????. Scala? Spark? ????? Pyspark (Python)? ??? ??? ??? ??? Java? ?? ??? ?? ?? ? ??? Java ?? ???? ??? ??? ????? .

??? ? ??? ???? ? Spark? ?? Java? ????? ??? ??? ??? ?????.

? ? Spark? ?? Java? ??????

1. ?? : Java? ??? ??? (JIT, Garbage Collection Tuning)? JVM?? ????? ?? ???? ?? ?????? Python?? ????.
2. ?? ?? : ??? ?? ??? ?? ??? ??? ??? ??? ??? ????.
3. ?????? ?? : ?? ??? ? ??? ???? Java ?????. Java? ???? Kafka, Hadoop, ?????? ? ??? ?? ??????? ??? ??????.
4. ??? ??? : Maven/Gradle, ???? ?? (? : JMX, Prometheus) ? ??? ??? ?????.

??? ???? ?? : ??? ? ????? ? ?? ??. ? ?? ??? ???? ??? ?????.

? Java Spark ???? ??

Maven ?? Gradle? ???? ???? ??????. ??? ?? pom.xml ? ?????.

 <???>
    <groupid> org.apache.spark </groupid>
    <artifactid> spark-core_2.12 </artifactid>
    <??> 3.5.0 </??>
</???>
<???>
    <groupid> org.apache.spark </groupid>
    <artifactid> spark-sql_2.12 </artifactid>
    <??> 3.5.0 </??>
</???>

??? ?? (? : _2.12 )? ??? ????? ??????.

?? ?? ?? ??? ?? ????? ????.

 import org.apache.spark.api.java.javasparkContext;
import org.apache.spark.sql.sparksession;

?? ??? javasparkapp {
    public static void main (String [] args) {
        Sparksession spark = sparksession.builder ()
            .AppName ( "javasparkapp")
            .master ( "local [*]")
            .getorCreate ();

        javasparkContext JSC = ??? javasparkContext (spark.sparkContext ());

        // ? : ??? ??? ?? ?????
        jsc.textFile ( "input.txt")
           .map (String :: ToupperCase)
           .SeaVeastextFile ( "??");

        spark.stop ();
    }
}

? ?????? ?? ?? ? ?

• Lambda ???? ?? Java ?? ?? : Spark? Java API? Function , Function2 , FlatMapFunction ? ?? ?? ?????? ?????. Java 8 Lambdas? ??? ???? ????.

   javardd <string> words = lines.flatmap (s-> arrays.aslist (s.split ( "")). iterator ());

• ??? ?? RDD?? ??? ??? ????? . Java? Scala? ?? ?? ??? ????? Dataset<Row> (Spark SQL? ??)? RAW RDD?? ??????.

   DataSet <Row> df = spark.read (). json ( "data.json");
  df.filter (col ( "Age"). gt (21)). show ();

• Lambdas? ?? ? : Java Lambdas ? ?? ???? ?? ??? ?? ??? ? ? ??????. DB ??? ?? ? ?? ?? ???? ??? ???? ????.

• ??? ? GC ?? : JVM ???? ???? ? ???? ???????.

   --conf "spark.executor.extrajavaoptions = -xx : useg1gc -xms4g -xmx4g"

  ---

  ? ?? Java? ????????

  ?? ???	???	?
  ? ??? ETL ??? ??	? ?	???, ?????? ????? ??
  ??? ???? (Kafka Spark)	? ?	?? ?? ??, ??? ? ????
  ??? ?? / ML ???	? ???	Pyspark ?? Scala? ??? ? ????
  ?? ??? ???	? ???	?? ??; ?? ???? ??????

  ---

  ? ?? ??

  • ??? ?? ??? RDD ?? Spark SQL ? DataFrames/DataSets? ?????? . Catalyst Optimizer? ??.
  • SKEW? ??? ?? repartition() ?? coalesce() ???? ???? ???? ????? .
  • ?? ??? ???? collect() ????? - take() , foreach() ?? ????? ????.
  • Spark UI? ?? ?????? ?? ???? ??? ??????.
  • Maven Shade ????? ???? ?? ???? ?? Fat Jars? ?????? .

  ---

  ????? Java? Spark?? ?? ??? ??? ???? ??? ? ?? ??? ?? ???????? . Java ?? ????? ?? ???? ?? ?? ??? ? ??? ???? ???? ?? ??? ??????.

  ???? ????? ??? ??? ????.

  ? ??? Apache Spark? ?? ? ??? ??? Java ??? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!