ЧАСТЬ 1 - HDFS || ЧАСТЬ 2 - Spark (ВЫ ТУТ) ||
ЧАСТЬ 3 - Kafka, RT, NoSQL, Data layout
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
В этом модуле вы изучите:
▶ cхема выполнения задачи в Spark;
▶ основные термины Spark (job, task, stage);
▶ представление вычислений в виде графа. Spark Python API. Spark RDD API;
▶ Broadcast-сообщения и счетчики.
▶ взаимодействие Hive и Spark SQL;
▶ отличия DF от RDD.
▶ Spark on YARN;
▶ типы stage в Spark;
▶ оптимизация операции shuffle;
▶ настройка Garbage Collection, тюнинг потребления памяти.
ЧАСТЬ 3 - Kafka, RT, NoSQL, Data layout
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
В этом модуле вы изучите:
▶ cхема выполнения задачи в Spark;
▶ основные термины Spark (job, task, stage);
▶ представление вычислений в виде графа. Spark Python API. Spark RDD API;
▶ Broadcast-сообщения и счетчики.
▶ взаимодействие Hive и Spark SQL;
▶ отличия DF от RDD.
▶ Spark on YARN;
▶ типы stage в Spark;
▶ оптимизация операции shuffle;
▶ настройка Garbage Collection, тюнинг потребления памяти.
Скрытое содержимое могут видеть только пользователи групп(ы): VIP