Apache Tez

Apache Tez — это универсальный движок для обработки данных, предназначенный для использования как базовый движок для более высоких абстракций, таких как Apache Hadoop Map-Reduce, Apache Pig, Apache Hive и другие.

Основной составляющей Tez является простой двухчастный механизм:

• Движок для обработки данных, где можно подключить реализации входных данных, процессинга и выходных данных для выполнения произвольной обработки данных. Каждый «задача» в Tez состоит из следующего:

• Входных данных для потребления пар ключ/значение.
• Обработчика для обработки этих пар.
• Выходных данных для сбора обработанных пар ключ/значение.* Главный управляющий модуль для задач обработки данных, который позволяет объединять произвольные задачи обработки данных, описанные выше, в граф задач (DAG) для обработки данных по желанию. Генеральный управляющий модуль реализован как Apache Hadoop YARN ApplicationMaster.