Apache Hive (TM)

Основные сведения

Программное обеспечение Apache Hive (TM) для хранилищ данных упрощает чтение, запись и управление большими наборами данных, хранящимися в распределённом хранилище, с использованием SQL. Созданное на основе Apache Hadoop (TM), оно предоставляет:

• инструменты для обеспечения простого доступа к данным через SQL, что позволяет выполнять задачи по хранению данных, такие как извлечение/преобразование/загрузка (ETL), отчётность и анализ данных;
• механизм для наложения структуры на различные форматы данных;
• доступ к файлам, хранящимся непосредственно в Apache HDFS (TM) или в других системах хранения данных, таких как Apache HBase (TM);
• выполнение запросов с использованием Apache Hadoop MapReduce или Apache Tez.

Hive обеспечивает стандартную функциональность SQL, включая многие функции аналитики 2003 и 2011 годов. К ним относятся функции OLAP, подзапросы, общие табличные выражения и многое другое. SQL Hive также можно расширить с помощью пользовательского кода через пользовательские функции (UDFs), пользовательские агрегаты (UDAFs) и пользовательские табличные функции (UDTFs).

Пользователи Hive могут выбирать между Apache Hadoop MapReduce и Apache Tez в качестве бэкенда выполнения. Обратите внимание, что начиная с Hive 2, MapReduce устарел, и рекомендуется использовать Apache Tez. MapReduce — это зрелый фреймворк, который хорошо зарекомендовал себя в больших масштабах. Однако MapReduce является чисто пакетным фреймворком, и запросы с его использованием могут иметь более высокие задержки (десятки секунд), даже при работе с небольшими наборами данных. Apache Tez предназначен для интерактивных запросов и имеет существенно меньшие накладные расходы по сравнению с MapReduce.

Пользователи могут свободно переключаться между этими фреймворками в любое время. В любом случае Hive лучше всего подходит для случаев использования, когда объём обрабатываемых данных достаточно велик, чтобы потребовать распределённую систему.

Hive не предназначен для обработки транзакций в реальном времени. Он лучше всего используется для традиционных задач хранилища данных. Hive разработан для максимизации масштабируемости (масштабирование с добавлением большего количества машин в кластер Hadoop динамически), производительности, расширяемости, отказоустойчивости и слабой связи с форматами ввода.

Общая информация

Для получения последней информации о Hive посетите наш веб-сайт по адресу: http://hive.apache.org/.

Начало работы

Инструкции по установке и краткое руководство: https://cwiki.apache.org/confluence/display/Hive/GettingStarted.

Инструкции по сборке Hive из исходного кода: https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-BuildingHivefromSource.

Более подробное руководство, которое охватывает больше функций HiveQL: https://cwiki.apache.org/confluence/display/Hive/Tutorial.

Руководство по языку HiveQL: https://cwiki.apache.org/confluence/display/Hive/LanguageManual.

Требования

Java

Hadoop

— Hadoop Обновление с более старых версий Hive

Hive включает изменения в схему MetaStore. Если вы обновляетесь с более ранней версии Hive, крайне важно обновить схему MetaStore, запустив соответствующие скрипты обновления схемы, которые находятся в каталоге scripts/metastore/upgrade.

Мы предоставили скрипты обновления для баз данных MySQL, PostgreSQL, Oracle, Microsoft SQL Server и Derby. Если вы используете другую базу данных для вашего MetaStore, вам потребуется предоставить собственный скрипт обновления.

Полезные почтовые рассылки

1. user@hive.apache.org — для обсуждения и вопросов по использованию. Отправьте пустое письмо на адрес user-subscribe@hive.apache.org, чтобы подписаться на эту рассылку.

2. dev@hive.apache.org — для обсуждений кода, дизайна и функций. Отправьте пустое письмо на dev-subscribe@hive.apache.org, чтобы подписаться на эту рассылку.

3. commits@hive.apache.org — чтобы отслеживать коммиты в исходном репозитории. Отправьте пустое письмо на commits-subscribe@hive.apache.org, чтобы подписаться на эту рассылку.