Apache Toree

Apache Toree — это ядро для ноутбука Juypter Notebook. Основная цель Toree заключается в предоставлении основы для интерактивных приложений, которые подключаются к Apache Spark и используют его с помощью языка Scala.

Обзор

Toree предоставляет интерфейс, который позволяет клиентам взаимодействовать с кластером Spark. Клиенты могут отправлять библиотеки и фрагменты кода, которые интерпретируются и выполняются с использованием предварительно настроенного контекста Spark. Эти фрагменты могут выполнять различные задачи:

• определять и запускать задания Spark всех видов;
• собирать результаты из Spark и отправлять их клиенту;
• загружать необходимые зависимости для выполняемого кода;
• запускать и отслеживать поток;
• и т. д.

Apache Toree поддерживает язык программирования Scala. Он реализует последний протокол сообщений Jupyter (5.0), поэтому может легко подключаться к последним версиям Jupyter/IPython (3.2.x+ и выше) для быстрого интерактивного исследования данных.

Разработка

В этом проекте используется make в качестве точки входа для сборки, тестирования и упаковки. Чтобы выполнить локальную сборку, необходимо установить sbt, jupyter/ipython и другие требования для разработки на вашем компьютере.

Чтобы собрать и взаимодействовать с Toree с помощью Jupyter, выполните команду:

make dev

Это запустит сервер ноутбуков Jupyter. В зависимости от вашего режима он будет доступен по адресу http://localhost:8888 или http://192.168.44.44:8888. Здесь вы можете создавать ноутбуки, использующие Toree, настроенный для локального режима Spark.

Тесты можно запустить, выполнив команду:

make test

Примечание: не используйте sbt напрямую.

Сборка и упаковка

Для сборки и упаковки Toree выполните команду:

make release

Это приведёт к созданию двух пакетов:

• ./dist/toree-<VERSION>-binary-release.tar.gz — простой пакет, содержащий JAR и исполняемый файл;
• ./dist/toree-<VERSION>.tar.gz — устанавливаемый пакет pip, который добавляет Toree в качестве ядра Jupyter.

Примечание: make release использует docker. Пожалуйста, обратитесь к инструкциям по установке docker для вашей системы.

Запуск примеров

Чтобы поиграть с примерами ноутбуков, выполните команду:

make jupyter

Будет запущен сервер ноутбуков в контейнере Docker с установленными Toree и некоторыми другими зависимостями. Обратитесь к настройке Docker для получения IP-адреса. Ноутбук будет находиться по адресу http://<ip>:8888/.

Установка

Требуется, чтобы дистрибутив Apache Spark был загружен в систему, где будет работать Apache Toree. Следующие команды установят Apache Toree:

pip install --upgrade toree
jupyter toree install --spark_home=<YOUR_SPARK_PATH>

Снимки разработки Toree находятся по адресу https://dist.apache.org/repos/dist/dev/incubator/toree. Для установки с использованием одного из этих пакетов можно использовать следующую команду:

pip install <PIP_RELEASE_URL>
jupyter toree install --spark_home=<YOUR_SPARK_PATH>
``` **PIP_RELEASE_URL** — один из пакетов pip. Например:

pip install https://dist.apache.org/repos/dist/dev/incubator/toree/0.2.0/snapshots/dev1/toree-pip/toree-0.2.0.dev1.tar.gz jupyter toree install --spark_home=<YOUR_SPARK_PATH>

**Отчёт о проблемах**

Обратитесь к открытой проблеме [здесь][issues].

**Коммуникация**

Вы можете связаться с нами через [gitter][gitter-url] или нашу [почтовую рассылку][mail-list].

**Версия**

Мы работаем над тем, чтобы в ближайшее время опубликовать бинарные версии Toree. В рамках перехода в Apache Incubator Toree начнёт новую последовательность версий, начиная с 0.1.

Наша цель — поддерживать актуальность master с последней версией Spark. Когда новые версии Spark потребуют конкретных изменений кода в Toree, мы создадим ответвления для поддержки старых версий Spark.

На данный момент мы поддерживаем несколько веток для устаревших версий Spark. Таблица ниже показывает, что доступно сейчас.

| Ветвь | Версия Apache Spark |
| --- | --- |
| [master][master] | 3.x.x |
| [0.4.x][0.4.x] | 2.x.x |
| [0.1.x][0.1.x] | 1.6+ |

Обратите внимание, что в основном новые функции будут добавляться в ветку master.

**Ресурсы**

В настоящее время мы улучшаем нашу документацию, которая доступна на нашем [веб-сайте][documentation].

[1]: https://spark.apache.org/

[website]: https://toree.apache.org
[documentation]: https://toree.apache.org/docs/current/user/quick-start/
[issues]: https://issues.apache.org/jira/browse/TOREE
[build-badge]: https://github.com/apache/incubator-toree/actions/workflows/build.yml/badge.svg
[build-url]: https://github.com/apache/incubator-toree/actions/workflows/build.yml
[license-badge]: https://img.shields.io/badge/License-Apache%202-blue.svg?style=flat
[license-url]: LICENSE
[gitter-badge]: https://badges.gitter.im/Join%20Chat.svg
[gitter-url]: https://gitter.im/apache/toree
[try-jupyter]: https://try.jupyter.org
[mail-list]: mailto:dev@toree.apache.org

[master]: https://github.com/apache/incubator-toree
[0.1.x]: https://github.com/apache/incubator-toree/tree/0.1.x
[0.4.x]: https://github.com/apache/incubator-toree/tree/0.4.x