setConnector и setRepository в Setl, которые принимают объект типа Connector/SparkRepository

0.3.4 (2019-12-06)

• Добавлен кэш чтения в репозиторий Spark, чтобы избежать последовательного ввода-вывода на диск.
• В аннотацию Delivery добавлена опция autoLoad, чтобы DeliverableDispatcher мог по-прежнему обрабатывать внедрение зависимостей в случае, когда доставка отсутствует, но соответствующий репозиторий присутствует.
• В аннотации Delivery добавлена опция condition для предварительной фильтрации загружаемых данных при установке autoLoad в значение true.
• В аннотацию Delivery добавлен параметр id. Dispatcher доставки будет сопоставлять доставки по идентификатору в дополнение к типу полезной нагрузки. По умолчанию идентификатор представляет собой пустую строку («»).
• В DCContext добавлен метод setConnector. Каждый соединитель должен поставляться с идентификатором. По умолчанию идентификатором будет путь его конфигурации.
• Поддерживаются пути с подстановочными знаками для SparkRepository и Connector.
• Добавлен JDBCConnector.

0.3.3 (2019-10-22)

• Добавлен SnappyCompressor.
• В Stage и Factory добавлены методы persist(persistence: Boolean) для активации/деактивации сохранения выходных данных. По умолчанию сохранение выходных данных установлено в true.
• Для Dataset и DataFrame добавлен неявный метод filter(cond: Set[Condition]).
• В SparkRepository добавлены setUserDefinedSuffixKey и getUserDefinedSuffixKey.

0.3.2 (2019-10-14)

• Добавлена аннотация @Compress. SparkRepository будет сжимать все столбцы, имеющие эту аннотацию, с помощью Compressor (по умолчанию используется компрессор XZCompressor).

case class CompressionDemo(@Compress col1: Seq[Int],
                           @Compress(compressor = classOf[GZIPCompressor]) col2: Seq[String])

• Реализованы интерфейсы Compressor и XZCompressor, GZIPCompressor.
• Добавлены SparkRepositoryAdapter[A, B]. Он позволит SparkRepository[A] записывать/считывать хранилище данных типа B с использованием неявного DatasetConverter[A, B].
• Добавлен признак Converter[A, B], который обрабатывает преобразование между объектом типа A и объектом типа B.
• Добавлен абстрактный класс DatasetConverter[A, B], расширяющий Converter[Dataset[A], Dataset[B]].
• Автоматически исправляется ошибка метода SparkRepository.findby(conditions), когда мы фильтруем по имени поля класса case вместо имени столбца.
• Добавлен DCContext, упрощающий создание SparkSession, SparkRepository, Connector и Pipeline.
• Добавлен конструктор для ConfigLoader для упрощения создания объекта ConfigLoader.
• В JSONConnector добавлены методы readStandardJSON и writeStandardJSON для чтения/записи файла формата стандартного JSON.

0.3.1 (2019-08-23)

• В классе Stage добавлен последовательный режим. Его можно включить, установив для параметра parallel значение true.
• Во внешнем описании потока данных добавлено описание потока данных в описании конвейера.
• В ConfigLoader добавлен метод beforeAll.
• Введены новые методы addStage и addFactory, принимающие объект класса в качестве входных данных. Создание экземпляра будет обрабатываться этапом.
• Из всех методов признака Repository удалён неявный аргумент encoder.
• В Pipeline добавлен новый метод get: get[A](cls: Class[_ <: Factory[_]): A.

0.3.0 (2019-07-22)

Новые функции

• Добавлена аннотация Delivery для обработки входных данных фабрики.

  class Foo {
    @Delivery(producer = classOf[Factory1], optional = true)
    var input1: String = _
  
    @Delivery(producer = classOf[Factory2])
    var input2: String = _
  }
• В FileConnector и SparkRepository добавлен необязательный аргумент suffix.
• В FileConnector и SparkRepository добавлен метод partitionBy.
• При чтении каталога FileConnector теперь можно фильтровать по шаблону имени. Для этого добавьте filenamePattern в файл конфигурации.
• Появилась возможность создать объект Conf из Map.

  Conf(Map("a" -> "A"))
• Улучшена совместимость Hadoop и S3 для коннекторов.

Функции разработчика

• Добавлен класс DispatchManager. Он будет отправлять свой объект Deliverable установщикам (обозначенным @Delivery) фабрики.
• Добавлен класс Deliverable, который...