Слияние кода завершено, страница обновится автоматически
Для простой сборки всех модулей в HiBench используйте следующую команду. Это может занять много времени, поскольку hadoopbench зависит от сторонних инструментов вроде Mahout и Nutch. Процесс сборки автоматически скачает эти инструменты для вас. Если вы не будете запускать эти рабочие нагрузки, то можете собрать только определённый фреймворк, чтобы ускорить процесс сборки.
mvn -Dspark=2.4 -Dscala=2.11 clean package
HiBench 6.0 поддерживает сборку только бенчмарков для определённого фреймворка. Например, чтобы собрать только бенчмарки Hadoop, можно использовать следующую команду:
mvn -Phadoopbench -Dspark=2.4 -Dscala=2.11 clean package
Чтобы собрать бенчмарки Hadoop и Spark:
mvn -Phadoopbench -Psparkbench -Dspark=2.4 -Dscala=2.11 clean package
Поддерживаемые фреймворки включают: hadoopbench, sparkbench, flinkbench, stormbench, gearpumpbench.
Чтобы указать версию Scala, используйте -Dscala=xxx (2.11 или 2.12). По умолчанию сборка идёт для Scala 2.11.
mvn -Dscala=2.11 clean package
Советы: Поскольку некоторые плагины Maven не могут идеально поддерживать версию Scala, есть исключения.
Чтобы указать версию Spark, используйте -Dspark=xxx (2.4 или 3.0). По умолчанию идёт сборка для Spark 2.4.
mvn -Psparkbench -Dspark=2.4 -Dscala=2.11 clean package
Советы:
Когда версия Spark указана как Spark 2.4, версия Scala по умолчанию указывается как Scala 2.11. Например, если мы хотим использовать Spark 2.4 и Scala 2.11 для сборки hibench, мы просто используем команду mvn -Dspark=2.4 clean package, но для Spark 2.4 и Scala 2.11 нам нужно использовать команду mvn -Dspark=2.4 -Dscala=2.11 clean package. Аналогично, Spark 2.4 связан со Scala 2.11 по умолчанию.
Чтобы указать версию Hadoop, используйте -Dhadoop=xxx (2.4 или 3.2). По умолчанию идёт сборка для Hadoop 3.2.
mvn -Phadoopbench -Dhadoop=2.4 -Dhive=0.14 clean package
Чтобы указать версию Hive, используйте -Dhive=xxx (0.14 или 3.0). По умолчанию идёт сборка для Hive 3.0.
mvn -Phadoopbench -Dhadoop=2.4 -Dhive=0.14 clean package
Если вам интересен только один модуль в HiBench, вы можете его собрать. Например, следующая команда собирает только SQL-нагрузки для Spark.
mvn -Psparkbench -Dmodules -Psql -Dspark=2.4 -Dscala=2.11 clean package
Поддерживаемые модули включают: micro, ml (машинное обучение), sql, websearch, graph, streaming, structuredStreaming (Spark 2.0 или выше) и dal.
Для Spark 2.0 и более поздних версий добавлена поддержка бенчмарков для Structured Streaming. Это новый модуль, который нельзя скомпилировать в Spark 1.6. И он не будет компилироваться по умолчанию, даже если вы укажете версию Spark как 2.0 или более позднюю. Вы должны явно указать это следующим образом:
mvn -Psparkbench -Dmodules -PstructuredStreaming clean package
По умолчанию модуль dal не собирается и должен быть включён явно путём добавления "-Dmodules -Pdal", например:
mvn -Psparkbench -Dmodules -Pml -Pdal -Dspark=2.4 -Dscala=2.11 clean package
В настоящее время в DAL доступен только один рабочий процесс KMeans. Чтобы запустить рабочую нагрузку, установите DAL и настройте среду, следуя инструкциям на странице https://github.com/intel/daal.
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )