Слияние кода завершено, страница обновится автоматически
Требуется Python версии 2.x (>=2.6).
Для генерации отчёта HiBench требуется bc.
Поддерживаемая версия Hadoop: Apache Hadoop 2.x, CDH5.x, HDP.
Соберите HiBench в соответствии с инструкциями из файла build-hibench.md.
Запустите HDFS и Yarn в кластере.
hadoop.conf
Создайте и отредактируйте файл conf/hadoop.conf:
cp conf/hadoop.conf.template conf/hadoop.conf
Правильно задайте следующие свойства:
| Свойство | Значение |
|---|---|
| hibench.hadoop.home | Расположение установки Hadoop |
| hibench.hadoop.executable | Путь к исполняемому файлу Hadoop. Для Apache Hadoop это /YOUR/HADOOP/HOME/bin/hadoop |
| hibench.hadoop.configure.dir | Каталог конфигурации Hadoop. Для Apache Hadoop это /YOUR/HADOOP/HOME/etc/hadoop |
| hibench.hdfs.master | Корневой путь HDFS для хранения данных HiBench, например, hdfs://localhost:8020/user/username |
| hibench.hadoop.release | Поставщик выпуска Hadoop. Допустимое значение: apache |
Примечание: Пользователи CDH и HDP должны правильно обновить значения свойств hibench.hadoop.executable, hibench.hadoop.configure.dir и hibench.hadoop.release. По умолчанию используется значение для Apache release.
Для запуска отдельной рабочей нагрузки, такой как wordcount, выполните следующие команды:
bin/workloads/micro/wordcount/prepare/prepare.sh
bin/workloads/micro/wordcount/hadoop/run.sh
Команда prepare.sh запускает задание Hadoop для создания входных данных в HDFS. Команда run.sh отправляет задание Hadoop в кластер.
Команду bin/run_all.sh можно использовать для запуска всех рабочих нагрузок, перечисленных в файлах conf/benchmarks.lst и conf/frameworks.lst.
Файл <HiBench_Root>/report/hibench.report представляет собой сводный отчёт о рабочей нагрузке, включая имя рабочей нагрузки, продолжительность выполнения, размер данных, пропускную способность на кластер и пропускную способность на узел.
В каталоге отчётов также содержится дополнительная информация для отладки и настройки.
<workload>/hadoop/bench.log: Исходные журналы на стороне клиента.<workload>/hadoop/monitor.html: Результаты мониторинга использования системы.<workload>/hadoop/conf/<workload>.conf: Сгенерированные конфигурации переменных среды для этой рабочей нагрузки.Чтобы изменить размер входных данных, вы можете установить свойство hibench.scale.profile в файле conf/hibench.conf. Доступные значения: tiny, small, large, huge, gigantic и bigdata. Определение этих профилей можно найти в файле конфигурации рабочей нагрузки, например, conf/workloads/micro/wordcount.conf.
Измените следующие свойства в файле conf/hibench.conf, чтобы контролировать параллелизм.
| Свойство | Значение |
|---|---|
| hibench.default.map.parallelism | Количество мапперов в Hadoop |
| hibench.default.shuffle.parallelism | Количество редукторов в Hadoop |
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )