Слияние кода завершено, страница обновится автоматически
----------------------------------------------------------------------
v0.1 : Python 抓取Html,判断时间,超时执行系统命令Kill Job,然后邮件出来
page 1: job_id,Map Total, Map Completed, Reduce Total,Reduce Completed
page 2: Submit Host,Submit Host Address, Started at,Running for,runtime
page 3: hive.query.string
----------------------------------------------------------------------
2013.03:
python抓取页面,正则匹配出所需信息(job_id,mappers,reduces | Submit Host,Submit Host Address, Started at,Running for,runtime|)
2013.03~2013.10:
none
2013.11:
弃用正则匹配,使用BeautifulSoup解析html
使用Git管理版本
2013.12
BS4不适用所有场景,保持正则+BS共用
2013.12.26:基础骨架打通, next=>MAXTIME,MAXMAP,地址写到conf中
2014.01
2014.01.04:加入配置文件和配置文件读取函数 next=>邮件函数
2014.01.10:大改造,从过程+对象=>scavenger+job对象
2014.01.15:对象化完成, 继续重构
2014.04
优化点:
1. scavenger.py #56,57,58 三行的地址一定要修改成本公司的地址,如:hd00:50030
2. scavenger.py #148行 的sys_cmd修改成适合本公司和机器的命令,如:sys_cmd = "hadoop job -kill %s" % " ".join(self.kill_list)
3. 封装. env 和scavenger.py 到bin
Вы можете оставить комментарий после Вход в систему
Неприемлемый контент может быть отображен здесь и не будет показан на странице. Вы можете проверить и изменить его с помощью соответствующей функции редактирования.
Если вы подтверждаете, что содержание не содержит непристойной лексики/перенаправления на рекламу/насилия/вульгарной порнографии/нарушений/пиратства/ложного/незначительного или незаконного контента, связанного с национальными законами и предписаниями, вы можете нажать «Отправить» для подачи апелляции, и мы обработаем ее как можно скорее.
Опубликовать ( 0 )