1 В избранное 0 Ответвления 0

OSCHINA-MIRROR/wangjiankui-Scavenger

Присоединиться к Gitlife
Откройте для себя и примите участие в публичных проектах с открытым исходным кодом с участием более 10 миллионов разработчиков. Приватные репозитории также полностью бесплатны :)
Присоединиться бесплатно
В этом репозитории не указан файл с открытой лицензией (LICENSE). При использовании обратитесь к конкретному описанию проекта и его зависимостям в коде.
Клонировать/Скачать
History 1.3 КБ
Копировать Редактировать Web IDE Исходные данные Просмотреть построчно История
王建奎Jerrick Отправлено 28.04.2014 11:30 4c22de8
----------------------------------------------------------------------
v0.1 : Python 抓取Html,判断时间,超时执行系统命令Kill Job,然后邮件出来
page 1: job_id,Map Total, Map Completed, Reduce Total,Reduce Completed
page 2: Submit Host,Submit Host Address, Started at,Running for,runtime
page 3: hive.query.string
----------------------------------------------------------------------
2013.03:
python抓取页面,正则匹配出所需信息(job_id,mappers,reduces | Submit Host,Submit Host Address, Started at,Running for,runtime|)
2013.03~2013.10:
none
2013.11:
弃用正则匹配,使用BeautifulSoup解析html
使用Git管理版本
2013.12
BS4不适用所有场景,保持正则+BS共用
2013.12.26:基础骨架打通, next=>MAXTIME,MAXMAP,地址写到conf中
2014.01
2014.01.04:加入配置文件和配置文件读取函数 next=>邮件函数
2014.01.10:大改造,从过程+对象=>scavenger+job对象
2014.01.15:对象化完成, 继续重构
2014.04
优化点:
1. scavenger.py #56,57,58 三行的地址一定要修改成本公司的地址,如:hd00:50030
2. scavenger.py #148行 的sys_cmd修改成适合本公司和机器的命令,如:sys_cmd = "hadoop job -kill %s" % " ".join(self.kill_list)
3. 封装. env 和scavenger.py 到bin

Опубликовать ( 0 )

Вы можете оставить комментарий после Вход в систему

1
https://api.gitlife.ru/oschina-mirror/wangjiankui-Scavenger.git
git@api.gitlife.ru:oschina-mirror/wangjiankui-Scavenger.git
oschina-mirror
wangjiankui-Scavenger
wangjiankui-Scavenger
master