Python 调用jenkins接口自动发布脚本

#!/opt/venv/bin/python
# coding: utf-8
# author: —

import jenkins
import sys
import threading
import time

url_dict={‘qa’:’http://xx.xx.xx.xx/jenkins/’,
‘jq’:’http://xx.xx.xx.xx/jenkins’,
‘prd’:’http://xx.xx.xx.xx/jenkins’}

username_dict={‘qa’:’admin’,’jq’:’admin’,’prd’:’admin’}

token_dict={‘qa’:’009753b3087cdc9be9c76c9a40f0f99a’,
‘jq’:’5a2ded6a567f5b76d23e8e0c241fc478′,
‘prd’:’5a2ded6a567f5b76d23e8e0c241fc478′}
str = “-”
env2job_dict={‘qa-routine’:”checkout_rls”,’qa-emergy’:”checkout_full”,’prd’:”checkout_zxq_rls2rls”}
help=”’For example:
#不切分支
./jenkins_deploy.py rebuild qa-job1,qa-job2,qa-job3
#qa例行发布
./jenkins_deploy.py qa-routine qa-job1,qa-job2,qa-job3,qa-job4
#qa紧急发布
./jenkins_deploy.py qa-emergy qa-job1,qa-job2,qa-job3
#生产、预生产发布
./jenkins_deploy.py prd prd-job1,prd-job2,prd-job3,prd-job4”’

class myjenkins:
def __init__(self,env):
self.server = jenkins.Jenkins(url_dict[env],
username=username_dict[env],
password=token_dict[env])

def build_job(self,job_name,param_dict=”):
next_build_num=self.server.get_job_info(job_name)[‘nextBuildNumber’]
if param_dict==”:
self.server.build_job(job_name)
else:
self.server.build_job(job_name,parameters=param_dict)
while 1:
try:
result=self.server.get_build_info(job_name,next_build_num)
if (result[‘result’] != None) and (result[‘building’] == False):
break
except:
continue
print(“%s(%s) build %s” %(job_name,result[‘displayName’],result[‘result’]))
return result[‘result’]

@staticmethod
def usage():
print(help)

def func(job_name,branch_do):
job_name=job_name.strip()
env = job_name.split(‘-‘)[0]
project_name = job_name.split(‘-‘)[1:]
project_name = str.join(project_name)
#newrvm特殊
project_name = project_name.strip(‘-BJ’)
project_name = project_name.strip(‘-SH’)
project_name = project_name.strip(‘-GB’)
project_name = project_name.strip(‘-SH-Auding’)
project_name = project_name.strip(‘-SH-Old’)

a = myjenkins(env)
if branch_do != ‘rebuild’:
checkout_result = a.build_job(env2job_dict[branch_do], {‘ProjectName’: project_name})
else:
checkout_result = ‘SUCCESS’

if checkout_result == ‘SUCCESS’:
a.build_job(job_name)
else:
print(“Checkout % failed” % (job_name))

def main():
branch_do=sys.argv[1]

if branch_do == ‘–help’:
myjenkins.usage()
exit()

jobs = sys.argv[2]
jobs=jobs.split(‘,’)

if jobs != []:
for job_name in jobs:
S=threading.Thread(target=func,args=(job_name,branch_do))
S.start()
time.sleep(15) #不sleep的话,切分支会抓到同一个next_build_num

if __name__ == ‘__main__’:
main()

mongos进程检测脚本-shell

#!/bin/bash

while true
do
pid=`cat /app/data/mongodb/pid`
PID=`ps -ef | grep mongo | grep config | awk ‘{print $2}’`
if [ $PID -eq $pid ];then
date
echo “mongos is running”
sleep 300
else
echo “mongos restarted”
mongos –config /app/svr/mongodb/mongos.yaml
sleep 300
fi
done

知识点1:while循环的话,一定要在每个命令下面加上sleep延时,以免程序出错。
知识点2:date指打印出时间
知识点3:启动脚本不建议用crontab,一般用nohup ./*.sh &

grep知识点

ansible中hosts的文件如下:
[prd-sp-xx]
x.x.x.x
x.x.x.x
[pp-sp-xx]
x.x.x.x
x.x.x.x
[qa-sp-xx]
x.x.x.x
x.x.x.x
[dev-sp-xx]
x.x.x.x
x.x.x.x

对于该格式的内容,如何过滤出想要的内容
cat /etc/ansible/hosts | grep -A 2 prd- | grep -v -E “\[|–”
知识点1:grep -A 2 prd-
就是过滤出包含prd标题及下面2行
知识点2:grep -E “file1|file2”
就是多个file利用管道连接执行
备注:grep -E就是’egrep’

自动推送微信公共账号群消息

微信公众平台的基础接口没有推送群消息的api(高级接口貌似也没有),所以用python写了个程序模拟微信公众平台的post请求来实现这个功能,附带实现了发送消息给单个用户。

需要的模块

requests:给人用的HTTP请求模块,python自带的urllib和urllib2实在是难用。requests支持会话模式,意思就是所有的请求都用一个实例,共享同一个cookies,十分方便。具体参考官方文档(中文):http://cn.python-requests.org/zh_CN/latest/index.html

实现

requests.seesion()就是会话模式

首先设置主请求头

然后login()函数登录,获取token。发送的密码用md5加密

最后masssend()函数发送群消息

singlesend()函数用来给单人发送消息,形参tofakeid不是用户的微信号,并且和api中”FromUserName 发送方帐号”也不一样,这样就没办法将用户直接关联起来,只能手动观察绑定-。-

ps:如果在本机浏览器上登录了微信公众平台,然后在另一个电脑上运行脚本,可能会导致脚本登录失败,解决的办法是退出本机登录。

自动化日常巡检程序-Python实现

程序说明

程序是通过使用python实现ssh连接到服务器去实行shell脚本,返回数据,并且生成excel,对不正常指标进行标红处理。

Python要实现ssh连接服务器还需要其他模块。

python-2.7.5、paramiko-1.15.2、xlwt-1.0.0

程序流程

daily check

由于这边是在windows下面执行的,下面我将改成在linux系统下面执行

程序结构与程序说明

此程序由主程序、主机信息文件、命令文件三个文件组成。

` daily_check.py <此文件是python的主程序
` 日期ycq.txt <生成的巡检信息文件
` check.log <日志文件
| hosts <存放着要执行那些命令和检查那些主机的文件
|     ` host.info <存放着需要巡检的主机IP和用户名密码
|     `xx.xx.xx.xx.sh<–脚本文件生成下面的文件
|     ` xx.xx.xx.xx.cmd <存放相关主机需要执行的命令
执行了daily_check.py生成了xunjian.txt文件,我们需要将文件的内容都拷贝到一个excel文件中查看。

并标出相关的预警的信息。如下:

daily check上图显示了5列:

  • 项目:检查了什么。
  • 命令:检查使用的命令。
  • 基线:比对的标准。
  • 巡检情况:检查出来的信息。
  • 主机:是在那台主机上检查的。
    • *.cmd文件

    此文件存放了巡检需要执行的命令、校验标准和命令是检查什么项目的,如下图:

    daily check
  • 以上文件的每一行分为3个部分:
    • 校验项目。
    • 校验shell命令。
    • 校验标准:校验标准指定一个操作符号(>、<、=),具体用途例如:<85% 如果检查出来的结果 >85%就超标了。

    以上三个部分是使用 “#” 分割(注意:请在命令中避免使用 “#”,以免出现程序分割错误)。

    host.info文件

    此文件中存放了需要巡检的主机的IP和用户名信息,它们使用空格分开,如果有不需要巡检的主机可以在里面使用 (#) 在注释,和shell脚本的注释是一样的。如图:

    daily check

如果有行的服务器需要巡检,需要添加相关 主机 信息到此文件中。

执行巡检先要执行xx.xx.xx.xx.sh脚本,生产xx.xx.xx.xx.cmd,然后再执行主程序daliy_check.py,现将脚本贴到下面:
1.主程序:daliy_check.py
#!/bin/env python
# -*- coding:utf-8 -*-

# program: ssh remote execute command
#          genaral data story local
# author: ycq
# date: 2017-08-18

import sys
import paramiko
import xlwt
import time
from datetime import datetime
import logging

logging.basicConfig(level=logging.INFO,
format=’%(asctime)s %(name)-12s %(levelname)-8s %(message)s’,
filename=’check.log’,
filemode=’w’,
datefmt=’%Y-%m-%d %X’)
reload(sys)
ISOTIMEFORMAT=’%Y-%m-%d’
sys.setdefaultencoding(‘utf-8’)

def header(work_sheet):
work_sheet.write(0, 0, ‘检查项目’, style0)
work_sheet.write(0, 1, ‘命令’, style0)
work_sheet.write(0, 2, ‘基准’, style0)
work_sheet.write(0, 3, ‘检查结果’, style0)
work_sheet.write(0, 4, ‘检查主机’, style0)
logging.info(‘header add ok!’)
return work_sheet

def run_host_sh(host, port, username, password, work_sheet):
ssh = paramiko.SSHClient()
command_file = open(‘./hosts/’ + host + ‘.cmd’, ‘r’)

for line in command_file.readlines():
rows = len(work_sheet.rows)
line = line.strip(‘\n’)
items = line.split(‘:’)

check_type = items[0].decode(‘utf-8’).encode(‘utf-8’)
check_cmd = items[1].decode(‘gbk’).encode(‘utf-8’)
check_base_line = items[2].decode(‘gbk’).encode(‘utf-8’)
opration = check_base_line[0:1]
base_value = check_base_line[1:]

work_sheet.write(rows, 0, check_type)
work_sheet.write(rows, 1, check_cmd)
work_sheet.write(rows, 2, check_base_line)

ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
try:
ssh.connect(host, port, username, password, key_filename=None, timeout=2)
except Exception, e:
logging.error(‘can not connect host: ‘ + host)
logging.error(‘command can not exec: ‘ + check_cmd)
logging.error(e)
continue
stdin, stdout, stderr = ssh.exec_command(check_cmd)
return_info = stdout.read().strip()

style_red = xlwt.easyxf(‘pattern: pattern solid, fore_colour red;’ +
‘font: name Times New Roman, color-index black, bold on;’ +
‘borders: left thick, right thick, top thick, bottom thick;’ +
‘align: horiz center’)

error_flag = False

if opration == ‘>’:
if str(base_value) > str(return_info):
error_flag = True
elif opration == ‘=’:
if str(return_info) != str(base_value):
error_flag = True
elif opration == ‘<‘:
if str(base_value) < str(return_info):
error_flag = True

if error_flag:
logging.warning(host + ‘ checked diff’)
logging.warning(‘command is: ‘ + check_cmd)
work_sheet.write(rows, 3, return_info.decode(‘gbk’).encode(‘utf-8’), style_red)
else:
work_sheet.write(rows, 3, return_info.decode(‘gbk’).encode(‘utf-8’))

work_sheet.write(rows, 4, ‘server IP: ‘ + host)

check_info = check_type + ‘\t’ + check_cmd + ‘\t’ + check_base_line + ‘\t’ + return_info
check_info = check_info.strip(‘\n’)
check_info += ‘\t’ + ‘server IP: ‘ + host
logging.info(check_info)
command_file.close()
ssh.close()
return work_sheet

if __name__==’__main__’:
#   try:
#     main()
#   except Exception,e:
#     print e

style0 = xlwt.easyxf(‘pattern: pattern solid, fore_colour yellow;’ +
‘font: name Times New Roman, color-index black, bold on;’ +
‘borders: left thick, right thick, top thick, bottom thick;’ +
‘align: horiz center’,
num_format_str=’0,000.00′)

work_book = xlwt.Workbook(encoding=’utf-8′)
work_sheet = work_book.add_sheet(‘A Test Sheet’)
work_sheet = header(work_sheet)

hosts_file = open(‘./hosts/host.info’, ‘r’)

for line in hosts_file.readlines():
if line[0:1] == ‘#’: continue
line = line.strip(‘\n’)
items = line.split()
port = 22
host = items[0]
username = items[1]
password = items[2]

work_sheet = run_host_sh(host, port, username, password, work_sheet)
logging.info(host + ‘ check finish !\n’)
file_pre = time.strftime(ISOTIMEFORMAT, time.localtime(time.time()))
work_book.save(file_pre + ‘_ycq.xls’)

2.host.info
xx.xx.xx.xx user passwd
3.xx.xx.xx.xx.sh
#!/bin/bash
disk=$(df -lP | grep -e ‘/alidata1$’ | awk ‘{print $5}’)
echo -e 磁盘空间:$disk:”<85%” > 10.14.12.20.cmd
used_free=$(free -m | sed -n ‘2p’ | awk ‘{printf(“%d%\n”,$3/$2*100)}’)
echo -e 已使用内存:$used_free:”<10%” >> 10.14.12.20.cmd

检查IP是否存活

#!/bin/bash
IP=10.14.12
NODE=1
while [ “$NODE” -lt “255” ];
do
echo -en “Pinging ${IP}.${NODE}…”
ping -c1 -w1 -t5 ${IP}.${NODE} >/dev/null 2>&1
if [ “$?” -eq “0” ];then
echo “ok”
else
echo “failed”
fi
let NODE=$NODE+1
done

nginx日志按天截取

编写cut_nginx_log.sh脚本,脚本如下:

#!/bin/bash
logs_path=/app/lb/tengine-2.1.1/logs
yesterday=$(date -d “yesterday” +%Y-%m-%d)
mv ${logs_path}/access.log ${logs_path}/access_${yesterday}.log
mv ${logs_path}/error.log ${logs_path}/error_${yesterday}.log
kill -USR1 $(cat $logs_path/nginx.pid)

 

写好脚本之后,增加crontab定时任务,每天的00:00做日志切割

0 0 * * * /bin/bash /app/lb/tengine-2.1.1/cut_nginx_log.sh

curl与wget高级用法

curl(文件传输工具)

常用参数如下:

使用示例:
例1:抓取页面到指定文件,如果有乱码可以使用iconv转码

例2:模拟浏览器头(user-agent)

例3:处理重定向页面

例4:模拟用户登陆,保存cookie信息到cookies.txt文件,再使用cookie登陆

例5:获取HTTP响应头headers

例6:访问HTTP认证页面

例7:通过ftp上传和下载文件

wget(文件下载工具)

常用参数如下:

使用示例:
例1:下载单个文件到当前目录下,也可以-P指定下载目录

例2:对于网络不稳定的用户可以使用-c和–tries参数,保证下载完成

例3:下载大的文件时,我们可以放到后台去下载,这时会生成wget-log文件来保存下载进度

例4:可以利用—spider参数判断网址是否有效

例5:自动从多个链接下载文件

例6:限制下载速度

例7:登陆ftp下载文件

 

Nexus安装、使用说明、问题总结

1 . 私服简介

  私服是架设在局域网的一种特殊的远程仓库,目的是代理远程仓库及部署第三方构件。有了私服之后,当 Maven 需要下载构件时,直接请求私服,私服上存在则下载到本地仓库;否则,私服请求外部的远程仓库,将构件下载到私服,再提供给本地仓库下载。

                                      

我们可以使用专门的 Maven 仓库管理软件来搭建私服,比如:Apache ArchivaArtifactorySonatype Nexus。这里我们使用 Sonatype Nexus。

2 . 安装Nexus

2 . 1 . 下载Nexus

  Nexus 专业版是需要付费的,这里我们下载开源版 Nexus OSS。Nexus 提供两种安装包,一种是包含 Jetty 容器的 bundle 包,另一种是不包含容器的 war 包。下载地址:http://www.sonatype.org/nexus/go

2 . 2 . 使用bundle安装包安装Nexus

解压安装包nexus-2.8.1-bundle.zip,打开命令提示符,进入/nexus-2.8.1-01目录,键入nexus命令(为方便启动和退出Nexus,可将bin目录添加到环境变量):

执行 nexus install 将Nexus安装为Windows服务。可将服务启动方式设为手动,以后通过 nexus start 即可启动Nexus ,通过 nexus stop 退出Nexus:

打开浏览器,访问:http://localhost:8081/nexus/:

点击右上角 Log In,使用用户名:admin ,密码:admin123 登录,可使用更多功能:

3 . Nexus预置的仓库

点击左侧 Repositories 链接,查看 Nexus 内置的仓库:

 

Nexus 的仓库分为这么几类:

  • hosted 宿主仓库:主要用于部署无法从公共仓库获取的构件(如 oracle 的 JDBC 驱动)以及自己或第三方的项目构件;
  • proxy 代理仓库:代理公共的远程仓库;
  • virtual 虚拟仓库:用于适配 Maven 1;
  • group 仓库组:Nexus 通过仓库组的概念统一管理多个仓库,这样我们在项目中直接请求仓库组即可请求到仓库组管理的多个仓库。

4 . 添加代理仓库

以 Sonatype 为例,添加一个代理仓库,用于代理 Sonatype 的公共远程仓库。点击菜单 Add – Proxy Repository :

填写Repository ID – sonatype;Repository Name – Sonatype Repository;

Remote Storage Location – http://repository.sonatype.org/content/groups/public/ ,save 保存:

将添加的 Sonatype 代理仓库加入 Public Repositories 仓库组。选中 Public Repositories,在 Configuration 选项卡中,将 Sonatype Repository 从右侧 Available Repositories 移到左侧 Ordered Group Repositories,save 保存:

5 . 搜索构件

为了更好的使用 Nexus 的搜索,我们可以设置所有 proxy 仓库的 Download Remote Indexes 为 true,即允许下载远程仓库索引。

索引下载成功之后,在 Browse Index 选项卡下,可以浏览到所有已被索引的构件信息,包括坐标、格式、Maven 依赖的 xml 代码:

有了索引,我们就可以搜索了:

6 . 配置Maven使用私服

私服搭建成功,我们就可以配置 Maven 使用私服,以后下载构件、部署构件,都通过私服来管理。

在 settings.xml 文件中,为所有仓库配置一个镜像仓库,镜像仓库的地址即私服的地址(这儿我们使用私服公共仓库组 Public Repositories 的地址):

复制代码
复制代码
    <mirrors>
            <mirror>
                <id>central</id>
                <mirrorOf>*</mirrorOf> <!-- * 表示让所有仓库使用该镜像--> 
                <name>central-mirror</name> 
                <url>http://localhost:8081/nexus/content/groups/public/</url>
            </mirror> 
    </mirrors>
复制代码
复制代码

 

PS1:私有maven仓库Nexus使用http与https协议

Http协议:没有问题

Https协议:

Could not GET 'https://some_server.com/some/path/some.pom'.
     > peer not authenticated 解决:

If you get any other error like this:

 Could not GET 'https://some_server.com/some/path/some.pom'.
     > peer not authenticated

Then you need to import a certificate:

keytool -import -alias <the short name of the server> -file <cert_file_name_you_exported.cer> -keystore cacerts -storepass changeit

It will prompt you to import the certificate, type yes and press enter.

Then restart your eclipse and try building the project.

摘自——http://www.cnblogs.com/bingyeh/p/5913486.html

 

为什么我的ansible copy模块非常慢?!

最近用ansible来做一些初始化的操作,其中有用到copy模块来拷贝一些东西,结果发现速度慢到哭,经网络监测,2G的带宽它才给我跑了10MB,百度依旧是没有好答案,只能谷歌,第一条stack overflow就给出解决方案(这里吐槽下某朝最近的严打活动。。。,没有了谷歌我们怎么活)

原文如下:

I’m using Ansible to copy a directory (900 files, 136MBytes) from one host to another:

---
- name: copy a directory
  copy: src={{some_directory}} dest={{remote_directory}}

This operation takes an incredible 17 minutes, while a simple scp -r <src> <dest> takes a mere 7 seconds.

I have tried the Accelerated mode, which according to the ansible docs “can be anywhere from 2-6x faster than SSH with ControlPersist enabled, and 10x faster than paramiko.”, but to no avail.

答案:

TLDR:

use synchronize instead of copy.

use synchronize instead of copy.

use synchronize instead of copy.

重要的事情说三遍!!!

Here’s the copy command I’m using:

- copy: src=testdata dest=/tmp/testdata/

As a guess, I assume the sync operations are slow. The files module documentation implies this too:

The “copy” module recursively copy facility does not scale to lots (>hundreds) of files. For alternative, see synchronize module, which is a wrapper around rsync.

Digging into the source shows each file is processed with SHA1. That’s implemented using hashlib.sha1. A local test implies that only takes 10 seconds for 900 files (that happen to take 400mb of space).

So, the next avenue. The copy is handled with module_utils/basic.py’s atomic_move method. I’m not sure if accelerated mode helps (it’s a mostly-deprecated feature), but I tried pipelining, putting this in a local ansible.cfg:

[ssh_connection]
pipelining=True

It didn’t appear to help; my sample took 24 minutes to run . There’s obviously a loop that checks a file, uploads it, fixes permissions, then starts on the next file. That’s a lot of commands, even if the ssh connection is left open. Reading between the lines it makes a little bit of sense- the “file transfer” can’t be done in pipelining, I think.

So, following the hint to use the synchronize command:

- synchronize: src=testdata dest=/tmp/testdata/

That took 18 seconds, even with pipeline=False. Clearly, the synchronize command is the way to go in this case.

Keep in mind synchronize uses rsync, which defaults to mod-time and file size. If you want or need checksumming, add checksum=True to the command. Even with checksumming enabled the time didn’t really change- still 15-18 seconds. I verified the checksum option was on by running ansible-playbook with -vvvv, that can be seen here:

ok: [testhost] => {"changed": false, "cmd": "rsync --delay-updates -FF --compress --checksum --archive --rsh 'ssh  -o StrictHostKeyChecking=no' --out-format='<<CHANGED>>%i %n%L' \"testdata\" \"user@testhost:/tmp/testdata/\"", "msg": "", "rc": 0, "stdout_lines": []}

E文不好的我给翻一下:

其实就是用synchronize替代copy模块,另外,在ansible.cfg文件中改如下:

[ssh_connection]
pipelining=False

然后去感受替换后的奇迹吧,骚年~