编写自己的ansible action plugin 置顶

2020/04/19 | ansible实战 | Zhiming Zhang | 暂无评论 | 5410 views

趁周末把ansible action plugin 写了一个简单的例子，我们日常工作中可能很少会用到action plugin ,但是如果我们能通过action plugin 做一些初始化的工作，例如设定一些默认值，这样我们的ansible playbook 可能会简介很多例如我们写了一个module需要传递2个参数，如果我们这个mod……

ansible filter (编写你自己的ansible filter) 置顶

2019/12/02 | Ansible 入门,ansible实战 | Zhiming Zhang | 暂无评论 | 5748 views

有时候我们写自己的playbook的时候变量处理真的是特别让人头大，有些变量的操作在python中就很简单，但是放到ansible playbook中就会很麻烦，所以，我们今天来看一下如何编写自己的ansible filter来帮助我们处理一下变量直接看例子吧：

#!/usr/bin/python
class FilterModule(object):
    def filters(self):
        return {
            'a_filter': self.a_filter,
            'another_filter': self.b_filter
        }

    def a_filter(self, a_variable):
        a_new_variable = a_variable + ' CRAZY NEW FILTER'
        return a_new_variable

1

2

3

4

5

6

7

8

9

10

11

#!/usr/bin/python

class FilterModule(object):

def filters(self):

return {

'a_filter': self.a_filter,

'another_filter': self.b_filter

}

def a_filter(self, a_variable):

a_new_variable = a_variable + ' CRAZY NEW FILTER'

return a_new_variable

我们来分……

如何创建自己的ansible module 置顶

2016/12/23 | 运维 | Zhiming Zhang | 3 条评论 | 18668 views

什么是 ansible module? Ansible modules 是一种使用python写成的一些功能块，可以在yaml文件中调用，也就是playbook中可以调用的模块，例如常见的模块 copy ， debug Ansible 本身就提供了很多很多的模块地址什么时候和什么情况下我们会需要自己写module? 绝大……

如何通过Python 自动寻找代理增加网站的流量(刷流量PV) 置顶

2016/12/03 | python | Zhiming Zhang | 1 条评论 | 11172 views

好吧，无聊的时候写了一个自动获取免费代理的文章连接地址既然我们获得了免费的代理列表，那么有很多事情可以干，比如，爬取某个网站并且没有被封IP的风险，比如，增加某网站的流量，下面是第一版，这个砖就给大家提供个思路，因为之前使用urllib2 来实现，但是问题是没有办法保持他的回话，也就是不能达到真正和浏览器一样的效果，所……

iowait 过高问题的查找及解决linux 置顶

2016/05/11 | 翻译,运维 | Zhiming Zhang | 5 条评论 | 24059 views

I/O问题一直是一个比较难定位的问题，今天线上环境遇到了I/O 引起的CPU负载问题，看到了如下这篇比较好的文章，完饭后的我还在和西红柿和黄瓜在减肥的路上抗争，正好将原文翻译成中文，供广大同胞品鉴 Linux 有许多可用来查找问题的简单工具，也有许多是更高级的 I/O Wait 就是一个需要使用高级的工具来de……

aws eks node 自动化扩展工具 Karpenter

2022/08/10 | 运维 | Zhiming Zhang | 暂无评论 | 759 views

我司现在使用的自动化扩展工具是ASG ，他可以做到自动根据cluster的一些指标进行增加或者删除node，一般以分钟为计时单位，几分钟可以创建出一个node Karpenter是一个新的自动扩缩容工具，不经过ASG，直接和ec2进行交互，可以做到秒级新增node 原理和其他的operator类似，需要在我们的eks中部署一个pod作……

ReplicationController and ReplicaSet in Kubernetes

2021/12/20 | 运维 | Zhiming Zhang | 暂无评论 | 936 views

RC 和RS 功能基本上来说一样，唯一的区别就是选择器 RS 是下一代的 RC ，支持更厉害的选择方法 RC 基本上支持的选择器就是 = ！= env = prod tier != frontend 但是，RS支持的就厉害了， env in (prod, qa) tier notin (frontend, backend)

public key fingerprint

2021/05/27 | 运维 | Zhiming Zhang | 暂无评论 | 1412 views

有时候我们本地有很多key，我们把对应的public key上传到对应的地方以后，坑爹的分不出来哪个是哪个例如gitlab， deploy keys, 只显示 fingerprint 这个时候，我们可以找到我们本地的公钥，通过如下命令生成fingerprint [crayon-647cf001d4fa9281969053/……

Index brackets must contain either a literal number or a literal string. terraform taint

2021/05/20 | 运维 | Zhiming Zhang | 暂无评论 | 1529 views

terraform taint aws_ecs_service.service[\”Worker-OnDemand\”] 转义双引号就可以了

aws eks 中的权限 AWS IAM 权限挂钩的

2021/05/14 | 运维 | Zhiming Zhang | 暂无评论 | 1890 views

首先，我们经常使用AWS的知道AWS 有IAM ，我们可以创建一些用户，或者role，然后赋予这些role一定的权限：例如，读写s3 ，那么谁拥有了这个role ，或者assume到这个role就获得了这些权限那么，我们如何和eks进行关联呢？例如：我现在公司里已经每个人有一个aws账号了，我想让一部分人只有 view的权限：例如 ……

asyncio python 协程

2021/05/08 | 运维 | Zhiming Zhang | 暂无评论 | 1679 views

python 中的协程其实就是一种高效的任务切换模式：遇到需要等待的（例如io等待），直接跳到其他任务去执行，不会傻傻的等到io结束才向下执行先看一个如果没有异步的例子：

import asyncio
import time


def func1():
    print("this is func1 ")
    time.sleep(2)
    print("this is end of func1")

def func2():
    print("this is func2 ")
    time.sleep(2)
    print("this is end of func2")




if __name__ == '__main__':
    func1()
    func2()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

import asyncio

import time

def func1():

print("this is func1 ")

time.sleep(2)

print("this is end of func1")

def func2():

print("this is func2 ")

time.sleep(2)

print("this is end of func2")

if __name__ == '__main__':

func1()

func2()

运行结果：

this is func1
this is end of func1
this is func2
this is end of func2
python asyntest.py 0.06s user 0.02s system 1% cpu 4.105 total

1

2

3

4

5

this is func1

this is end of func1

this is func2

this is end of func2

python asyntest.py 0.06s user 0.02s system 1% cpu 4.105 total

也就是说，我们如果……

如何快速分析我们存储在s3中的文件（日志）

2021/04/26 | aws | Zhiming Zhang | 暂无评论 | 1848 views

答案是aws Athena 我们会将很多日志存储到我们的s3,例如s3的读写日志，elb日志等但是由于s3的存储特殊，我们想要分析一段时间的日志非常麻烦，哪怕下载到本地也需要想办法导入其他工具分析现在aws提供了一个自己的工具让我们能使用SQL语句来直接查询我们s3里边的日志，不需要下载，非常强大他的原理很简单，其实就是创建了一个……

Route53 Routing policy

2021/04/22 | aws | Zhiming Zhang | 暂无评论 | 1564 views

AWS 的route53是一个非常强大的工具，除了我们常用的就是A记录，一个域名对应一个IP地址除了这个以外，Route53 的Routing policy 可以通过如下方式添加多条记录：这样添加以后，每次我们去查询，会给我们返回两个IP，我们的浏览器会挑选一个…..也就是说你随机访问这两个IP，这种rout……

aws 启用mfa以后，如何使用cli 命令行

2021/04/22 | aws | Zhiming Zhang | 暂无评论 | 1602 views

为了安全，很多账号都启用了二步认证，mfa，也就是你除了需要输入正确的账号密码以外，你还需要输入一个6位数字，这个数字是由硬件或者软件（google authenticator）绑定账号后生成，这样的话即使账号密码丢失也没事并且，启用mfa以后，你不可以直接使用export AWS_PROFILE=jerem……

限制读取s3的某个文件夹下文件的权限

2021/04/14 | aws | Zhiming Zhang | 暂无评论 | 1817 views

{
    "Statement": [
        {
            "Action": [
                "s3:ListBucket"
            ],
            "Condition": {
                "StringLike": {
                    "s3:prefix": [
                        "folder/2020/04/*"
                    ]
                }
            },
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::my-s3"
            ]
        },
        {
            "Action": [
                "s3:GetObject*"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::my-s3/folder/2020/04/*"
            ]
        }
    ],
    "Version": "2012-10-17"
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

{

"Statement": [

{

"Action": [

"s3:ListBucket"

],

"Condition": {

"StringLike": {

"s3:prefix": [

"folder/2020/04/*"

]

}

},

"Effect": "Allow",

"Resource": [

"arn:aws:s3:::my-s3"

]

},

{

"Action": [

"s3:GetObject*"

],

"Effect": "Allow",

"Resource": [

"arn:aws:s3:::my-s3/folder/2020/04/*"

]

}

],

"Version": "2012-10-17"

}

例如我们只想开放给某个role 我们s3中特定的一个文件夹下的东西我的s3 叫my-s3 GetObject 是说如果你知道路径了，直接下载没问题，但是如果你想使用一些

--recursive

1	--recursive

这种下……