编写自己的ansible action plugin 置顶

2020/04/19 | ansible实战 | Zhiming Zhang | 暂无评论 | 2625 views

趁周末把ansible action plugin 写了一个简单的例子，我们日常工作中可能很少会用到action plugin ,但是如果我们能通过action plugin 做一些初始化的工作，例如设定一些默认值，这样我们的ansible playbook 可能会简介很多例如我们写了一个module需要传递2个参数，如果我们这个mod……

ansible filter (编写你自己的ansible filter) 置顶

2019/12/02 | Ansible 入门,ansible实战 | Zhiming Zhang | 暂无评论 | 3141 views

有时候我们写自己的playbook的时候变量处理真的是特别让人头大，有些变量的操作在python中就很简单，但是放到ansible playbook中就会很麻烦，所以，我们今天来看一下如何编写自己的ansible filter来帮助我们处理一下变量直接看例子吧：

#!/usr/bin/python
class FilterModule(object):
    def filters(self):
        return {
            'a_filter': self.a_filter,
            'another_filter': self.b_filter
        }

    def a_filter(self, a_variable):
        a_new_variable = a_variable + ' CRAZY NEW FILTER'
        return a_new_variable

1

2

3

4

5

6

7

8

9

10

11

#!/usr/bin/python

class FilterModule(object):

def filters(self):

return {

'a_filter': self.a_filter,

'another_filter': self.b_filter

}

def a_filter(self, a_variable):

a_new_variable = a_variable + ' CRAZY NEW FILTER'

return a_new_variable

我们来分……

如何创建自己的ansible module 置顶

2016/12/23 | 运维 | Zhiming Zhang | 3 条评论 | 12675 views

什么是 ansible module? Ansible modules 是一种使用python写成的一些功能块，可以在yaml文件中调用，也就是playbook中可以调用的模块，例如常见的模块 copy ， debug Ansible 本身就提供了很多很多的模块地址什么时候和什么情况下我们会需要自己写module? 绝大……

如何通过Python 自动寻找代理增加网站的流量(刷流量PV) 置顶

2016/12/03 | python | Zhiming Zhang | 1 条评论 | 7947 views

好吧，无聊的时候写了一个自动获取免费代理的文章连接地址既然我们获得了免费的代理列表，那么有很多事情可以干，比如，爬取某个网站并且没有被封IP的风险，比如，增加某网站的流量，下面是第一版，这个砖就给大家提供个思路，因为之前使用urllib2 来实现，但是问题是没有办法保持他的回话，也就是不能达到真正和浏览器一样的效果，所……

iowait 过高问题的查找及解决linux 置顶

2016/05/11 | 翻译,运维 | Zhiming Zhang | 5 条评论 | 17201 views

I/O问题一直是一个比较难定位的问题，今天线上环境遇到了I/O 引起的CPU负载问题，看到了如下这篇比较好的文章，完饭后的我还在和西红柿和黄瓜在减肥的路上抗争，正好将原文翻译成中文，供广大同胞品鉴 Linux 有许多可用来查找问题的简单工具，也有许多是更高级的 I/O Wait 就是一个需要使用高级的工具来de……

public key fingerprint

2021/05/27 | 运维 | Zhiming Zhang | 暂无评论 | 254 views

有时候我们本地有很多key，我们把对应的public key上传到对应的地方以后，坑爹的分不出来哪个是哪个例如gitlab， deploy keys, 只显示 fingerprint 这个时候，我们可以找到我们本地的公钥，通过如下命令生成fingerprint [crayon-610754eee9c11880476081/……

Index brackets must contain either a literal number or a literal string. terraform taint

2021/05/20 | 运维 | Zhiming Zhang | 暂无评论 | 291 views

terraform taint aws_ecs_service.service[\”Worker-OnDemand\”] 转义双引号就可以了

aws eks 中的权限 AWS IAM 权限挂钩的

2021/05/14 | 运维 | Zhiming Zhang | 暂无评论 | 331 views

首先，我们经常使用AWS的知道AWS 有IAM ，我们可以创建一些用户，或者role，然后赋予这些role一定的权限：例如，读写s3 ，那么谁拥有了这个role ，或者assume到这个role就获得了这些权限那么，我们如何和eks进行关联呢？例如：我现在公司里已经每个人有一个aws账号了，我想让一部分人只有 view的权限：例如 ……

asyncio python 协程

2021/05/08 | 运维 | Zhiming Zhang | 暂无评论 | 313 views

python 中的协程其实就是一种高效的任务切换模式：遇到需要等待的（例如io等待），直接跳到其他任务去执行，不会傻傻的等到io结束才向下执行先看一个如果没有异步的例子：

import asyncio
import time


def func1():
    print("this is func1 ")
    time.sleep(2)
    print("this is end of func1")

def func2():
    print("this is func2 ")
    time.sleep(2)
    print("this is end of func2")




if __name__ == '__main__':
    func1()
    func2()

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

import asyncio

import time

def func1():

print("this is func1 ")

time.sleep(2)

print("this is end of func1")

def func2():

print("this is func2 ")

time.sleep(2)

print("this is end of func2")

if __name__ == '__main__':

func1()

func2()

运行结果：

this is func1
this is end of func1
this is func2
this is end of func2
python asyntest.py 0.06s user 0.02s system 1% cpu 4.105 total

1

2

3

4

5

this is func1

this is end of func1

this is func2

this is end of func2

python asyntest.py 0.06s user 0.02s system 1% cpu 4.105 total

也就是说，我们如果……

如何快速分析我们存储在s3中的文件（日志）

2021/04/26 | aws | Zhiming Zhang | 暂无评论 | 341 views

答案是aws Athena 我们会将很多日志存储到我们的s3,例如s3的读写日志，elb日志等但是由于s3的存储特殊，我们想要分析一段时间的日志非常麻烦，哪怕下载到本地也需要想办法导入其他工具分析现在aws提供了一个自己的工具让我们能使用SQL语句来直接查询我们s3里边的日志，不需要下载，非常强大他的原理很简单，其实就是创建了一个……

Route53 Routing policy

2021/04/22 | aws | Zhiming Zhang | 暂无评论 | 358 views

AWS 的route53是一个非常强大的工具，除了我们常用的就是A记录，一个域名对应一个IP地址除了这个以外，Route53 的Routing policy 可以通过如下方式添加多条记录：这样添加以后，每次我们去查询，会给我们返回两个IP，我们的浏览器会挑选一个…..也就是说你随机访问这两个IP，这种rout……

aws 启用mfa以后，如何使用cli 命令行

2021/04/22 | aws | Zhiming Zhang | 暂无评论 | 349 views

为了安全，很多账号都启用了二步认证，mfa，也就是你除了需要输入正确的账号密码以外，你还需要输入一个6位数字，这个数字是由硬件或者软件（google authenticator）绑定账号后生成，这样的话即使账号密码丢失也没事并且，启用mfa以后，你不可以直接使用export AWS_PROFILE=jerem……

限制读取s3的某个文件夹下文件的权限

2021/04/14 | aws | Zhiming Zhang | 暂无评论 | 421 views

{
    "Statement": [
        {
            "Action": [
                "s3:ListBucket"
            ],
            "Condition": {
                "StringLike": {
                    "s3:prefix": [
                        "folder/2020/04/*"
                    ]
                }
            },
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::my-s3"
            ]
        },
        {
            "Action": [
                "s3:GetObject*"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::my-s3/folder/2020/04/*"
            ]
        }
    ],
    "Version": "2012-10-17"
}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

{

"Statement": [

{

"Action": [

"s3:ListBucket"

],

"Condition": {

"StringLike": {

"s3:prefix": [

"folder/2020/04/*"

]

}

},

"Effect": "Allow",

"Resource": [

"arn:aws:s3:::my-s3"

]

},

{

"Action": [

"s3:GetObject*"

],

"Effect": "Allow",

"Resource": [

"arn:aws:s3:::my-s3/folder/2020/04/*"

]

}

],

"Version": "2012-10-17"

}

例如我们只想开放给某个role 我们s3中特定的一个文件夹下的东西我的s3 叫my-s3 GetObject 是说如果你知道路径了，直接下载没问题，但是如果你想使用一些

--recursive

1	--recursive

这种下……

cli 批量restore s3 DEEP_ARCHIVE

2021/04/13 | 运维 | Zhiming Zhang | 暂无评论 | 409 views

因为s3 DEEP_ARCHIVE 价格非常便宜，所以很多人选择用它来存储不常用的数据，因为价格比较低，所以这部分数据不是实时可以读取的，也就是说，如果你想读取，你必须先把数据从DEEP_ARCHIVE 格式转换会正常的s3数据，然后才能读取，每个文件转换需要12小时：如果文件较少：你可以通过web页面，点到最后的object 层级（……

什么是gitops

2021/03/25 | 运维 | Zhiming Zhang | 暂无评论 | 591 views

Gitops 其实很简单，就是将所有的架构相关的东西，全部用git来管理我们在git中声明一些代码，这些代码对应的就是我们的生产环境，例如一个服务，我们希望的这个服务的期望状态如果我们想要修改这个服务，我们需要通过提交pr的方式来进行，然后git 触发一系列的job来帮我们修改我们的服务举个简单的例子：基于kubernetes的服务……