首页 » aws » 正文

如何快速分析我们存储在s3中的文件(日志)

答案是aws Athena

我们会将很多日志存储到我们的s3,例如s3的读写日志,elb日志 等

但是由于s3的存储特殊,我们想要分析一段时间的日志非常麻烦,哪怕下载到本地也需要想办法导入其他工具分析

现在aws提供了一个自己的工具让我们能使用SQL语句来直接查询我们s3里边的日志,不需要下载,非常强大

他的原理很简单,其实就是创建了一个数据和表,表里的数据就是s3里边存储的日志,所以我们在分析不同的日志的时候,需要创建不同的数据库和表

例如:

首先创建数据库:

其次创建表:

 

这里要注意,这个创建表的语句对于不同的日志是不同的,因为我们看到这些字段都是日志里的字段,日志不同,字段也不同,aws常用的日志都提供了例子我们可以直接搜索使用

创建成功以后我们就可以使用:

 

官方文档地址:

https://aws.amazon.com/premiumsupport/knowledge-center/analyze-logs-athena/

Zhiming Zhang

Senior devops at Appannie
一个奔跑在运维路上的胖子
Zhiming Zhang