hhhzua 发布的文章

filebeat 解析日志并发送到Elasticsearch

作者: hhhzua
时间: 2020-02-05
分类: ElasticSearch,filebeat
评论

起先，是出于了解我的网站逐步前行STEP的访问情况而做一个Nginx日志统计分析的功能，首选的就是ELK，但是，由于Logstash占用内存和CPU占有率都不是我的小服务器能承受的，转而将logstash换成filebeat，因为filebeat足够轻量级，我所需要的功能却都能满足：

收集日志发送到ES
按指定格式解析日志

我的个人博客逐步前行STEP

第1点是filebeat基本的功能，只要正确安装配置就能生效，在我的实践中，我不想要所有的日志都发送到ES，只要访问我的网站的请求，示例请求：

39.179.50.187 - - [05/Feb/2020:16:10:42 +0800] "GET /csdn_article-98609482 HTTP/1.1" 499 0 "http://www.hezehua.net/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"

这是标准的nginx日志格式，其中有一个我的网站逐步前行STEP域名http://www.hezehua.net，所以只要匹配这个域名即是我需要的日志，filebeat的include_lines配置可以满足我的需求，将该配置项设置如下：

include_lines: ["hezehua.net"]

即匹配了包含hezehua.net的行。

我的个人博客逐步前行STEP

要注意的是，第2点需求，只有Elasticsearch5.x才能实现，因为elasticsearch5.x开始引入了Ingest Node，使其具有预处理能力，即对存储在 Elasticsearch 里的数据在存储之前进行加工处理，之前的版本没有提供这一功能，在数据存储前做处理只能依赖于logstash，而官方将预处理功能集成到elasticsearch5.x这个功能就命名为Ingest，具有预处理功能的节点称为Ingest Node，要使用预处理功能，先要了解：Pipeline（管道）、Processors（处理器）。

1、pipeline
管道这个概念并不陌生，一般被命名于设计用来在拦截、处理、输出数据的功能，在这里也是一样，pipeline会用于处理通过它的所有数据，输出后就直接入elasticsearch。

2、processor
处理器是用于管道的，pipeline本身不具备处理能力，需要配置processor才能发挥特定的作用，常用的处理器有：

append 追加字段或者已有字段追加值
convert 转换字段类型
date 日期处理
foreach 遍历数组对数组元素使用处理器
grok 通过正则匹配将文本解析成指定格式
join 将数组转化成字符串
json 处理成json
kv 将k:v型数据解析成一个个字段
remove 删除字段
rename 重命名
set 设置或者新增
split 分割字符串
sort 数组元素排序
trim 消除两端空格
lowercase 转小写
uppercase 转大写

以上列举的处理器主要是数组、字符串的常用处理，加上字段增、减等，其中最重要的Grok处理器，这个处理器基本可以替代logstash处理日志格式的功能，语法和logstash一样。

要使用elasticsearch的预处理功能，首先需要在es中创建管道，指定的URL为：_ingest/pipeline ，PUT方式：

curl XPUT http://127.0.0.1:9200/_ingest/pipeline/pipeline-test

{
    "description": "describe pipeline",
    "processors": [
        {
            "grok": {
                "field": "message",
                "patterns": [
                    "%{IP:ip} - %{DATA:user} \\[%{HTTPDATE:date}\\] %{WORD:method} %{DATA:path} (?<http>HTTP/%{NUMBER}) %{NUMBER:code} %{NUMBER:length} %{DATA:referer} %{DATA:user_agent} %{DATA:x_forwarded_for}"
                ]
            }
        }
    ]
}

description字段是一个描述，processors定义了一组应用于该管道的处理器，这样就定义好了一个简单的pipeline了。

我的个人博客逐步前行STEP

将filebeat.yml中，output.elasticsearch下的配置项pipeline设置为上面新建的管道'pipeline-test'即可：

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["localhost:9200"]
  pipeline: "pipeline-test"

最后，删除registry文件，和filebeat之前生成的索引，再启动filebeat，就可以在es中看到解析成指定字段的日志文档了：

{
    _index: "filebeat-2020.02.04",
    _type: "doc",
    _id: "AXAQe35OpxWsiKaUFgtz",
    _score: 1,
    _source: {
        date: "04/Feb/2020:21:53:54 +0800",
        referer: "http://www.hezehua.net/",
        code: "200",
        offset: 437,
        method: "GET",
        ip: "39.179.50.187",
        input_type: "log",
        length: "169909",
        source: "/usr/logs/blog.access.log",
        message: "39.179.50.187 - - [04/Feb/2020:21:53:54 +0800] "GET /favicon.ico HTTP/1.1" 200 169909 "http://www.hezehua.net/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"",
        type: "log",
        path: "/favicon.ico",
        @timestamp: "2020-02-04T13:54:48.214Z",
        beat: {
            hostname: "novalocal",
            name: "novalocal",
            version: "5.5.3"
        },
        http: "HTTP/1.1",
        user-agent: "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"
    }
},

我的个人博客逐步前行STEP

Grok解析 centos 的 nginx 原生格式日志

作者: hhhzua
时间: 2020-02-04
分类: filebeat,Grok
评论

我的个人博客：逐步前行STEP

centos系统的nginx原生格式如下：

112.95.209.146 - - [13/Jun/2019:09:32:50 +0800] "GET /css/web.css HTTP/1.1" 200 27518 "http://www.hezehua.net/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"

这个格式里，包含了-、"、[、]这些特殊符号，所以不仅需要使用grok预定义的关键字匹配，还需要自定义正则表达式，使用的到预定义关键字有：

IP ：匹配IP
HTTPDATE 匹配格式如：04/Jul/2019:10:43:15 +0800 的时间字符串
WORD：匹配一个单词
PATH：匹配一个路径格式如：/css/web.css
NUMBER：匹配数值
HOSTNAME：匹配域名，格式：www.hezehua.net

匹配的grok语句为：

%{IP:ip} ([\s\S]{5})%{HTTPDATE:date}([\s\S]{3})%{WORD:method} %{PATH:path} (?<http>HTTP\/%{NUMBER})([\s\S]{1}) %{NUMBER:code} %{NUMBER:length}([\s\S]{2})(?<referer>http[s]?://%{HOSTNAME}%{PATH})([\s\S]{3})((?<user-agent>[\s\S]*)"$)

设置字段：

ip IP
time 时间
method 请求方式
path 请求路径
http-code 响应的http code
content-length 响应的内容长度
referer 请求来源页url
user-agent 用户代理

grok语句匹配结果会产生很多用不上的字段，需要过滤掉，以下是测试结果：

{
  "ip": [
    [
      "42.156.136.107"
    ]
  ],
  "IPV6": [
    [
      null
    ]
  ],
  "IPV4": [
    [
      "42.156.136.107"
    ]
  ],
  "HTTPDATE": [
    [
      "16/Oct/2019:07:40:06 +0800"
    ]
  ],
  "MONTHDAY": [
    [
      "16"
    ]
  ],
  "MONTH": [
    [
      "Oct"
    ]
  ],
  "YEAR": [
    [
      "2019"
    ]
  ],
  "TIME": [
    [
      "07:40:06"
    ]
  ],
  "HOUR": [
    [
      "07"
    ]
  ],
  "MINUTE": [
    [
      "40"
    ]
  ],
  "SECOND": [
    [
      "06"
    ]
  ],
  "INT": [
    [
      "+0800"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "path": [
    [
      "/js/share.js/fonts/iconfont.woff"
    ]
  ],
  "UNIXPATH": [
    [
      "/js/share.js/fonts/iconfont.woff",
      "/js/share.js/css/share.min.css"
    ]
  ],
  "WINPATH": [
    [
      null,
      null
    ]
  ],
  "http": [
    [
      "HTTP/1.1"
    ]
  ],
  "NUMBER": [
    [
      "1.1"
    ]
  ],
  "BASE10NUM": [
    [
      "1.1",
      "200",
      "6364"
    ]
  ],
  "code": [
    [
      "200"
    ]
  ],
  "length": [
    [
      "6364"
    ]
  ],
  "referer": [
    [
      "http://www.hezehua.net/js/share.js/css/share.min.css"
    ]
  ],
  "HOSTNAME": [
    [
      "www.hezehua.net"
    ]
  ],
  "PATH": [
    [
      "/js/share.js/css/share.min.css"
    ]
  ],
  "user-agent": [
    [
      "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
    ]
  ]
}

摘取有效信息即可，其中日期格式需要再转化为YYYY-MM-DD HH:II:SS格式

PhpYun人才系统整合 Ucenter 之后，会员注册提示”该 Email 已经被注册!“的解决方案

作者: hhhzua
时间: 2020-01-19
分类: phpyun,PHP
评论

上一篇：PhpYun人才系统与 Discuz 通过 Ucnter 整合会员中讲解了的一些常见问题以及难点，接下来，记录一下打通会员之后遇到的问题。

注册时会提示”该 Email 已经被注册“，phpyun因为不需要使用邮箱注册，所以会使用默认的邮箱地址注册，我们已经在Ucnter中设置了允许一个邮箱注册多个用户，按理来说不应该出现这样的问题的，确认设置没有问题了，那我们来过一下源码调试一下，看问题出在哪。

我的个人博客：逐步前行STEP

首先，查看接口：
在这里插入图片描述
这个接口报错提示”该 Email 已经被注册!“，先进入到网站根目录，找到入口文件index.php，通过查看代码可以知道核心的方法调用是在app/include/init.php 文件，

这部分代码说明了，根据我们的api参数m=register&c=regsave，会引入一个控制器文件 app/controller/register/index.class.php，
在这里插入图片描述
这部分代码说明了，将会执行这个控制器下的regsave方法，我们查找到这个方法：

上面代码片段中，方法的执行结果是由$Member->userRegSave($data);返回的，使用get_class()获取这个$Member 的类名为：userinfo_model，查找到这个类下的userRegSave方法，
在这里插入图片描述
我的个人博客：逐步前行STEP

可以看出来，这个是核心的注册方法了。
在这里插入图片描述
这个函数中这部分代码是判断是否设置了Ucenter数据整合，是的话从Ucenter注册用户，查看具体的Ucenter注册用户的代码：

通过call_user_func执行了UC_API_FUNC定义函数名的方法，

找到具体代码：

在这里插入图片描述
可以看到，最终是执行：

return $uc_controls[$model]->$action($args);

得到结果，根据上面代码片段的传参register，可知执行的$action是onregister函数，同样使用get_class方法获取$uc_controls[$model]的类名为usercontrol可以找到所在文件，并找到onregister()方法：
在这里插入图片描述
其中

$status = $this->_check_email($email)

检查了邮件是否合法，进入该函数：
在这里插入图片描述
我的个人博客：逐步前行STEP

可以看到，下面这个判断决定了是否提示邮件已被注册：

if(!$this->settings['doublee'] && $_ENV['user']->check_emailexists($email, $username)) {
            return UC_USER_EMAIL_EXISTS;
        }

打印$this->settings['doublee']的·值，发现为0，那导致报错的原因可能是这个值异常，打印整个$this->settings：
在这里插入图片描述
可以看到，这是Ucenter的配置，到Ucenter数据库中查看一下配置：

SELECT * FROM `mpw_ucenter_settings`

在这里插入图片描述
我的个人博客：逐步前行STEP

数据库中的doublee配置值是1，再到Ucenter中关闭允许同一个email注册多个用户，发现该值更新为0了，说明这个值是”是否允许同一个email注册多个用户“的配置项，而在Ucenter中设置允许的时候，phpyun代码中获取的配置项还是不允许，所以问题应该是在这，_check_email中的代码：

if(empty($this->settings)) {
            $this->settings = $this->cache('settings');
        }

打印出$this->cache('settings')的值，其中doublee的值和数据库中一致，说明问题出在$this->settings没有更新。找到cache方法：
在这里插入图片描述
该方法将数据缓存在uc根目录下的/data/cache/目录中，找到该目录有以下缓存文件：

将setting.php删除即可，这样phpyun就会重新缓存ucenter的配置数据，问题解决。

我的个人博客：逐步前行STEP

PhpYun人才系统与 Discuz 社区通过 Ucenter 做会员整合

作者: hhhzua
时间: 2020-01-17
分类: phpyun,PHP
评论

phpyun人才系统作为一个专业的PHP招聘系统，可以很好地做本地化的线上招聘工作，天然适合配合社区系统做本地化社区，于是在搭建了phpyun人才系统之后，又搭建了discuz 社区。

我的个人博客：逐步前行STEP

问题来了，怎么让phpyun系统中的用户可以直接使用社区，或者说怎么让社区用户直接可以登录phpyun系统——Ucenter 就是为了解决这个问题而存在的。

Ucenter
（摘抄一段百度百科）

UCenter 的中文意思就是“用户中心”，其中的 U 代表 User 也代表 You ，取其中的含义就是“用户中心”，或者说“你（最终用户）的中心”。 UCenter 是 Comsenz 旗下各个产品之间信息直接传递的一个桥梁，通过 UCenter 站长可以无缝整合 Comsenz 系列产品，实现用户的一站式注册、登录、退出以及社区其他数据的交互的php框架。

（本文只讲解决问题的干货，不教怎么安装）

在开始下文之前，先说明一下，需要现在phpyun后台开启论坛整合：
路径：工具 -》登录-》整合论坛-》整合Ucenter
在这里插入图片描述
我的个人博客：逐步前行STEP

还要填写基本的Ucenter的连接信息：
在这里插入图片描述
暂停，先配置Ucenter吧。

如果是在安装discuz时选择了同时安装ucenter，那么在discuz后台有个导航可以直接进入ucenter后台：
在这里插入图片描述
否则的话需要另外下载源码，仅仅是安装的话很简单，这里就不赘述了。

我的个人博客：逐步前行STEP

殊途同归，进入ucenter后台：
在这里插入图片描述
左边菜单中，有一项：应用设置，点击进入，开始添加应用：

这里填写的时候，有坑，先填写这几项：

我的个人博客：逐步前行STEP

应用类型如：其它
应用名称如：STEP
应用的主 URL 如：hezehua.net
通信密钥如：xxxxxx

注意，通信密钥，在phpyun或者discuz 和 Ucenter中都要填写一致，这些都是好理解的，关键在于这个配置项应用接口文件名称，这个简直绝了，看备注：
在这里插入图片描述
说好了不含路径，而且有一项：

表明填写应用的物理路径，按理来说路径应该是：/www/data/phpyun 这样的，文件名称应该是：uc.php这样的

可惜，我用惨痛的教训证明了这个提示和备注简直是坑爹，根本就不是这样的，应用的物理路径还是在Ucenter的根路径下查找的，而接口文件名称最后还是可以包含路径的，下面细说。

如果ucenter是和Diszuc一起安装的，discuz 与 Ucenter的连接是很好解决的，只要填好应用名称、应用的主 URL、秘钥就通了。如果不是的话，类似的就按下面的教程来填写。

我的个人博客：逐步前行STEP

首先，正确解释下应用接口文件名称的开启方式，填写了这个文件名称后，比如按默认是uc.php，ucenter会去访问： 主URL/api/uc.php
而phpyun(我的是v5.0.0)中api目录下没有uc.php文件，所以是会连接失败的。
源码中，/api目录下带了俩目录：uc、uc_php7，一开始我使用了uc/uc.php，结果报错mysql_connection undifined，这个是因为我的是php7，已经不支持mysql_connection 了，换成uc_php7/uc.php，（看吧，输入框旁边的提示是不是错误的？？？？）然后可以顺利连接了。
在这里插入图片描述
回到phpyun，完成剩下的配置：

这俩配置项，可以直接在Ucenter中找到，应用配置底下有这些信息：

在这里插入图片描述
按这个填上即可，再次暂停。

我的个人博客：逐步前行STEP

这只是完成了第一步，下面要展示真正的坑了。

接下来还要打通登录、注册的用户信息，可以发现，无论是登录还是注册，只要开启了整合ucenter之后，登录注册都报错了，我经过调试已经解决了问题，我就直接把原因告诉大家：
1、登录、注册中使用的都是api/uc下的ucenter客户端
2、提示邮箱不合法

问题一好解决：找源码中所有引用api/uc/的代码都替换成api/uc_php7/

问题二就纳闷了，注册的时候也没有要填邮箱啊，为啥体式邮箱不合法？？？？因为啊，在phpyun注册的时候也会去ucenter注册，而ucenter注册必须使用邮箱，所以报错了，回到整合ucenter的配置，下面这个配置项的用途出来了：
在这里插入图片描述
就是用来给phpyun用户注册ucenter的，填写好这个，再去注册，成功。
在Ucenter‘中查看用户也没有问题。

但是，再注册的时候，问题又来了：
在这里插入图片描述

我的个人博客：逐步前行STEP

因为使用统一的EMAIL注册，所以报错了，回到ucenter允许一个email注册多个用户就行：
在这里插入图片描述

至此，phpyun人才系统与 discuz 社区会员整合圆满完成。

为了解决上面的问题，其实花了三四个小时，都是小问题，花这些时间觉得很没有效率，而主要的原因就是：
1、没有文档没有教程，只言片语，一脸懵逼
2、phpyun的坑，框架丑的一批，难用死了，非常原始
3、备注和提示误导

我的个人博客：逐步前行STEP

Mysql update 使用join更新字段

作者: hhhzua
时间: 2019-12-30
分类: Mysql
评论

我的个人博客：逐步前行STEP

在mysql应用中常常需要通过别的表的查询结果来更新本表，但很少会本表的查询结果再来更新本表的，下面就看看从本表查询结果更新本表应该怎么做吧。

表classify：

字段	属性
id	int(11)
name	string(255)

表production：

字段	属性
id	int(11)
classify_id	int(11)

现在表classify中新增pro_cnt字段来统计一个分类下的商品数量：

字段	属性
id	int(11)
name	string(255)
pro_cnt	int(11)

新增字段之后，需要初始更新一下pro_cnt的值为当前分类下的商品数量，首先，通过leftjoin查询出每个分类下的商品数

    select count(production.id) pro_cnt from classify 
    left join production on classify.id = production.classify_id

然后将查询结果与classify再做一个连接，并且使用update...set语法做字段你更新：

    update classify inner join 
    (    
        select classify.id, count(production.id) pro_cnt from classify 
        left join production on classify.id = production.classify_id
    ) as tmp
    on using(id)
    set classify.pro_cnt = tmp.pro_cnt