hhhzua 发布的文章

我的个人博客:逐步前行STEP

出于技术上的好(zhuang)奇(bi),我想搭建一个自己的邮箱服务器,这样的话,以后的个人资料上面可以带上一个自己域名的邮箱,再也不怕简历带qq邮箱被嫌弃了。
首先是了解一下基本的邮件协议:

  1. POP3:邮局协议第三版本,主要用于从邮件服务器中检索邮件,并把所有的邮件信息立即下载到用户的计算机上。
  2. IMAP:互联网信息访问协议,可让用户在服务器上创建并管理邮件文件夹或邮箱、删除邮件、查询某封信的一部分或全部内容,完成所有这些工作时都不需要把邮件从服务器下载到用户的个人计算机上。
  3. SMTP:简单邮件传输协议,它是一组用于从源地址到目的地址传输邮件的规范,通过它来控制邮件的中转方式

简单来说,POP3和IMAP用来收邮件,SMTP用来发邮件。而需要被安装用来收件的程序是:Dovecot,用来发件的程序是:Postfix,除此之外我们还需要一个管理邮件的web程序:RoundCube。

再介绍几个基本的概念:

  1. MUA:Mail User Agent,邮件用户代理,就是直接被用户操作来收发邮件的程序,比如qq邮箱客户端、Foxmail、Outlook等等
  2. MTA:Mail Transfer Agent,邮件传输代理,就是帮助一封邮件在网络中传输的节点
  3. MDA:Mail Delivery Agent,邮件投递代理,邮件经过若干个MTA传输后,最终到达MDA,保存在MDA的数据库中,也就是邮箱
    再需要被收件人查阅时,就需要再经过MUA取走。

所以,邮件的传输过程就是MUA(SMTP协议) 发送 -》MTA.......MAT=>MDA=>(POP3或IMAP协议) 收取 MUA

实践步骤:

  1. 首先是开放端口,25,465(SMTP服务,用于发送邮件),110,995(pop3服务,用于接收邮件)143,993(imap服务,用于接收邮件)
  2. 安装postfix
  3. 安装dovecot
  4. 配置LNMP环境
  5. 安装roundcube
    6、开启tls

每一项的细节,都能够在网上找到完整的教程,本人觉得并不能写的比别人好,并且过于繁琐,所以整理了以下参考博文链接:

1、3分钟安装配置Postfix邮件服务器

2、centos7搭建postfix邮件服务器

3、centos7邮件服务器SSL配置

4、搭建邮箱服务器

在使用roundcube时,很容易遇到一些问题,而且可能是因为这个web程序是国外的,或者使用上比较小众,不容易找到解决方案,我把自己遇到的问题以及解决方案分享一下:

  1. Plaintext authentication disallowed on non-secure (SSL/TLS) connections

     这个报错是由于未配置tls,但是dovecot、postfix配置了启用tls,需要将相关配置都注释掉:
    (1). /etc/dovecot/dovecot.conf     注释掉:
    
    
    disable_plaintext_auth=no
    ssl=yes
     (2). /etc/postfix/main.cf 注释掉:
     
    
    smtpd_sasl_auth_enable = yes
    smtpd_sasl_security_options = noanonymous
  2. SMTP Error: Authentication failure

    发送邮件时报错, 需要在roundcube中加入以下配置:
    
    
    $config['imap_conn_options'] = array(
        'ssl' => array(
            'verify_peer' => false,
            'verfify_peer_name' => false,
        ),
    );
    
    
    $config['smtp_conn_options'] = array(
        'ssl' => array(
            'verify_peer' => false,
            'verify_peer_name' => false,
        ),
    );
  3. SMTP Error: Connection failed: Failed to connect socket

     如果未配置好tls,就直接发邮件的话,可能会报这个错,只要先配置好tls就好了
    
  4. SMTP server does not support authentication

    开启tls之后,roundcube中的$config['smtp_server']未修改成tls协议,只要在原地址前面加:```tls://```即可。
    

其它可能出现的问题没有记下来,就不罗列了,建议postfix配置中做好限制策略,以免你的邮件服务器成为垃圾中转站或者被非法利用,比如我目前限制为:只有发送者为本域才会投递,只有接受者为本域指定账户的才会接受。

如果其中某个流程走不通的话,又很难查到解决方案的话,欢迎给我发邮件:email@hezehua.net。

补充:如果要发送邮件到外域的话,如果你的服务器是云主机,应该是发送不成功的,因为默认是不给开启25端口的,即使你安全组开启了25端口,即使你设置465端口发送也不行,只有发工单,要求解封25端口,然后做好限制策略保平安,免得因为转发垃圾邮件被封。

安装好的邮件的WEB管理端是这样的:
在这里插入图片描述
在这里插入图片描述

我的个人博客:逐步前行STEP

1、elasticsearch 如何使文档可以被搜索

为了支持全文检索而采用倒排索引,倒排索引包含一个有序列表,列表包含所有文档出现过的词项 ,对于每一个词项,包含了它所有曾出现过文档的列表。
早期的倒排索引,会在文档变化时,重建新的索引,直到完成后替换掉旧的索引,这样新的变化就可以被搜索到。
倒排索引具有不变性,这使得索引一旦被读入文件系统缓存,便会留在那里,只要有足够的空间,就可以使大部分请求直接命中缓存,很大地提升了性能,缺点是,如果有新的文档需要被搜索,只能重建整个索引。

2、如何使用更好的方式实现倒排索引的更新

上面说了,由于索引的不变性,更新索引的方式是重建整个索引,这种方式对于数据量和更新频率的情况是有很大限制的,所以elasticsearch通过增加新的补充索引来反映新近的修改,而不是直接重写整个倒排索引。最终通过轮询每一个倒排索引并对结果进行合并才创建新的索引。

  • 按段搜索
  1. 基于lucene 引入了 按段搜索的概念,每一个段,都是一个倒排索引,而一个Lucene索引,除了包含多个段之外,还包含commit point、.liv文件。

其中,commit point记录了每一次的创建新段,当一个段存在文档被删除,会维护该信息在 .liv 文件里面。

逐段搜索会以如下流程进行工作:

  1. 新增的文档写入内存缓存
  2. 每隔一段时间,创建一个新段,将文档从内存缓存中被提交到新段
  3. 新段写入到磁盘(文件系统缓存)
  4. 新的commit point 也 写入到磁盘(文件系统缓存)
  5. 磁盘 fsync ,从文件系统缓存中价格写入操作同步到物理磁盘
  6. 这个新的段被开启, 使得段内文档对搜索可见
  7. 清空内存缓存,继续接受新的文档

3、如何实现近实时搜索

上面的写入到可检索过程,主要瓶颈在磁盘fync,大量文档需要写入磁盘可能造成很明显的延迟,而且每次的索引一个文档都要做磁盘fsync会造成性能问题。所以elasticsearch更轻量的方式来使一个文档可被搜索——将fsync从【写入到可检索】的步骤中移除——在新段写入文件系统缓存之后就可检索。
在第1部分中描述了倒排索引在文件系统缓存中被请求,所以在新段写入文件系统缓存之后就可以被打开和读取了。写入文件系统缓存和打开新段被称为refresh,默认情况下每秒进行一次refresh,也可以更改该项设置,或者手动执行。
有了refresh之后,索引文档的步骤更改为:

  1. 新增的文档写入内存缓存
  2. 每隔一段时间,创建一个新段,refresh,此时新段可被检索
  3. 通过fsync刷新磁盘(flush) ,从文件系统缓存中将所有写入操作同步到物理磁盘
  4. 清空内存缓存,继续接受新的文档

4、数据持久化

上面说到新段先写入文件系统缓存,再fsync到磁盘,在这个过程中,如果断电,则无法将未来得及同步的数据持久化到磁盘,所以elasticsearch 增加了一个 translog,也叫事务日志,记录了每一次的操作。

  1. 在文档写入内存缓存的同时,写入到translog中
  2. 执行refresh时,会清空内存缓存,且没有fsync到磁盘时,translog仍然保留
  3. 每隔一段时间或者translog文件太大,索引被刷新,所有在内存缓冲区的文档都被写入一个新的段,清空内存缓存,一个提交点被写入硬盘,新的traslog文件被创建,旧的被删除

而在执行refresh后,fsync之前,如果重启elasticsearch,它会从磁盘中使用最后一个提交点去恢复已知的段,并且会重放 translog 中所有在最后一次提交后发生的变更操作。

5、段合并

由于在自动刷新流程每秒会创建一个新的段,段时间内就会积累大量的段,每一个段都会消耗文件句柄、内存和cpu运行周期,而且在检索时需要遍历所有段来查找文档,这样无疑是一个巨大的性能瓶颈。elasticsearch通过在后台进行段合并来解决这个问题,小的段被合并到大的段,然后这些大的段再被合并到更大的段,段合并的时候会将那些旧的已删除文档从文件系统中清除。
段合并不会中断检索和索引的过程,在索引的时候,创建新段,段合并就会自动执行,合并的段将继续执行之后的步骤。
手动进行强制段合并可使用optimize api,它会将一个分片强制合并到 max_num_segments 个段,但该操作可能会无限制的使用资源,造成集群内短时间内无法响应。

查询文档数量时很常见的操作,一般可以直接使用count获取文档数,但是获取到数量信息,在【分页】应用中,意味着需要查询分页然后再查询总数。

有另一种方法,可以让我们在一次查询中获取分页数据并得到总量。

在搜索时,结果中的 hits.total 信息中会包含一个整数值表示文档数,当实际文档数小于10000时显示具体数量,当大于10000时,只显示10000并且包含另一个字段relation来表示是否大于10000:
在这里插入图片描述
而要在文档数大于10000时获取实际的数量,需要加入参数:track_total_hits
在这里插入图片描述
track_total_hits=true表示显示实际的文档数,此时hits.total的会变成:
在这里插入图片描述
relatiion为eq表示value值等于文档数值。

我的个人博客:逐步前行STEP

去重计数不是精确计数,数据量大的情况下会有误差,官方文档说的是,默认的情况下百万级数据会有5%的误差,实测如下:

实际文档数:1924920
在这里插入图片描述

去重计数:1912715在这里插入图片描述

误差率:(1924920 - 1912715)/ 1924920 = 0.006
%0.6的误差率还能接受,如果需要更高的准确度的话,需要调整precision_threshold的值,默认值是100,可选值在0~40000,值越大越准确但是越消耗内存,其内存使用满足公式:precision_threshold * 8 (字节)
,实测设为40000时计数为1926620:
在这里插入图片描述

误差率:(1924920 - 1926620)/ 1924920 = -0.0008
只有%0.08的误差率,在不需要完全准确的计数得情况下,完全可以接受。

Composer作为PHP的组件化管理工具,实现了laravel框架的组件安装、更新、移除,以及自动加载功能,下面就深入解析这是如何实现的。

使用Composer安装组件,首先需要创建composer.json文件,composer.json示例如下:
在这里插入图片描述
我的个人博客:逐步前行STEP

该文件定义了项目的基本信息以及所依赖组件的名称、版本、再执行composer install将所依赖组件安装到项目的vendor目录中。完成安装后会自动生成 composer.lock 文件,该文件罗列了各个组件确切的版本以及安装方式:
在这里插入图片描述
当执行composer install时首先检查是否存在该文件,如果存在就下载该文件中能够规定的组件以及版本。

我的个人博客:逐步前行STEP

在安装好组件之后,vendor目录下除了组件目录还会生成一个composer目录,以及自动加载文件autoload.php
在这里插入图片描述
引入这个文件,就可以实现自动加载了,可以直接在项目中使用组件。看一下该文件的具体内容:
在这里插入图片描述

仅仅2行代码,只做了一件事:引入composer/autoload_real.php文件,也就是说,实际上实现了自动加载的代码都在composer目录中,进入该目录:
在这里插入图片描述
先查看autoload_real.php,其中被audoload.php 执行的静态函数代码如下:

我的个人博客:逐步前行STEP

public static function getLoader()
    {
        if (null !== self::$loader) {
            return self::$loader;
        }

        spl_autoload_register(array('ComposerAutoloaderInit67db00000000012c704d3566', 'loadClassLoader'), true, true);
        self::$loader = $loader = new \Composer\Autoload\ClassLoader();
        spl_autoload_unregister(array('ComposerAutoloaderInit67db00000000012c704d3566', 'loadClassLoader'));

    ......
    }

在这个方法中,spl_autoload_register 函数用于注册给定的函数作为 __autoload 的实现,上述代码注册的__autoload实现是loadClassLoader方法:

    public static function loadClassLoader($class)
    {
        if ('Composer\Autoload\ClassLoader' === $class) {
            require __DIR__ . '/ClassLoader.php';
        }
    }

该方法引入了ClassLoader.php,随后 getLoader() 方法实例化ClassLoader 并且使用spl_autoload_unregister注销了该__autoload实现,之后的二十多行代码实现了自动加载,在解析这部分代码之前,需要先了解php规范

PSR 是 PHP Standard Recommendations (PHP 推荐标准)的简写,由 PHP FIG 组织制定的 PHP 规范,是 PHP 开发的实践标准。其中:

   PSR-0:自动加载标准,2014-10-21该标准已经被废弃,使用PSR-4替    代,不再细讲
   PSR-4:自动加载

PSR-0 和 PSR-4 的自动加载规范,虽然PSR-0已经弃用,但是Composer仍然兼容PSR-0,具体规范如下:
1、PSR-0

一个标准的 命名空间 (namespace) 与 类 (class) 名称的定义必须符合以下结构: <Vendor Name>(<Namespace>)*<Class Name>;

其中 Vendor Name 为每个命名空间都必须要有的一个顶级命名空间名;
需要的话,每个命名空间下可以拥有多个子命名空间;
当根据完整的命名空间名从文件系统中载入类文件时,每个命名空间之间的分隔符都会被转换成文件夹路径分隔符;
类名称中的每个 字符也会被转换成文件夹路径分隔符,而命名空间中的 字符则是无特殊含义的。
当从文件系统中载入标准的命名空间或类时,都将添加 .php 为目标文件后缀;
组织名称(Vendor Name)、命名空间(Namespace) 以及 类的名称(Class Name) 可由任意大小写字母组成。

范例:

DoctrineCommonIsolatedClassLoader => /path/to/project/lib/vendor/Doctrine/Common/IsolatedClassLoader.php
namespacepackageClass_Name => /path/to/project/lib/vendor/namespace/package/Class/Name.php

namespacepackage_nameClass_Name => /path/to/project/lib/vendor/namespace/package_name/Class/Name.php

2、PSR-4

1、术语「class」指的是类(classes)、接口(interfaces)、特征(traits)和其他类似的结构。
2、全限定类名具有以下形式:

 \<NamespaceName>(\<SubNamespaceNames>)*\<ClassName>
 2.1、全限定类名必须拥有一个顶级命名空间名称,也称为供应商命名空间(vendor namespace)。
2.2、全限定类名可以有一个或者多个子命名空间名称。
2.3、全限定类名必须有一个最终的类名(我想意思应该是你不能这样 \<NamespaceName>(\<SubNamespaceNames>)*\ 来表示一个完整的类)。
2.4、下划线在全限定类名中没有任何特殊含义(在 PSR-0 中下划是有含义的)。
2.5、全限定类名可以是任意大小写字母的组合。
2.6、所有类名的引用必须区分大小写。

我的个人博客:逐步前行STEP

范例:

全限定类名命名空间前缀根目录对应的文件路径
AcmeLogWriterFile_WriterAcmeLogWriter./acme-log-writer/lib/./acme-log-writer/lib/File_Writer.php
AuraWebResponseStatusAuraWeb/path/to/aura-web/src//path/to/aura-web/src/Response/Status.php

而在composer.josn文件中,autoload 键下定义了当前组件的自动加载实现方式,就包含了psr-4、psr-0:

    "autoload": {
        ......
        "psr-4": {
            "App\\": "app/",
            "ApolloPY\\Flysystem\\AliyunOss\\": "packages/apollopy/flysystem-aliyun-oss/src/",
            "Thrift\\": "packages/php/lib/",
        },
        "psr-0": {
          "Maatwebsite\\Excel\\": "src/"
        }
        ......
    },

了解上述PSR规范的基础后,我们再回到Composer自动加载的引导类 的getLoader() 方法来,接着看实例化了 核心类 ClassLoader 之后的代码:

public static function getLoader()
    {
        ......

        $useStaticLoader = PHP_VERSION_ID >= 50600 && !defined('HHVM_VERSION') && (!function_exists('zend_loader_file_encoded') || !zend_loader_file_encoded());
        if ($useStaticLoader) {
            require_once __DIR__ . '/autoload_static.php';

            call_user_func(\Composer\Autoload\ComposerStaticInit67db7509c61e60a4f92e012c704d3566::getInitializer($loader));
        } else {
            $map = require __DIR__ . '/autoload_namespaces.php';
            foreach ($map as $namespace => $path) {
                $loader->set($namespace, $path);
            }

            $map = require __DIR__ . '/autoload_psr4.php';
            foreach ($map as $namespace => $path) {
                $loader->setPsr4($namespace, $path);
            }

            $classMap = require __DIR__ . '/autoload_classmap.php';
            if ($classMap) {
                $loader->addClassMap($classMap);
            }
        }

        $loader->register(true);

        if ($useStaticLoader) {
            $includeFiles = Composer\Autoload\ComposerStaticInit67db7509c61e60a4f92e012c704d3566::$files;
        } else {
            $includeFiles = require __DIR__ . '/autoload_files.php';
        }
        foreach ($includeFiles as $fileIdentifier => $file) {
            composerRequire67db7509c61e60a4f92e012c704d3566($fileIdentifier, $file);
        }

        return $loader;
    }

这部分代码先是判断当前版本是否>=5.6 ,且不是HHVM虚拟机,满足条件则引入autoload_static.php 进行初始化:

call_user_func(\Composer\Autoload\ComposerStaticInit67db7509c61e60a4f92e012c704d3566::getInitializer($loader));

autoload_static.php文件中,定义了5个数组:

在这里插入图片描述
我的个人博客:逐步前行STEP

依次是:
1、全局文件列表

......
    public static $files = array (
        '0e6d7bf4a5811bfa5cf40c5ccd6fae6a' => __DIR__ . '/..' . '/symfony/polyfill-mbstring/bootstrap.php',
        '1d1b89d124cc9cb8219922c9d5569199' => __DIR__ . '/..' . '/hamcrest/hamcrest-php/hamcrest/Hamcrest.php',
        '667aeda72477189d0494fecd327c3641' => __DIR__ . '/..' . '/symfony/var-dumper/Resources/functions/dump.php',
        'a0edc8309cc5e1d60e3047b5df6b7052' => __DIR__ . '/..' . '/guzzlehttp/psr7/src/functions_include.php',
......

2、PSR-4规范的顶级命名空间=》路径映射的索引列表,这个列表是二维数组,第一维以首字母为键,第二维以命名空间为为键,值是命名空间的长度:

    ......
    public static $prefixLengthsPsr4 = array (
        'p' => 
        array (
            'phpDocumentor\\Reflection\\' => 25,
        ),
        'h' => 
        array (
            'hegzh\\AliyunCore\\' => 17,
            'h4cc\\WKHTMLToPDF\\' => 17,
        ),
        ......

该数组以首字母为键是为了方便查找,而最终的值是命名空间长度则是为了在$prefixDirsPsr4数组中查找到命名空间之后替换
3、PSR-4规范的顶级命名空间=》路径的映射列表

    ......
    public static $prefixDirsPsr4 = array (
        'phpDocumentor\\Reflection\\' => 
        array (
            0 => __DIR__ . '/..' . '/phpdocumentor/reflection-common/src',
            1 => __DIR__ . '/..' . '/phpdocumentor/reflection-docblock/src',
            2 => __DIR__ . '/..' . '/phpdocumentor/type-resolver/src',
        ),
    ......

4、PSR-0规范的顶级命名空间与路径的映射列表,该列表同样是以首字母为键:

    ......
    public static $prefixesPsr0 = array (
        'S' => 
        array (
            'SimpleSoftwareIO\\QrCode\\' => 
            array (
                0 => __DIR__ . '/..' . '/simplesoftwareio/simple-qrcode/src',
            ),
        ),
    ......

5、composer.json中classmap方式定义的自动加载目录:

    public static $classMap = array (
        'Adbar\\Dot' => __DIR__ . '/..' . '/adbario/php-dot-notation/src/Dot.php',

否则,引入autoload_namespaces.php、autoload_psr4.php、autoload_classmap.php 这三个文件。

autoload_namespaces.php 文件文件指定了顶级命名空间到file path的映射:
在这里插入图片描述
autoload_psr4.php文件同样是指定了顶级命名空间到file path的映射,和autoload_namespaces.php的区别在于,autoload_namespaces.php是写入了composer.json中设置了psr-0规范的命名空间与路径映射,如:

......
"autoload": {
    "classmap": [
      "src/Maatwebsite/Excel"
    ],
    "psr-0": {
      "Maatwebsite\\Excel\\": "src/"
    }
  },
......

autoload_psr4.php是写入了composer.json中设置了psr-4规范的命名空间与路径映射,如:

......
    "autoload": {
        "psr-4": {
            "ProductAI\\": "src/"
        }
    },
......

而autoload_classmap.php文件,则是在Composer安装、更新或者执行composer dump-autoload 时会扫描autoload_psr4.php、autoload_namespaces.php文件中定义的顶级命名空间对应的目录以及composer.json中设置了classmap自动加载方式的目录,如:

    ......
    "autoload": {
        "classmap": [
            "database",
            "app/Interfaces"
        ],
    ......

扫描各个目录下的php文件并且将文件中的类名与当前目录映射写入该文件,如:

<?php

// autoload_classmap.php @generated by Composer

$vendorDir = dirname(dirname(__FILE__));
$baseDir = dirname($vendorDir);

return array(
    ......
    'AlibabaCloud\\Aas\\V20150701\\AasApiResolver' => $vendorDir . '/alibabacloud/sdk/src/Aas/V20150701/AasApiResolver.php',
    'AlibabaCloud\\Aas\\V20150701\\CreateAccessKeyForAccount' => $vendorDir . '/alibabacloud/sdk/src/Aas/V20150701/AasApiResolver.php',
    'AlibabaCloud\\Aas\\V20150701\\CreateAliyunAccount' => $vendorDir . '/alibabacloud/sdk/src/Aas/V20150701/AasApiResolver.php',
    'AlibabaCloud\\Aas\\V20150701\\CreateAliyunAccountWithBindHid' => $vendorDir . '/alibabacloud/sdk/src/Aas/V20150701/AasApiResolver.php',
    ......
);

引入这三个文件之后,ClassLoader对象将文件中的映射设置到对应的属性中:

    ......
    $map = require __DIR__ . '/autoload_namespaces.php';
    foreach ($map as $namespace => $path) {
        $loader->set($namespace, $path);
    }
    ......

接着,ClassLoader对象调用了register()方法注册了__autoload实现:

    public function register($prepend = false)
    {
        spl_autoload_register(array($this, 'loadClass'), true, $prepend);
    }

而这个loadClass()方法的工作原理其实是在ClassLoader对象的设置了类名与路径的属性中查找并且引入文件:

......
    public function loadClass($class)
    {
        if ($file = $this->findFile($class)) {
            includeFile($file);

            return true;
        }
    }
......

到这一步,自动加载的主要工作已经完成了,但是Composer 不止可以自动加载命名空间,还可以加载全局函数,根据是否版本>=5.6且不是HHVM虚拟机,分为静态初始化和动态初始化:

if ($useStaticLoader) {
            $includeFiles = Composer\Autoload\ComposerStaticInit67db7509c61e60a4f92e012c704d3566::$files;
        } else {
            $includeFiles = require __DIR__ . '/autoload_files.php';
        }
        foreach ($includeFiles as $fileIdentifier => $file) {
            composerRequire67db7509c61e60a4f92e012c704d3566($fileIdentifier, $file);
        }

我的个人博客:逐步前行STEP

以上就是自动加载的核心功能,总结一下,主要流程如下:
1、引入autoload.php
2、引入autoload_real.php
3、注册loadClassLoader作为自动加载实现, 并实例化 ClassLoader,而后注销loadClassLoader
4、版本>=5.6且未使用HHVM则使用静态初始化,否则引入autoload_namespaces.php、autoload_psr4.php、autoload_classmap.php将 类名=》路径的映射设置到ClassLoader对象属性中
5、注册 loadClass 作为自动加载实现,loadClass的实现原理就是在类名=》路径的映射中查找并引入文件
6、将全局函数文件遍历引入