反垃圾邮件技术

[chyb]

垃圾邮件(未经许可的商业邮件或不受欢迎的非法邮件)成为1990年以来一直困扰着互联网的问题。那时，互联网越来越商业化，越来越接近消费者。一开始只是感觉到少数人制造一些电子广告，而现在垃圾邮件占用了目前大部分的邮件空间。垃圾邮件造成恶性商业形象，损害了邮件使用者的利益，占用网络资源，而且它对公司的网络系统和网络可信度，效率和安全性造成严重的威胁。

垃圾邮件不是科技发展的结果

大多数关于垃圾邮件的讨论围绕在技术层面。然而，驱使垃圾邮件不断增加的却是经济原因，要求发送者的商业公司为发送垃圾邮件支付的巨额费用。

Ferris市场调查公司在2004年的研究表明，美国的公司每年被大量的垃圾邮件消耗掉100亿美元。同时，对于公司和消费者来说，相比动辄数百万的广告费来说，垃圾邮件的花费是最少的。发送数百万封垃圾邮件的费用，也许通过少量生意就可以赚回来。这样，即使垃圾邮件的回应率极端的低(举例来说，一千万封电子邮件广告之后可能只产生100个销售量)，但是与传统合法的广告媒体相比，，它仍然有利可图。因而垃圾邮件在很长一段时间会存在，反垃圾邮件是一项长期而艰巨的工作。

信息产业缓慢回应

从1990年开始，垃圾邮件就成为网络服务商(ISPs)和企业的头号难题。ISPs和企业不得不采取行动来遏制对邮件服务器和网络造成威胁的垃圾邮件。

尽管这个问题广泛的被信息行业所承认，但之前却鲜有反垃圾邮件的工具和技术。信息行业，包括邮件服务商和相关产品，以及行业标准，对于垃圾邮件问题都反应颇慢——最初都低估了垃圾邮件的数量和技术复杂性。

从反垃圾邮件的历史



第一代反垃圾邮件技术

很难明显的区分在大多数MTA上已经具有的反垃圾邮件功能和第一代反垃圾邮件产品功能，因为这些已经存在的反垃圾邮件功能加上新开发的功能在很大程度上帮助解决了垃圾邮件问题。 标题和信头测试，和简单的DNS测试一样,主要是由于需要抵制垃圾邮件来推动的.

基础MTA控制

MTA协议应该能控制基于每个域名的通讯连接，比如，防止“开放转发”并不能当作一种独立的反垃圾邮件技术。因为协议是在早期还没有产生垃圾邮件问题时被提出的，并没有预见到会有这些基本的安全隐患。

以金笛垃圾邮件防火墙为例，(下称“金笛”)，其包含的拒绝服务攻击防护和速率控制技术，属于MTA控制的范畴。拒绝服务攻击防护是指对于IP连接数量的限制，当一个IP连接数过多的时侯，会禁止其连接，以免服务器资源被过度消耗，另外，对连接的时间也有限制。在邮件协议上，用户可以自定义超时设置。此外，金笛内置的并发连接数控制都对这类攻击有明显的抑制。

金笛通过专利认证的十层过滤中第三层“速率控制”能够扼制海量邮件的发送，拒绝虚假发件人。直接效果就是释放了垃圾流量占用的大量带宽。

白名单和黑名单

黑名单(Black List)和白名单(White List)。分别是已知的垃圾邮件发送者或可信任的发送者IP地址或者邮件地址。现在有很多组织都在做*bl(block list)，将那些经常发送垃圾邮件的IP地址(甚至IP地址范围)收集在一起，做成block list。

目前很多邮件接收端都采用了黑白名单的方式来处理垃圾邮件，包括MUA和MTA，当然在MTA中使用得更广泛，这样可以有效地减少服务器的负担。

金笛的BL一部分采用国际上共享的列表，公司有专门部门收集整理BL。实时动态更新。白名单则与黑名单相反，对于那些信任的邮件地址或者IP就完全接受了，由用户自定义设置。

简单的关键字搜索

简单的关键字搜索一直是对抗垃圾邮件的基本方法。这一功能存在于垃圾邮件成为互联网的主要问题之前，那时作为内容过滤的一部分和基于反病毒产品的解决方案和服务。

因为它没有文字变化或者上下文对照，所以这种方式只能用作鉴别垃圾邮件的办法之一，但存在很多错误，合法邮件被误判为垃圾邮件。

金笛400型号以上产品具有用户自定义控制功能，即用户自行定义关键字，来决定系统对过往邮件的评分。

标题过滤和信件头测试

信头测试意味着邮件已通过SMTP协议。例如信件的寄件人和收件人，如果不合法的信息被传输的时候,...将递送一个通告并拒绝递送该信息。信头测试是从收件人，发件人和日期中测试有问题的邮件，如果包含错误形式或者信息便予以阻止。

这些能力用于删除垃圾邮件是非常有效的，他们最后保证邮件是被正确的传送，不管是不是垃圾发送者发出的信件，只要其中包含了垃圾邮件的信息就会被拦截，否则就说明邮件的转发者没有安装反垃圾邮件设备。

金笛所有型号都可以设置或者用户自定义设置标题，信头黑白名单，是系统对邮件的评分标准之一。

简单的DNS测试

使用SMTP协议交换发送者信息的时候查询发送者的互联网域名可以验证这些信息是否准确。比如，查询发送者的域或者发送邮件的主机名是否存在(通过查询发送者域的IP地址和主机名是否对应)

简单的DNS测试帮助防治“电子欺骗”(当一台机器使用虚假用户名的时候).尽管简单的DNS测试是阻断垃圾邮件的重要工具，他们只根据发送者的用户名和地址进行阻断，不论寄件人是一个垃圾邮件发送者或者信件本身是一封垃圾邮件，因此不是一个反垃圾邮件技术。简单的DNS是一项比较弱的技术，因为无法指示出邮件是垃圾邮件的必然原因。

金笛的Dns反查系统，新型反向查找技术是简单DNS测试的综合应用。

第二代反垃圾邮件技术

即时黑名单和电子签名是第二代反垃圾邮件技术，因为他们不是为了反垃圾邮件而把现有的MTA技术简单的重复或者延伸。第二代反垃圾邮件技术的存在完全为了制止垃圾邮件和对先前的技术进行改良。

实时黑名单

尽管在基于网址和域名上它是一个DNS测试， RBLs是真实的反垃圾邮件技术，在RBLs之后的概念是简单的维护一个发送垃圾邮件的网址，以阻止垃圾邮件的继续发送。

这种技术会有一定的效果，但容易被绕过。比如，改变IP地址，或者利用第三方的服务器来发送垃圾邮件。同样地，域名很容易被获得，并被垃圾邮件发送者利用，因而不能完全依赖它来判别垃圾邮件。

也被称为DNSRBLs, 金笛检查所有收到邮件的IP地址，与在RBL中的IP地址核对来阻断垃圾邮件。

电子签名

这是对于垃圾邮件防御有重大意义的一项技术。电子签名技术就是,如果垃圾邮件以大量的相同信息发送，可以用电子签名技术产生一个唯一的电子签名来收集和辨別垃圾邮件。如果能够获得充足的垃圾邮件样本，对于降低垃圾邮件的比率有重要意义。但是这种技术需要及时操作才能达成效果。

例如金笛先设置蜜罐(诱骗邮件地址)，是用于收集大量的垃圾邮件。采集完成后，指纹识别技术就处理垃圾邮件，生成一个已知垃圾邮件数据库。这就是金笛的指纹识别技术。

第三代反垃圾邮件技术

用鉴别垃圾邮件(签名)和即时黑名单(RBLs)的方法来抵御垃圾邮件注定失败。垃圾邮件发送者能够轻易的绕过即时黑名单，最好的电子签名技术也无法达到百分之百的正确率。大约在2002年，在互联网和软件行业中有一项全新的技术。

贝叶斯过滤

贝叶斯过滤，利用统计学的方法检测垃圾邮件，基于垃圾邮件中单个词语的出现概率来判定，这是反垃圾邮件技术上的第一个突破，贝叶斯过滤技术的发展从根本上把反垃圾邮件的重点从网络和协议改变为邮件内容。

简单的贝叶斯过滤，对大多数的垃圾邮件是有效的，容易被绕过。这种技术是用已经收到的垃圾邮件来培训系统，从而产生一个基于规则评分的系统，来为每封邮件评分。

垃圾邮件发送者会不断的改变邮件的内容，通常是增加词汇或变种词汇(例如，用印刷体字母取代数字，O取代0)。不断变化中性词语和其他邮件内容以及创造变种词汇，使得位于反垃圾邮件系统最后一个步骤的贝叶斯过滤常被绕过。

金笛的贝叶斯规则库在出厂之前都经过近万封邮件的培训，到达用户之后，用户继续对其进行培训，被“有效培训”以后，过滤垃圾邮件的准确率达到99% 。

人工智能和机器语言学习

经过贝叶斯过滤技术改进发展而来，目前将被广泛的应用。

2003年左右，由于新的需求，专门的反垃圾邮件技术开始分离出来，并和一些高科技结合，不断的发展起来。

基本上，这些技术执行文件分级使用“非贝叶斯过滤技术”。根据垃圾邮件的变化进行自我更新，目前这一技术正将被广泛使用。

金笛的基于规则的评分系统，是一个人工智能(AI)系统 ，对发现的每一个关键词赋予分数 。分数越高，该邮件是垃圾邮件的可能性就越高 ;得分超过一定值时，该邮件将被分类为垃圾邮件。这种方式可以清除90%的垃圾邮件。为使评分有效，规则必须经常更新 。

第四代反垃圾邮件技术

垃圾邮件的存在原因还有一部分是因为，在SMTP创造之初，只是用于学校，政府和军队，因为是一个封闭的系统，所以不存在非法使用和电子邮件的滥用。1990年起，互联网广泛的应用于商业，但是之前的技术隐患仍然存在。垃圾邮件和反垃圾邮件活动必将长期存在，经过了十几年的发展，新兴的反垃圾邮件技术也层出不穷。但无论哪一种技术，都无法完全应对多变的垃圾邮件。

例如:简单的关键字搜索，会产生较多误报。贝叶斯过滤需要经常培训才能适应不断变化的垃圾邮件形式，达到较好的效果。黑名单/白名单因为是绝对性拦截/通过，使用的时候要非常谨慎。实时黑名单(RBLs)缺点是它们可能产生误报，因为一些RBLs是具有激进性质。故应谨慎选择订阅服务。对于DNS测试来说，很多反向DNS目录未被有效建立 ，或无法正常建立，这些域发送的邮件将被阻断，造成不可接受的高误报告率。

以上诸多举例可以说明，任何一种垃圾邮件阻断技术都有优点和缺点及限制，而垃圾邮件发送者一直试图通过变化的发送技术绕过反垃圾邮件技术。因此，第四代反垃圾邮件技术偏向于采用一个全面包含最有效垃圾邮件阻断技术的整体解决方案。

第四代反垃圾邮件技术的典型代表:金笛垃圾邮件防火墙

十大技术、十层过滤的纯净水式过滤模式

金笛采用十层过滤，逐层拦截垃圾邮件，该技术获得了美国专利认证



■ 拒绝服务攻击及安全防护层

■ IP实时黑名单

■ 速率控制

■ 第一层病毒检查

■ 第二层病毒检查

■ 用户自定义规则

■ 垃圾邮件指纹检查

■ 邮件意图分析

■ 贝叶斯分析

■ 基于规则的评分系统

其检测过程符合四条法则:

1 垃圾邮件终止法则:若某一层过滤判定该邮件不合法或为垃圾，则立即阻断该邮件，结束进程，后面的各层检查不再进行。

2 按序检查法则:一个完整的垃圾邮件发送从“helo”命令(握手命令)开始，因此从该进程的第一条命令开始依次进行检查。如发现为垃圾邮件，其余数据将不再接收。

3 低消耗优先法则:占用系统资源较少的过滤层优先，耗费系统资源大的过滤层靠后。这样，系统能以最少的消耗处理最大量的邮件。

4 安全优先法则，涉及到系统重要安全的检查先进行。

经过这样的优化，产品具有了强大的处理能力，日处理邮件量可达千万封。

这种喇叭性的过滤机制，过滤流量最大的判别技术安置在最前面，人工职能和机器语言的过滤安排在最后。这样能够节省网络资源，最大限度的保持准确性，降低误判率。

早期的基础技术在目前的应用环境中需要进行重组，市场的需求也召唤更多的新技术，最终引导反垃圾邮件事业的良性发展。