日志大全范例，日志

日志大全范例篇1

　　论文关键词：安全审计　日志　数据挖掘

　　论文摘要：提出了无线网关安全审计系统的系统模型，介绍了该系统的设计思想，从数据的控制、数据的采集、日志的归类、日志的审计与报警4个方面描述了设计流程。在系统中通过改进syslog机制，引入有学习能力的数据挖掘技术，实现对无线网关的安全审计。

　　0　引言

　　无线网关是无线网络与布线网络之间的桥梁，所有的通信都必须经过无线网关的审计与控制。在无线网络中，无线网关放置在无线网络的边缘，相当于无线网络的大门，当无线网关遭到攻击和入侵时，灾难会殃及整个无线网络，使无线网络不能工作或异常工作，由此可见，对无线网关进行安全审计是十分有意义的。

　　本文中研究的安全审计系统是北京市重点实验室科、研项目“智能化无线安全网关”的一部分。智能化无线安全网关在无线网关上集成具有IDS和防火墙功能的模块，以及控制和阻断模块，这些功能模块在统一操作系统的基础上，既各司其职，又密切合作，共同完成防范、预警、响应和自学习的功能，构成一个有机的安全体系。

　　无线网关的安全审计系统，其主要功能就是在事后通过审计分析无线安全网关的日志信息，识别系统中的异常活动，特别是那些被其它安全防范措施所遗漏的非法操作或入侵活动，并采取相应的报告，以有利于网络管理员及时有效地对入侵活动进行防范，确保网络的安全[1]。

　　1　系统功能概述

　　无线网关安全审计系统是针对无线网络的安全运作而提出的，主要包括数据控制、数据采集、日志归类、日志的审计与报警等几大基本功能。首先，审计系统的数据控制模块对进出的数据信息进行严格的控制，根据预定义的规则进行必要的限制，适当地降低风险。其次，安全审计系统的数据采集模块收集无线安全网关的网络日志、系统日志及用户和应用日志。随后，采集部件收集到的日志记录被送到日志归类模块，根据日志记录行为的不同层次来进行分类。最后，使用审计与报警模块对日志记录进行审计分析。这时可以根据预先定义好的安全策略对海量的日志数据进行对比分析，以检测出无线网关中是否存在入侵行为、异常行为或非法操作。管理员可以初始化或变更系统的配置和运行参数，使得安全审计系统具有良好的适应性和可操作性。

　　2　系统设计

　　2.1　系统结构组成(见图1)

　　2.2　设计思想

　　系统从数据采集点采集数据，将数据进行处理后放入审计数据库，采用有学习能力的数据挖掘方法，从“正常”的日志数据中发掘“正常”的网络通信模式，并和常规的一些攻击规则库进行关联分析，达到检测网络入侵行为和非法操作的目的。

　　2.3　系统的详细设计

　　系统的处理流程如图2所示：

　　2.3.1　数据的控制。数据控制模块使用基于Netfilter架构的防火墙软件iptables对进出的数据信息进行严格的控制，适当地降低风险。

　　2.3.2　数据的采集。数据采集模块，即日志的采集部件。为了实现日志记录的多层次化，需要记录网络、系统、应用和用户等各种行为来全面反映黑客的攻击行为，所以在无线安全网关中设置了多个数据捕获点，其中主要有系统审计日志、安全网关日志、防火墙日志和入侵检测日志4种。2.3.3　日志的归类。日志归类模块主要是为了简化审计时的工作量而设计的，它的主要功能是根据日志记录行为的不同层次来进行分类，将其归为网络行为、系统行为、应用行为、用户行为中的一种，同时进行时间归一化。进行日志分类目的是对海量信息进行区分，以提高日志审计时的分析效率。

　　2.3.4　日志审计与报警。日志审计与报警模块侧重对日志信息的事后分析。该模块的主要功能是对网关日志信息进行审计分析，即将收到的日志信息通过特定的策略进行对比，以检测出不合规则的异常事件。随着审计过程的进行，若该异常事件的可疑度不断增加以致超过某一阈值时，系统产生报警信息。该模块包括日志信息的接收、规则库的生成、日志数据的预处理、日志审计等几个功能。

　　3　系统的实现

　　3.1　系统的开发环境

　　智能无线安全网关安全审计系统是基于linux操作系统开发的B/S模式的日志审计系统。开发工具为：前台：Windows XP professional+html+php，后台：Linux+Apache+Mysql + C++。

　　3.2　日志归类模块的实现[2-3]

　　无线网关的日志采用linux的syslog机制进行记录，sys-log记录的日志中日期只包含月和日，没有年份。在该模块中，对日志记录的syslog机制进行一些改进，克服其在日志中不能记录年的问题。

　　下面以无线网关的日志为例，说明其实现过程。网关日志的保存文件为gw。log，用一个shell脚本，在每月的第一天零点，停止syslogd进程，在原来的文件名后面加上上一个月的年和月，如gw。log200603，再新建一个gw。log用于记录当月的日志，再重启syslogd记录日志。这样就把每月的日志存放在有标志年月的文件中，再利用C++处理一下，在记录中加入文件名中的年份。

　　3.3　日志审计与报警模块的实现

　　3.3.1　日志审计模块的处理流程(见图3)。

　　3.3.2　规则库生成的实现。安全审计系统所采用的审计方法主要是基于对日志信息的异常检测，即通过对当前日志描述的用户行为是否与已建立的正常行为轮廓相背离来鉴别是否有非法入侵或者越权操作的存在。该方法的优点是无需了解系统的缺陷，有较强的适应性。这里所说的规则库就是指存储在检测异常数据时所要用到的正常的网络通信及操作规则的数据库。规则库的建立主要是对正常的日志信息通过数据挖掘的相关算法进行挖掘来完成。

　　首先系统从数据采集点采集数据，将数据进行处理后放入审计数据库，通过执行安全审计读入规则库来发现入侵事件，将入侵时间记录到入侵时间数据库，而将正常日志数据的访问放入安全的历史日志库，并通过数据挖掘来提取正常的访问模式。最后通过旧的规则库、入侵事件以及正常访问模式来获得最新的规则库。可以不停地重复上述过程，不断地进行自我学习的过程，同时不断更新规则库，直到规则库达到稳定。

　　3.3.3　日志信息审计的实现。日志审计主要包括日志信息的预处理和日志信息的异常检测两个部分。在对日志进行审计之前，首先要对其进行处理，按不同的类别分别接收到日志信息数据库的不同数据表中。此外，由于所捕获的日志信息非常庞大，系统中几乎所有的分析功能都必须建立在对这些数据记录进行处理的基础上，而这些记录中存在的大量冗余信息，在对它们进行的操作处理时必将造成巨大的资源浪费，降低了审计的效率，因此有必要在进行审计分析之前尽可能减少这些冗余信息。所以，在异常检测之前首先要剔除海量日志中对审计意义不大及相似度很大的冗余记录，从而大大减少日志记录的数目，同时大大提高日志信息的含金量，以提高系统的效率。采用的方式就是将收集到的日志分为不同类别的事件，各个事件以不同的标识符区分，在存放日志的数据库中将事件标识设为主键，如有同一事件到来则计数加一，这样就可以大大降低日志信息的冗余度。

　　在日志信息经过预处理之后，就可以对日志信息进行审计。审计的方法主要是将日志信息与规则库中的规则进行对比，如图3所示。对于检测出的不合规则的记录，即违反规则的小概率事件，记录下其有效信息，如源、目的地址等作为一个标识，并对其设置一怀疑度。随着日志审计的进行，如果属于该标识的异常记录数目不断增加而达到一定程度，即怀疑度超过一定阈值，则对其产生报警信息。

　　4　数据挖掘相关技术

　　数据挖掘是一个比较完整地分析大量数据的过程，一般包括数据准备、数据预处理、建立数据挖掘模型、模型评估和解释等，是一个迭代的过程，通过不断调整方法和参数以求得到较好的模型[4]。

　　本系统中的有学习能力的数据挖掘方法主要采用了3种算法：

　　1)分类算法。该算法主要将数据影射到事先定义的一个分类之中。这个算法的结果是产生一个以决策树或者规则形式存在的“判别器”。本系统中先收集足够多的正常审计数据，产生一个“判别器”来对将来的数据进行判别，决定哪些是正常行为，哪些是入侵或非法操作。

　　2)相关性分析。主要用来决定数据库里的各个域之间的相互关系。找出被审计数据间的相互关联，为决定安全审计系统的特征集提供很重要的依据。

　　3)时间序列分析。该算法用来建立本系统的时间顺序模型。这个算法有利于理解审计事件的时间序列一般是如何产生的，这些所获取的常用时间标准模型可以用来定义网络事件是否正常。

　　5　结束语

　　该系统通过改进syslog机制，使无线网关的日志记录更加完善。采用有学习能力的数据挖掘技术对无线网关正常日志数据进行学习，获得正常访问模式的规则库，检测网络入侵行为和非法操作，减少人为的知觉和经验的参与，减少了误报出现的可能性。该系统结构灵活，易于扩展，具有一定的先进性和创新性，此外，使用规则合并可以不断更新规则库，对新出现的攻击方式也可以在最快的时间内做出反应。下一步的工作是进一步完善规则库的生成以及审计的算法，增强系统对攻击的自适应性，提高系统的执行效率。

　　参考文献：

　　[1]　Branch J W， Petroni N L， Doorn Van L， et al。Autonomic802.11 Wireless LAN Security Auditing[J]。 IEEE Security&Privacy， 2004(5/6)：56-65.

　　[2]　李承，王伟钊，程立。基于防火墙日志的网络安全审计系统研究与实现[J]。计算机工程，2002，28(6)：17-19.

　　[3]　刘。无线网络安全防护[M]。北京：机械工业出版社，2003.

日志大全范例篇2

　　关键词：入侵 取证 日志 网络安全

　　中图分类号：TP393.08 文献标识码：A 文章编号：1007-9416（2012）10-0178-02

　　1、前言

　　计算机网络无疑是当今世界最为激动人心的高新技术之一。它的出现和快速的发展，尤其是Internet的日益推进和迅猛发展，为全人类建构起一个快捷、便利的虚拟世界。Internet的普及和新技术的层出不穷给网络攻击者以更多的便利，因此网络的安全以成为日益突出问题。对于破坏网络的安全并由此产生的危害极大的影响了人们生产生活和国民经济以及国家安全，计算机网络犯罪正是其中一个典型的例子。同传统的犯罪相比，网络犯罪具有一些独特的特点：

　　（1）成本低、传播迅速，传播范围广；

　　（2）互动性和隐蔽性高，取证难度相对较大；

　　（3）严重的社会危害性。

　　操作系统的漏洞和通信线路和设备的安全缺陷构成了网络信息系统的潜在安全隐患。而这些漏洞恰好可以被黑客利用，进行入侵，因此利用法律手段对黑客行入侵行为予以制裁是解决黑客入侵的问题的根本，而入侵取证是最关键的问题之一。入侵取证系统可对网络或系统中发生的攻击过程及攻击行为进行记录和分析，并确保记录信息的真实与完整性。由于电子证据与普通证据有差异较大，特别是易损毁性，导致网络入侵取证有很多特殊的要求。本文研究的目的是从入侵者访问的日志来为网络入侵提供证据。

　　2、计算机取证系统

　　计算机取证是指对计算机入侵、破坏、欺诈、攻击等犯罪行为，利用计算机软硬件技术，按照符合法律规范的方式，进行识别、保存、分析和提交数字证据的过程。计算机取证通常包含五个步骤：

　　（1）甄别：通过适当的方法获得能够识别信息的类型。

　　（2）传输：将获取的有效的证据信息安全地传送到服务器上。

　　（3）存储：确保原始的一致性和完整性，不被篡改。

　　（4）分析：对证据进行科学和系统的分析，达到犯罪的事实。

　　（5）提交：将分析事实和陈述提交相应机构。

　　计算机取证系统包括了安全日志生成模块、网络数据收集模块、证据分析模块。各模块与计算机取证步骤之间的关系如图1所示。

　　3、安全日志生成的实现

　　电子证据要确保真实性和完整性。日志文件对于安全来说非常重要，利用日志可以进行故障排除，或者查到攻击者留下的痕迹。为了获得日志信息，通常在被攻击的目标机器上启用程序，收集目标主机上的所有日志记录，例如telnet、ftp和http等登录日志，然后应用安全的协议协议实时地将这些原始的日志信息写入到取证机上保存起来，原始日志信息数据写入到取证机是采用数字签名，确保这些信息的不可否认性。安全日志模型如图2所示。

　　3.1 日志文件生成程序的安全性

　　通常情况下对主机和网络设备的访问以及对文件的删除、修改、复制和传送等行为，都会被记录到网络设备和操作系统的日志文件中，但是现在的入侵者非常聪明，为了避免留下痕迹，他们利用相应的工具在开始真正的攻击目标前首先会关闭系统或者设备的日志记录功能，或者在攻击之后轻松的删除掉这些日志，这给取证带来很大的麻烦。我们可以使用第三方日志工具来解决，第三方日志软件能够单独的获取访问系统和网络设备的日志信息。

　　3.2 日志文件存储的安全性

　　我们要采取切实可行的技术和手段保证取证机上日志信息的安全性，确保数据的真实性和完整性，防止日志信息丢失、被篡改、未经授权访问行为的发生。目前造成网络存储安全数据破坏的原因分为客观因素和主观因素。客观因素包括自然灾害，如地震等对系统的破坏，导致存储数据被破坏或丢失以及设备故障，包括存储介质的老化、失效等。客观因素有时我们无能为力，但是却可以有效的预防。主观因素包括系统管理员及维护人员的误操作以及病毒感染造成的数据破坏和网络存储安全上的“黑客”攻击，这些因素我们是可以做好预防的，而且还有可能完全避免。可以通过在线备份和介质加密等多种手段确保日志信息存储的安全。

　　3.3 日志文件传输的安全性

　　我们可以使用SSL协议实现日志文件的安全传输。SSL利用RSA的公用密钥密码技术来实现的。公用密钥加密技术使用不对称的密钥来加密和解密，每对密钥包含一个公钥和一个私钥，公钥是公开广泛分布，而私钥是隐密的，只有自己知道。用公钥加密的数据只有私钥才能解密，相反的，用私钥加密的数据只有公钥才能解密。 SSL安全协议基于C/S模式工作，主要提供三方面的服务：（1）认证用户和服务器， 使得它们能够确信数据将被发送到正确的客户机和服务器上；（2）加密数据以隐藏被传送的数据；（3）维护数据的完整性， 确保数据在传输过程中不被改变。SSL安全传输日志的过程如图3所示。

　　3.4 日志文件完整性校验

　　在SSL协议中，采用MD5算法确保数据的完整性。MD5算法输出固定128bit长度，具有不可逆性和雪崩效应。

　　4、结语

　　本文从安全日志方面来说明入侵取证的过程。但还是有网络数据的收集和数据分析两方面没有做深入的研究和探讨。网络安全问题不仅要从防御的角度来考虑，而且更应该从法律的角度来考虑问题，而取证正是法律诉讼的核心。因此更加系统、灵活和有智能性的取证过程将是以后发展的重点。

　　[1]李宵声。计算机取证中增强电子证据时态性方案。通信技术[J]，2008年4期。

　　[2]殷联甫。计算机取证技术。科学出版社[M]，2008年6月。

　　[3]张明旺，刘衍。计算机取证技术探讨。网络安全技术与应用[J]，2011年10期。

　　[4]史光坤。基于网络的动态计算机取证系统设计与实现[D]。吉林大学，2007年。

日志大全范例篇3

　　【 关键词 】 云计算；告警融合；架构设计

　　【 中图分类号 】 TP393 【 文献标识码 】 A

　　The Design and Implement of

　　A Network Alarm and Data Fusion Analysis System based on Cloud Computing

　　Li Hong-min 1 Lu Min 1 Huang Lin 2 Zhang Jian-ping 1

　　（1.Institute of System Engineering， CAEP SichuanMianyang 621900；

　　puter College， SWUST SichuanMianyang 621900）

　　【 Abstract 】 The current security experts focus on a difficult study which is the process-reproduce of the whole network attack by linking the independent pieces of infinite information from various kinds of security equipment。 Based on the above requirements， this paper designs and implements a network alarm and data analysis system by researching on the analysis techniques of dealing large scales of logs from different kinds of equipment and constructing the hierarchical framework to fusion the pieces of information from the data layer to the feature level， and decision level。

　　【 Keywords 】 cloud computing； data fusion； framework design

　　1 引言

　　随着信息技术的不断发展和信息化建设的高速推进，网络已成为人们进行科研、生产、办公的重要平台。由于网络具有开放性、互联性、共享性的特点，其遭受入侵的风险也日趋严重，计算机网络安全问题日益突出。黑客活动日趋频繁，网站后门、网络钓鱼、恶意程序、拒绝服务攻击事件呈大幅增长态势，针对特定目标的有组织高级可持续攻击（APT攻击）日渐增多，网络信息系统安全面临严峻挑战。

　　为了保证计算机和网络的安全，军工单位的网都部署了大量的网络安全设备（如防火墙、IDS）、主机监控系统、应用系统审计等用于增强网络安全防护和网络安全审计。与此同时，这些设备和系统产生了大量的结构多样、彼此独立的日志信息，这些信息无法反映一次完整的攻击，只是记录了攻击的片段，因此如何将这些片断信息链接起来，重现整个网络攻击过程，发现攻击者的真正意图，是目前网络安全态势研究的重点和难点。

　　本文基于以上需求，研究多源海量日志数据处理分析技术，构建层次型数据融合处理框架，实现从数据层到特征层，再到决策层的多源海量日志数据的融合处理，设计并实现基于云计算技术的网络告警数据分析系统。

　　2 关键技术研究

　　2.1 海量日志数据预处理技术

　　首先需要对防火墙、IDS、主机监控系统的日志进行多源融合分析，日志数据进行集中采集，并保存在日志采集服务器上；然后再启动数据推送服务（可选择线上流量较小的凌晨）将日志数据文件推送至Hadoop平台；最后将日志文件写入到集群的HDFS中。对于防火墙、入侵检测系统等设备来说，设备产生的日志信息可以通过syslog协议的方式进行推送，日志采集服务器端通过监听UDP或TCP端口的方式对日志进行采集。对于主机监控系统未提供syslog的方式推送日志，则需要读取主机监控系统服务器中的日志，并将其保存为文件形式待推送。日志数据生成过程如图1所示。

　　经过对防火墙、IDS、主机监控系统日志数据格式的研究，将日志分为四类（即管理配置异常类、流量异常类、违规操作类、安全攻击事件类）进行规范化处理。

　　（1）管理配置异常类 管理配置异常类日志是指通过提取并分析防火墙、IDS、主机监控系统中管理配置相关的日志，发现异常的管理配置操作，通过对其日志的研究可将这类日志规范化为如下格式：

　　LogManager（ID，dev_type，event_type，priority，user，src_ip，op，time，result，msg）。

　　（2）流量异常类 防火墙日志中连接类日志记录了每个session发送和接收的数据包大小，可通过统计该日志数据量来分析网络中异常流量。将这类日志规范化为如下格式：

　　LogFlow（ID，dev_type，event_type，priority，src_ip，src_port，dst_ip，dst_port，time，proto，inpkt，outpkt，sent，rcvd）

　　（3）违规操作类 主要通过主机监控系统中产生的违规日志来分析违规操作，将这类日志规范化为如下格式：

　　Logillegal（ID，dev_type，event_type，user，pc_name，pc_ip，time，msg）。

　　（4）安全攻击事件类 通过综合分析防火墙、IDS、主机监控系统三类日志发现潜在安全攻击事件，主要涉及到防火墙的访问控制类日志、IDS检测日志和主机监控中访问控制类日志，将这几类日志规范化为如下格式：

　　LogSec（ID，dev_type，event_type，priority，src_ip，src_port，dst_ip，dst_port，time，proto）。

　　以上四类日志中各个属性表示的意义如表1所示。

　　本文采用HDFS文件系统来存储防火墙、IDS、主机监控系统的原始日志，并可设定日志采集服务器每探测到防火墙、IDS、主机监控系统中生成一条日志立即传输日志，这样避免黑客恶意删除原始日志。HDFS文件块存储示例如图2所示。

　　从图2中HDFS文件块存储示例中可以看出：主机监控系统原始日志（hm。log）备份数为3，分别存储于Datanode1、Datanode2、Datanode4三个节点上；防火墙原始日志（fw。log）备份数为2，分别存储于Datanode1、Datanode3两个节点上；IDS原始日志（ids。log）备份数为2，分别存储于Datanode3、Datanode4两个节点上。这些文件存储的节点信息都在Namenode中有相应记录，当其中一个节点发生故障，Namenode会从另一个节点读取数据，从而避免单点故障导致的数据丢失或损坏问题。

　　2.2 网络告警融合分析方法与流程设计

　　网络告警融合分析是指通过对防火墙、IDS、主机监控系统的海量多源日志数据，利用提出的规则策略，结合资产信息、脆弱性信息和关联知识库等信息进行综合分析，通过融合分析判断出网络中真实发生的攻击事件。对应于四类规范化日志和制定的四类规则策略，本文将真实发生的告警分类四类，分别是管理配置类告警、流量异常类告警、违规操作类告警、安全攻击类告警。以管理配置类告警为例，其融合分析方法及其流程设计如下。

　　通过管理配置类规则来分析防火墙管理配置类规范化日志，可以有效分析出不在合法IP和用户范围内的管理配置类日志，并向用户产生告警信息，用于提醒用户存在非法IP和用户管理配置防火墙。管理配置类告警融合分析流程图如图3所示。

　　①HDFS中读取管理配置类日志文件流。

　　②按行读取日志文件流，根据管理配置类规则对日志文件流进行匹配。若与规则完全匹配成功，且日志时间发生于正常工作时间，则说明该日志是正常行为，此条日志分析结束，判断日志数，日志数大于0，进入②，否则进入④；若与规则匹配不成功，进入步骤③。

　　③与资产库进行匹配。若匹配成功，则说明该日志是来自于内部人员对防火墙进行管理配置，属于内部越权管理行为，标志其风险级别为“中”，写入管理配置类告警库中，此条日志分析结束，判断日志数，日志数大于0，进入②，否则进入④；若匹配不成功，则说明该日志来自于外部的管理配置，属于外部越权管理行为，标志其风险级别为“高”，写入管理配置类告警库中，此条日志分析结束，判断日志数，日志数大于0，进入②，否则进入④。

　　④管理配置类告警融合分析结束。

　　3 系统架构设计

　　3.1 总体架构及服务层次

　　基于Hadoop的网络告警融合分析系统通过日志采集服务器将网络中安全设备的日志数据采集并推送至Hadoop平台，再由Hadoop平台对日志进行安全存储、预处理、聚合、融合分析，最终将网络中的异常行为、攻击行为、违规行为分析出来发送至告警监测中心可视化展示，该系统具有几项特点。

　　①随着网络中安全设备规模增加和产生的日志量的海量增长趋势，系统利用Hadoop平台搭建了私有云用于数据存储，保证原始日志数据安全可靠的存储。

　　②系统利用Hadoop平台对海量日志进行融合分析处理，有效提高了系统的分析处理效率。

　　③系统搭建了告警监测中心，用户能够实时监测由日志分析得出的安全事件。

　　如图4所示为基于Hadoop的告警融合分析系统总体架构图，整个分布式告警融合分析系统分为日志采集端、日志分析处理中心、告警监测中心三部分。其中日志采集服务器主要负责采集网络中防火墙、入侵检测系统、主机监控系统的日志数据，并将日志推送至Hadoop平台中；日志分析处理中心主要负责对原始日志的安全存储、日志预处理、日志聚合、告警融合分析，产生真实攻击的告警信息，并发送给告警监测中心；告警监测中心主要是供管理员直接查看当前异常、攻击、违规行为等事件。

　　在基于Hadoop的网络告警融合分析系统中，根据所提供的服务类型将整个系统划分为四个层次，即应用层、适配层、云计算平台层和数据采集层。系统的服务层次如图5所示。

　　（1）数据采集层 数据采集层是整个系统的数据来源，由采集服务器统一采集各安全设备的日志，然后集中启动数据推送服务，最后将日志文件写入到集群的HDFS中。

　　（2）云计算平台层 以Hadoop作为支撑，是整个系统的数据处理中心，利用HDFS存储海量的日志数据，保证了数据的可靠存储和并行读写；利用MapReduce并行处理机制，为系统提供了强大的数据计算能力；云计算平台层提供了一系列应用接口，为整个系统提供高效稳定的数据持久化支持。

　　（3）适配层 在基于Hadoop的网络告警融合分析系统中，适配层位于应用层和服务器集群之间，为整个系统提供管理和服务，为应用层提供统一的标准化程序接口和协议。通信引擎负责整个系统的数据流和控制流的交互和传输；基础数据管理用于控制整个子节点以及分析对象配置。

　　（4）应用层 应用层采用J2EE规范的JSP、HTML、SSH（struts2+spring+hibernate）等技术，结合Hive提供的强大的海量数据搜索功能，为整个系统提供告警可视化呈现。

　　3.2 日志采集模块设计与实现

　　本文通过日志采集端对日志数据进行收集。日志数据采集方案由三个步骤组成：日志数据文件生成（防火墙、IDS、主机监控系统）、日志数据推送、日志数据写入HDFS。其具体流程如图6所示。

　　图6描述了日志数据的采集流程，首先由日志采集服务器采集来自防火墙、IDS、主机监控系统的日志，并保存在日志采集服务器上；然后再启动数据推送服务（可选择线上流量较小的凌晨）将日志数据文件推送至Hadoop平台；最后将日志文件写入到集群的HDFS中。其中，关键代码如下：

　　String target=“hdfs：//10.11.1.136：9000/home/hadoop/data/orig_log/origfw1.txt”；

　　FileInputStream fis=new FileInputStream（new File（“d：＼＼fw001.txt”））；

　　Configuration conf=new Configuration（）；

　　FileSystem fs=FileSystem。get（URI。create（target），conf）；

　　OutputStream os=fs。create（new Path（target））；

　　IOUtils。copyBytes（fis， os， 4096，true）。

　　代码中，10.11.1.136是HDFS的地址，origfw1.txt是Hadoop中防火墙原始日志位置，fw001.txt是本地文件位置。通过上述关键部分代码即可将本地文件推送至HDFS中存储。

　　3.3 告警监测中心设计与实现

　　经过融合分析处理之后，将异常、违规类安全事件提取出来并存储于MySQL数据库中，前台采用J2EE规范的JSP、HTML、SSH（struts2+spring+hibernate）等技术，结合Hive提供的强大的海量数据搜索功能，为整个系统提供告警可视化呈现。

　　Hive相关的数据操作示例：

　　（1）Hive导入Map/Reduce运行的数据：

　　LOAD DATA INPATH ‘/user/hduser/bin-output/

　　part-r-00000’ INTO TABLE tablename。

　　（2）Hive与MySQL建立连接：

　　connToHive=DriverManager。getConnection（“jdbc：hive：//10.11.1.136：10000/default”， “hive”， “mysql”）； //获得与Hive连接

　　connToMySQL=DriverManager。getConnection（“jdbc：mysql：//10.11.1.136：3306/hive？useUnicode=true&characterEncoding=UTF8”，“root”，“mysql”）；//与MySQL连接。

　　（3）输入HQL进行查询：

　　select * from tablename where dev_type like ‘fw%’。

　　通过人机交互方式，将分析处理结果展现给管理员，便于管理员直接掌握当前网络中的安全状况，以违规操作类事件为例。主机监控系统中所有违规信息将被筛选并展示在违规操作类事件列表中，管理员可通过多条件过滤进行查询，筛选出关心的违规操作类事件。违规操作类事件界面设计如图7所示。

　　4 结束语

　　本系统设计完成后，还需在进一步在网环境中验证其有效性和效能，并修改完善系统架构，为后期的安全态势分析做技术支撑。

　　参考文献

　　[1] Robert Richardson。2010/2011 CSI Computer Crime and Security Survey。 2011.

　　[2] 国家计算机网络应急技术处理协调中心。CNCERT/CC。2012年中国互联网网络安全报告。北京，2013.：13-17.

　　[3] Jeong Jin Cheon and Tae-Young Choe。 “Distributed Processing of Snort Alert Log using Hadoop”，IJET，Vol 5，No-3.：2685-2690，2013.

　　[4] T。 Zang， X。 Yun， and Y。 Zhang。 “A survey of alert fusion techniques for security incident，” in Web-Age Information Management， 2008. WAIM’08. The Ninth International Conference on， 2008.：475-481.

　　[5] T。 Zhihong， Q。 Baoshan， Y。 Jianwei， and Z。 Hongli， “Alertclu： A realtime alert aggregation and correlation system，” in Cyber worlds， 2008 International Conference on， 2008. ：778-781.

　　[6] S。Wen， Y。 Xiang， andW。 Zhou， “A lightweight intrusion alert fusion system，”in High Performance Computing and Communications （HPCC），2010 12th IEEE International Conference on，2010.：695-700.

　　[7] G。Fan，Y。JiHua， and Y。Min， “Design and implementation of a distributed ids alert aggregation model，” in Computer Science Education，2009. ICCSE’09. 4th International Conference on，2009.：975-980.

　　[8] A。 Hofmann and B。Sick， “Online intrusion alert aggregation with generative data stream modeling，”Dependable and Secure Computing，IEEE Transactions on，vol。8，no。2，2011.：282-294.

　　[9] Wenjie Xu， Etc。 Application of Bayesian Network in Information Fusion Analysis of Four Diagnostic Methods of Traditional Chinese Medicine。 2010 IEEE International Conference on Bioinformatics and Biomedicine Workshops。 2010 IEEE。：694-697.

　　[10] 韩景灵，孙敏。 入侵检测报警信息融合系统的构建与实现。 计算机技术与发展，2007（6）：159-162.

　　[11] A。Valdes and K。Skinner。Adaptive，Model-Based Monitoring for Cyber AttackDetection。RAID 2000 Conf，Oct。2000：80-92.

　　[12] Kruegel C， Robertson W。 Alert Verification： Determining the Success of Intrusion Attempts[C]。 Proceedings of the 1st Workshop on Detection of Intrusions and Malware & Vulnerability Assessment。 Germany， 2004-07.

　　[13] 王景新，王志英，戴葵。 基于多源安全信息的IDS告警验证研究。计算机应用，2007 Vol。 27 （8）： 1910-1912.

　　[14] 张戈，雷英杰，薛梅，安和平。 直觉模糊综合评判在多源告警校验中的应用研究。 小型微型计算机系统，2011.07.

　　[15] 何光宇，闻英友，赵宏。基于主动D-S理论分类器的告警校验。计算机工程，2009.02.

　　[16] 左晶，段海新，于雪莉。入侵检测系统中报警验证模块的设计与实现。计算机工程，2008.01.

日志大全范例篇4

　　2. 一片绿叶，饱含着它对根的情谊；一句贺词，浓缩了我对你的祝愿。又是一个美好的开始--新年岁首，祝成功和快乐永远伴随着你。

　　3. 以家庭为圆心，以幸福为半径，画出千千万万个合家圆满！

　　4. 新春快乐！万事大吉！合家欢乐！财源广进！吉祥如意！花开富贵！金玉满堂！福禄寿禧！恭喜发财！

　　5. 衷心地祝愿你在新的一年里，所有的期待都能出现，所有的梦想都能实现，所有的希望都能如愿，所有的付出都能兑现！

　　6. 有些事不会因时光流逝而褪去，有些人不会因不常见面而忘记，在我心里你是我永远的朋友。在新年到来之际，恭祝好友酷炫十足！

　　7. 漫天雪花飘飘，迎来了新年，让久违的心灵相聚吧，我深深地祝福你：新年快乐！愿我的祝福能融化寒冬，温暖你的心灵。

　　8. 什么是天长？什么是地久？说一句happy ne=\‘_blank\’>腾达，福如东海，寿比南山，幸福美满，官运亨通，美梦连连！

　　9. 元旦短信大全元旦到祝福到，祝您：打牌运气拉不住，豹子金花把把出，别人瞪眼你笑脸，别人掏钱你收钱。到时候可别忘了我哦！

　　10. 聚喜玛拉雅之阳光，拢天涯海角之清风，拮冈底斯山之祝福，吸比尔盖茨之财气，作为礼物送给你，祝你元旦快乐！

　　11. 新春快乐~我的朋友！愿你~年年圆满如意，月月事事顺心，日日喜悦无忧，时时高兴欢喜，刻刻充满朝气，祝福你~~

　　12. 元旦了，送你一件外套：口袋叫温暖；领子叫关怀；袖子叫体贴；扣子叫思念；让这件外套紧紧伴著你渡过每一分每一秒，一定要幸福喔！

　　13. 元旦快乐！祝你：致富踏上万宝路；事业登上红塔山；情人赛过阿诗玛；财源遍步大中华！

　　14. 给你点阳光你就灿烂，给你个笑容你就放电，给你件棉袄你就出汗，给你筐饲料你就下蛋。下了个蛋蛋滚滚圆，我就祝你“圆蛋”快乐！

　　15. 新年到，鸿运照，烦恼的事儿往边靠，祝君出门遇贵人，在家听喜报！年年有此时，岁岁有今朝！元旦快乐！

　　16. 元旦快乐！祝你：致富踏上万宝路；事业登上红塔山；情人赛过阿诗玛；财源遍步大中华！

　　17. 祝你在新的一年里：事业正当午，身体壮如虎，金钱不胜数，干活不辛苦，悠闲像老鼠，浪漫似乐谱，快乐莫你属。

　　18. 广播寻人：那人一身破烂二目无神，三餐未进四肢无力，五音不全六神无主，七孔流血八卦非常，九死一生十分像你。我要祝他元旦快乐！

　　19. 星空中点点闪烁的荧光，环绕着缤纷的绮丽梦想，祝福你今年许下的心愿，都能一一实现在你眼前，祝你元旦温馨喜悦！

　　20. 今天是新年崭新的第一天，让我们一起忘记旧年的一切痛苦与烦恼，迎来新年的幸福与开心，永远都要记住一句话，一定要幸福！大家一起努力幸福起来吧！

　　21. 相聚的日子都只为酝一杯浓酒，酿流动相思，在新年的鞭炮声中凝视你如此迷人的面庞，只想对你说：今年的元旦一定要特别地过，特别地开心，特别地舒心，特别的欢心，这样我就畅心了！

　　22. 祝你财源滚滚，发得像肥猪；身体棒棒，壮得像狗熊；爱情甜甜，美得像蜜蜂；好运连连，多得像牛毛；事业蒸蒸，越飞越高像大鹏。一句话，元旦快乐！

　　23. 祝你在新的一年里：事业正当午，身体壮如虎，金钱不胜数，干活不辛苦，悠闲像老鼠，浪漫似乐谱，快乐莫你属。

　　24. 元旦，意味着你去年的烦恼统统要完旦；元旦，意味着你今年的愿望全部要圆满，一句元旦快乐，不能代表我的心，那我就多说一句，元旦快乐，快乐元旦！

　　25. 祝福是份真心意，不是千言万语的表白。一首心曲，愿你岁岁平安，事事如意，快乐元旦！

　　26. 我对你的思念之情如涛涛江水绵绵不绝，我对你的祝福之意如火山爆发真情至极，尽管寒风呼呼，但呼不去我对你的思念；尽管海水涛涛，却涛不尽我对你的祝福。

　　27. 今年的元旦有什么特别，今年的元旦有什么新意。有！来点酷点，来点醒目的，我的地盘，我要与众不同。所以我要说一句很特别的话给你，听好了：“祝你元旦快乐”！

　　28. 明月几时有，把酒问青天，不知天上宫阕，今夕是何年，我欲乘风去去，却恐，你独自一人，一人，一人，对影成三人，把酒再问今天，看短信的人还过得好吗？酒入喉，思念生，难入睡，尽相思！

　　29. 因考虑到过几天会有铺天盖地的祝福短信堵塞网络，有理想有远见且智慧过人的举世无双宇宙超级无敌天才提前恭祝：麦瑞克瑞斯么斯嗯得嗨皮牛野儿！

　　30. 元旦到了，想我吗？想我就按，再按，你那么想我吗？我说想我才按。还按！没想到你这样想我，好感动！又按！我热泪盈眶。

　　31. 今天，新年第一天。从这刻起，出发！制订一个计划，完成一个心愿，要去那场梦寐以求的旅行。新的一年，每天充实而精彩。而此刻，最想说的，新年，做更好的自己，不悔昨日，不畏将来，不负自己。新年快乐！

　　32. 如果感到幸福你就挥挥手，如果感到幸福你就跺跺脚，如果感到幸福你就甩甩头。元旦快乐，疯子！

　　33. 古有愚公移山，铁杵成针，滴水成江，但都不及我对你的祝福。让我这份元旦祝福通过电波，跨过重重高山，越过滔滔江水，掠过高楼大厦，飞到你身边。

　　34. 玫瑰是我的热情，糖果是我的味道，星星是我的眼睛，月光是我的灵魂，一并送给你--我第一个也是最后一个爱的人，元旦快乐！

　　35. 窗外的麻雀，在电线杆上多嘴，你说这一句，很有夏天的感觉，手中的铅笔，在纸上来来回回，无非是想写些什么送给你，不知不觉，我的心不见了，纸上却出现了我的心。

　　36. 一朵花，采了许久，枯萎了也舍不得丢；一把伞，撑了很久，雨停了也想不起收；一条路，走了很久，天黑了也走不到头；一句话，等了好久……祝元旦快乐！

　　37. 第一缕阳光是我对你的深深祝福，夕阳收起的最后一抹嫣红是我对你衷心的问候，在新年来临之际，送上真挚的祝福：元旦快乐！

　　38. 愿甜蜜伴你走过每一天，愿温馨随你度过每一时，愿平安同你走过每一分，愿快乐和你度过每一秒！愿你在新年里天天有好心情！

　　39. 元旦快乐！这四个字虽然只花了我1毛钱，但却相当于1.5吨的祝福砸在你身上，收好，快乐，天天，好心情，无限。

　　40. 有些事不会因时光流逝而褪去，有些人不会因不常见面而忘记，在我心里你是我永远的朋友。在新年到来之际，恭祝好友酷炫十足！

　　41. 我托空气为邮差，把我热腾腾的问候装订成包裹，印上真心为邮戳，37度恒温快递，收件人是你。祝你：节日愉快：)

　　42. 今年新年不送礼，发条短信传给你。健康快乐长伴你，幸福美满粘着你，还有我要告诉你，财神已经盯上你！！

　　43. 老板，新年好，感谢你的关照。祝开心如意，财源滚滚！

　　44. 在我不识字的时候，总以为元旦就是圆蛋，不过圆蛋的确是好东西哦，猪你有个快乐的圆蛋！

　　45. 我对你的思念象深谷里的幽兰，淡淡的香气笼罩着你，而祝福是无边的关注一直飘到你心底。愿我的爱陪伴你走过新的一年直到永远。

　　46. 这一刻，有我最深的思念。让云捎去满心的祝福，点缀你甜蜜的梦，愿你拥有一个快乐的元旦，幸福的新年！

日志大全范例篇5

　　国际志愿者日活动策划书1 &emsp；&emsp； 一、活动主题

　　&emsp；&emsp； 争做志愿者，构建和谐社会。

　　&emsp；&emsp； 二、活动背景

　　&emsp；&emsp； 12月5日为国际志愿者日，借此重要纪念日之际许昌学院青年志愿者协会法政学院分会联合西区九个院系青协分会在总会的指导进行宣传这一重要节日，同时服务社会以扩大青年志愿者协的影响力，提高当代大学生的志愿服务素养，为和谐社会贡献一份力量。

　　&emsp；&emsp； 三、活动目的

　　&emsp；&emsp； 弘扬志愿服务精神，服务社会，提高在校大学生的素质，增强广大市民的志愿意识，提高他们参加活动的自觉性，使校园、社会更和谐。

　　&emsp；&emsp； 四、活动意义

　　&emsp；&emsp； 经过这次全校性和社会性相结合的大规模的活动和号召宣传，提升大学生素养，扩大青年志愿者影响力，壮大志愿者队伍，发扬志愿者精神促进和谐社会发展。

　　&emsp；&emsp； 五、活动时间

　　&emsp；&emsp； xx年12月5日上午9：00&mdash；11：00

　　&emsp；&emsp； 六、活动地点：某某大学西区文化广场。

　　&emsp；&emsp； 七、活动举办方

　　&emsp；&emsp； 主办：某某大学青年志愿者协会

　　&emsp；&emsp； 策划、承办：某某学院青年志愿者协会

　　&emsp；&emsp； 协办：经管、美术、化学、数学、计科、城环、文学、文旅等青协分会和赞助商（）

　　&emsp；&emsp； 八、指导单位

　　&emsp；&emsp； 某某大学团委

　　&emsp；&emsp； 法政学院团总支

　　&emsp；&emsp； 某某大学青年志愿者协会

　　&emsp；&emsp； 九、活动内容

　　&emsp；&emsp； 1、总会、西区九个系青协参加版面展出（本系青协特色活动展），12月5日八点之前摆放在文化广场内测周围；

　　&emsp；&emsp； 2、国际志愿者日宣誓大会：领导讲话、先进志愿者演讲、全体宣誓（宣誓词为会员证首页词）；

　　&emsp；&emsp； 3、宣誓后组织全体志愿者签名活动

　　&emsp；&emsp； 4、宣誓后，各系到其服务基地开展志愿服务活动；法政青协组织会员到建业小区义务支教活动和到&mdash；路擦洗道路护栏社会活动（具体事项见策划附件）；

　　&emsp；&emsp； 4、12月5日12：00&mdash；1：00在文化广场组织义务献血活动；

　　&emsp；&emsp； 5、去建业社区支教和到&mdash；路擦洗道路护栏社会活动的同时，发放志愿宣传单，号召市民关心社会，传播志愿者精神，从我做起，从小事做起；

　　&emsp；&emsp； 6、12月5日中午在校广播站点播志愿者祝福歌曲；

　　&emsp；&emsp； 7、12月5日晚在阶一免费播放两部关于志愿者或爱心的电影。

　　&emsp；&emsp； 十、服装

　　&emsp；&emsp； 全体志愿者统一穿校服、带志愿者帽子、彩带。

　　&emsp；&emsp； 十一、财政预算

　　&emsp；&emsp； 悬挂横幅一条 50元

　　&emsp；&emsp； 志愿者签名条幅一条 50元

　　&emsp；&emsp； 10支彩笔 10元

　　&emsp；&emsp； 三块版面宣传 15元

　　&emsp；&emsp； 打印材料、宣传单1000张 60元

　　&emsp；&emsp； 点歌、播放电影 10元

　　&emsp；&emsp； 音响筹备租借话筒 20元

　　&emsp；&emsp； 义务支教和擦洗道路护栏活动经费 20元

　　&emsp；&emsp； 共 计 235元左右

　　&emsp；&emsp； 注：其它事项询问法政学院青年志愿者协会会 某某大学校团委委 法政学院团总支

　　&emsp；&emsp； 法政学院青年志愿者协会

　　&emsp；&emsp； xx年8月

　　国际志愿者日活动策划书2

　　&emsp；&emsp； 一、活动主题

　　&emsp；&emsp； 争做志愿者，构建*社会。

　　&emsp；&emsp； 12月5日为*志愿者日，借此重要纪念日之际许昌学院青年志愿者协会法政学院分会联合西区九个院系青协分会在总会的指导进行宣传这一重要节日，同时服务社会以扩大青年志愿者协的影响力，提高当代大学生的志愿服务素养，为*社会贡献一份力量。

　　&emsp；&emsp； 弘扬志愿服务精神，服务社会，提高在校大学生的素质，增强广大市民的志愿意识，提高他们参加活动的自觉*，使校园、社会更*。

　　&emsp；&emsp； 经过这次全校*和社会*相结合的大规模的活动和号召宣传，提升大学生素养，扩大青年志愿者影响力，壮大志愿者队伍，发扬志愿者精神促进*社会发展。

　　&emsp；&emsp； xx年12月5日上午9：00&mdash；11：00

　　&emsp；&emsp； 1、总会、西区九个系青协参加版面展出（本系青协特*活动展），12月5日八点之前摆放在文化广场内测周围；

　　&emsp；&emsp； 2、*志愿者日宣誓大会：领导讲话、先进志愿者演讲、全体宣誓（宣誓词为会员*首页词）；

　　国际志愿者日活动策划书3

　　&emsp；&emsp； 一、活动背景

　　&emsp；&emsp； 1971年，联合国志愿人员组织正式成立，它的宗旨是动员具有奉献精神并有一技之长的志愿人员，帮助发展中国家尽快实现其发展目标。1985年，第四十届联大确定从1986年起，每年12月5日为“国际志愿人员日”。“老吾老，以及人之老；幼吾幼，以及人之幼。”这是在中国传诵了几千年的名句，时时激励着人们友爱互助共同促进社会的和谐进步。国际志愿者日已经确立了28 年整。还是一个年轻的节日。志愿实践部作为一个高校志愿组织，希望能够通过这次活动，使人人都 来当次志愿者，志愿为社会奉献，使人间充满爱， 促进社会的和谐进步。

　　&emsp；&emsp； 二、活动目的

　　&emsp；&emsp； 1.让同学们理解志愿者行动，积极参与志愿者活动，认识到我们每个人都可以是光荣的志愿者；

　　&emsp；&emsp； 2.宣传我校志愿者服务队，让大家了解我校的志愿者活动，了解我校的志愿者。

　　&emsp；&emsp； 3.锻炼本小组青年志愿者的各项义务劳动技能，增长服务经验。

　　&emsp；&emsp； 三、活动流程

　　&emsp；&emsp； 1、学校各活动人员6：20在1404全体集合出发，8：40到八一广场，整理队伍及做好活动最后的准备工作，9点活动正式开始。

　　&emsp；&emsp； 2、进行志愿者宣誓活动

　　&emsp；&emsp； 3、与其他院校的志愿者一起维持八一广场周边的交通问题，进行卫生清理活动，用实际行动服务大家，呼吁更多的人投入到志愿者队伍中来，倡导和谐新风尚。

　　&emsp；&emsp； 4、10点在八一广场集合，活动结束，合影留念。

　　&emsp；&emsp； 四、活动后期宣传

　　&emsp；&emsp； 1. 由记者写成稿件在日新网、校报、广播站、院网、土木年华杂志上进行报道。

　　&emsp；&emsp； 2. 各部长总结此次的活动的经验和不足，留下记录备案。

　　&emsp；&emsp； 3.处理好视频文件，制作节目视频放到日新网及优酷，土豆等视频网站上以作宣。

　　&emsp；&emsp； 五、注意事项及备注

　　&emsp；&emsp； (一)。所有志愿者在来往的路途上要注意安全，并遵守交通法规。

　　&emsp；&emsp； (二)。活动前各负责人复必将此次的活动内容。注意事项等清楚地告诉所有志愿者，让他们明白自己要做什么，在做什么，应该怎么做。

　　&emsp；&emsp； (三)。在活动中，要注意自己的言行，保持好志愿者形象。

　　&emsp；&emsp； (四)。活动期间相互保持紧密联系，不得擅自离开。