SYSLOG⽇志数据采集实现
syslog⽅式
已成为⼯业标准协议的系统⽇志(syslog)协议是在加⾥佛尼亚⼤学伯克⽴ 软件分布研究中⼼(BSD)的TCP/IP 系统实施中开发的，⽬前，可⽤它记录设备的⽇志。在路由器、交换机、服务器等⽹络设备中，syslog记录着系统中的任何事件，管理者可以通过查看系统记录，随时掌握系统状况。它能够接收远程系统的⽇志记录，在⼀个⽇志中按时间顺序处理包含多个系统的记录，并以⽂件形式存盘。同时不需要连接多个系统，就可 以在⼀个位置查看所有的记录。syslog使⽤UDP作为传输协议，通过⽬的端⼝514(也可以是其他定义的端⼝号)，将所有安全设备的⽇志管理配置发送 到安装了syslog软件系统的⽇志服务器，syslog⽇志服务器⾃动接收⽇志数据并写到⽇志⽂件中。
另外，选⽤以syslog⽅式采集⽇志数据⾮常⽅便，且具有下述原因：
第⼀，Syslog 协议⼴泛应⽤在编程上，许多⽇志函数都已采纳 syslog协议，syslog⽤于许多保护措施中。可以通过它记录任何事件。通过系统调⽤记录⽤户⾃⾏开发的应⽤程序的运⾏状况。研究和开发⼀些系统程 序是⽇志系统的重点之⼀，例如⽹络设备⽇志功能将⽹络应⽤程序的重要⾏为向 syslog 接⼝呼叫并记录为⽇志，⼤部分内部系统⼯具(如邮件和打印系统)都是如此⽣成信息的，许多新增的程序(如tcpwrappers和SSH)也是如此⼯作 的。通过syslogd(负责⼤部分系统事 件的守护进程)，将系统事件可以
写到⼀个⽂件或设备中，或给⽤户发送⼀个信息。它能记录本地事件或通过⽹络记录到远端设备上的事件。数据收集
第⼆，当今⽹络设备普遍⽀持syslog协议。⼏乎所有的⽹络设备都可以通过syslog协议，将⽇志信息以⽤户数据报协议(UDP)⽅式传送 到远端服务器，远端接收⽇志服务器必须通过syslogd监听UDP 端⼝514，并根据 f配置⽂件中的配置处理本机，接收访问系统的⽇志信息，把指定的事件写⼊特定⽂件中，供后台数据库管理和响应之⽤。意味着可以让任何 事件都登录到⼀台或多台服务器上，以备后台数据库⽤off-line(离线) ⽅法分析远端设备的事件。
第三，Syslog 协议和进程的最基本原则就是简单，在协议的发送者和接收者之间不要求严格的相互协调。事实上，syslog信息的传递可以在接收器没有被配置甚⾄没有接收器的情况下开始。反之，在没有清晰配置或定义的情况下，接收器也可以接收到信息。
通过分析⽐较，⽬前主要流⾏的⽇志数据采集⽅式选⽤syslog⽅式较其他⽅式有优势。
模式实现
本⽂所述的⽇志数据采集模式是以建⽴syslog⽇志服务器为主的采集⽅式，具体内容如下：
1.采集原始⽇志信息。
数据源：提供syslog格式⽇志数据的设备或系统；该设备可能是防⽕墙、IDS、病毒⽹关及其他安全设备或系统。
syslog⽇志服务器：采集来⾃设备或系统的syslog格式⽇志数据并进⼀步保存其原始数据。
⽇志⽂件：保存来⾃syslog⽇志服务器处理过的syslog格式⽇志数据，每⼀⾏表⽰⼀条⽇志信息。
2.进⾏有⽤⽇志数据分析采集。
⽇志⽂件监控：监控⽇志数据收集⼯作。侦测到⽇志⽂件是否有数据写⼊，意味着有数据被采集，同时触发对该⽇志数据的过滤。
过滤：符合设定条件的⽇志数据被采⽤，转⼊相关事件调⽤；不符合设定条件的⽇志数据被抛弃，返回对⽇志⽂件的监控。
数据库：保存过滤后的原始⽇志数据和经分析提取出有⽤信息数据。
有⽤数据分析采集：由监控程序触发，执⾏时序在新⽇志数据写⼊数据库之前，然后从数据库中提取原始数据，完成提取有⽤信息的⼯作，提取信息如 下：事件发⽣的时间、事件发⽣时使⽤的协议、事件发源地、事件发⽣⽬的地、安全设备信息等。处理完成后将结果写⼊数据库，以待以后更深层次分析。
结果显⽰：将初步分析采集结果以Web⽅式或其他⼈性化显⽰。
实际上，上述内容是以三个中⼼的⽅式提出⼀种采集⽇志数据模式：以⽇志服务器为中⼼采集原始⽇志信息，分别以⽇志⽂件和⽇志数据库为中⼼进⾏的 ⽇志数据分析采集有⽤的⽇志信息。该种采集⽅法能保证采集⼯作各项事务能独⽴完成：syslog服务器采集原始⽇志数据不受后⾯程序分析采集、数据库读写 等的影响，后⾯的分析采集部分不受syslog服务器采集⼯作影响⽽减慢分析采集的速度。⼀⽅⾯保证采集到各安全设备的⽇志数据不被丢失，安全信息有完整 的保证；另⼀⽅⾯保证安全管理系统从数据采集到动作反应花费的时间短，还可以取得实时的⽇志信息。
结合建⽴在syslog⽇志服务器基础上，提出⼀种采集⽇志数据模式：以⽇志服务器为中⼼采集原始⽇志信息，分别以⽇志⽂件和⽇志数据库为中⼼ 进⾏的⽇志数据分析采集有⽤的⽇志信息。但是，该协议在⽹络信息安全⽅⾯也存在着漏洞，同时要考虑到相关的解决⽅式。⼀是要考虑到限制syslog⽇志服 务器的访问范围，也可以指定syslog⽇志服务器与安全设备间以固定的端⼝进⾏⽹络互联；⼆是可以在syslog中加⼊IP sec协议解决加密与认证的⽅式。
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论