数据采集—业务系统日志数据采集
数据采集—业务系统⽇志数据采集
业务系统⽇志数据采集
业务系统的定义
业务系统是指在⼀个专业/⾏业⽅⾯，⽐如⼈事系统、财务系统、物资系统等，从某⼀个⽅⾯从上到下的组织架构及所有的业务⼯作。
拿企业业务系统来说，此系统解决的是公司外部的问题，即将⼀个公司⽣产的产品卖给他⼈。
业务系统解决的问题
1. 让业务流程变的更加规范
内衣文胸品牌排行榜2. 数据实时展⽰，并给出领导层决策
3. 历史数据长久保留并随时可查
业务系统—ERP
ERP是企业资源计划的简称，由不同的功能模块组成的软件系统，建⽴在信息技术基础上。是⼀个信息⾼度集成的管理系统。核⼼业务包括：财务统计，会计管理，销售管理，采购管理，客户关系管理，供应商管理，物流管理，⽣产计划，质量管理
业务系统—CRM
CRM是指利⽤计算机⽹络实现以客户为中⼼的系统。主要⽤途是实现企业效益最⼤化，作⽤：服务、挖掘客户，维护客户与销售之间的关系、提⾼客户的满意度、提⾼服务质量。
应⽤：
1. 客户档案有序管理
2. 合同管理
3. 销售报表
4. 预测销售业绩
业务系统的数据价值
火炬之光2 法师加点数据库数据的价值
记录了业务产⽣数据，可以⽤来分析企业业务趋势等。
⽇志数据的价值
⽇志中记录了业务系统的⼏乎所有⾏为。通过⽇志信息可以为企业应⽤系统纠错，跟踪系统的运⾏，优化系统性能，可以反映系统错误操作和被恶意攻击情况。
在⾼可靠性的系统中，⽇志能够准确、及时反映系统的状况，从⽽保障了系统运⾏的连续性。
⽇志数据
由于⽇志是分散存储才不同设备、服务器中的，所以⼤多数公司使⽤集中化管理⽇志，如syslog，将所有服务器上的⽇志收集汇总。
⽇志的作⽤
1. 信息查：检索⽇志可以到系统bug，并针对性的修复bug
2. 服务诊断：对⽇志信息进⾏统计分析，根据服务的符合、运⾏状态，进⾏相应的优化
3. 数据分析：如果是格式化的⽇志，如log，可以进⼀步分析、统计、聚合出更有意义的信息
ELK
ElasticSearch、Logstash和Kibana三个开源⼯具组成
ElasticSearch是⼀个开源分布式搜索服务器。特点是，零配置、分布式、索引⾃动分⽚、⾃动发现、索引副本即⽌、⾃动搜索负载Logstash主要功能，⽇志进⾏收集、过滤并将其存储。⽤于收集集⽇志
Kibana浏览器页⾯的Elasticsearch前端展⽰⼯具，主要是为ElasticSearch和Logstash提供web互动界⾯。
开发语⾔与技术框架
.Net
.Net平台是微软搭建的技术平台，技术⼈员在此平台上进⾏应⽤的搭建与开发。
程序的运⾏需要很多所必需的环境。这就是.Net平台 。
.
Net的⽇志框架
1. 记录器：⽇志的对象，可以同时连接⼀个或多个不同的监视器，记录各种不同的消息和信息
2. 监视器：⽤于存储和显⽰⽇志消息的媒介(⽂本⽂件、数据库、⽹络、控制台、邮箱)
3. 包装器：⽤于制定⽇志记录的⽅式
4. 过滤器：根据消息的严重性级别来过滤和忽略某类消息，只记录特定级别的⽇志信息
5. 布局：⽤于格式化输出(定义输出内容和输出格式)
6. 严重性级别：给不同类别的消息给予不同的严重程度。
Java
Java是由Sun Microsystems公司于1995年5⽉推出的Java⾯向对象程序设计语⾔和Java平台的总称。由James Gosling和同事们共同研发，并在1995年正式推出。
Java分为三个体系：
JavaSE（J2SE）（Java2 Platform Standard Edition，基础）
JavaEE(J2EE)(Java 2 Platform,Enterprise Edition，企业)
JavaME(J2ME)(Java 2 Platform Micro Edition，嵌⼊式设备)。
常⽤的⽇志框架：Log4j、Slf4j 、Logback 。
Java的⽇志框架
Java3以前Java的⽇志不能定制化，且⽇志粒度(粒度就是同⼀维度下，数据统计的粗细程度)不够细。
之后阿帕奇发布了Log4j，解决了上述问题。
现在流⾏的⽇志框架Log4j2是性能最好的
Java的⽇志输出⽅式
1. 使⽤IDEA创建⼀个Maven项⽬
2. 在l中添加log4j依赖，重载l，等待依赖添加成功。
3. 创建Log对象（静态类），并输出若⼲⽇志。
4. 配置每⼀个⽇志的配置⽂件，并分别配置同步和异步两种⽅式（现⽤现查）
Java的语⾔特点
1. 跨平台性：Java编译后的字节码具有⼀次编译到处运⾏的特点，运⾏在JVM中。
2. 简单性：Java是⾯向对象的程序设计语⾔，没有那些难以理解的指针、结构等
3. ⾯向对象：⾯向对象的程序设计语⾔，属性或⽅法必须声明到⼀个具体的对象中，才能使⽤。
4. 安全性：Java在编译时有严格的语⾔和语义检查，保证了每个变量对应⼀个值
JavaEE下的框架*
1. Struts2
2. Spring
3. Hibernate
4. MyBatis/iTatis
放票时间
5. Security
6. Velovity/Framemark/Thmeleaf
微服务框架
概述
微服务架构是围绕着分模块和分布式思想构建的⼀系列结果的简称，是⼀种在传统软件应⽤框架的基础上，按照功能拆分为粒度更细的服务，拆分出的每个服务都是⼀个独⽴的应⽤。
服务*
1. 微服务实例的开发–SpringBoot
2. 服务的注册与发现–Spring Cloud Eureka
3. 负载均衡–Spring Cloud Ribbon
4. 服务容错–Spring Cloud Hystrix
5. API⽹关–Spring Cloud Zuul/Gateway
6. 分布式配置中⼼–Spring Cloud Config
SpringBoot
集成了原有Spring框架的优秀基因，省去了Spring繁琐的配置，很容易创建⼀个独⽴运⾏的、准⽣产级别的基于Spring框架的项⽬。
作⽤*：
1. 独⽴运⾏的Spring项⽬，以jar的形式独⽴运⾏
2. 内嵌servlet容器，可以内嵌tomact等
3. ⾃动配置Spring
交通事故调解
4. 完整的项⽬监控，保证⽣产健康
5. ⽆代码⽣成和xml配置，通过条件注解来实现
Spring Cloud
提供了快速构建分布式系统中⼀些常见模式的⼯具，开发⼈员使⽤SpringCloud可以快速地⽀持实现这些模式的服务和应⽤程序。他们能在任何分布式环境中运⾏良好
业务系统⽇志数据采集
⽇志级别
1. all: 最低等级⽤于打开所有⽇志记录
2. trace：很低的级别，追踪，程序往下执⾏时，可以⽤trace输出
3. debug：调试，默认的最低等级，all和trace⼀般不⽤；主要⽤于开发过程中打印⼀些的信息
4. info：消息在粗粒度级别上突出强调应⽤程序的运⾏过程，⽤于打印⼀些重要的信息 常⽤
5. warn：警告，可能会出现潜在的错误，需要给开发⼈员予以提⽰
6. error：错误信息，发⽣了错误事件，道理上不影响整个程序的运⾏，常⽤
7. fatal：致命错误，会导致程序完全停⽌，整个程序本⾝存在问题需要重写
8. off：最⾼等级，⽤于关闭所有⽇志记录
log4j⽇志显⽰形式
SimpleLayout：⼀种简单的形式显⽰
HTMLLayout：⼀种HTML表格形式显⽰
PatternLayout：⼀种⽤户⾃定义的形式显⽰
log4j的⽇志格式
%t–线程名称
%p–⽇志级别
%c–⽇志消息所在的类名
%m–消息内容
%M–输出执⾏⽅法
%d–发⽣时间
乐山公安局通报击案详情
%x–输出和当前线程相关的NDC，多⽤于java servlets这样的多客户多线程的应⽤中。
%L–代码中的⾏数
%n：换⾏
采集业务系统⽇志
收集tomcat⽇志到mysql
1. Tomact启动：运⾏Tomcat业务系统
2. ⽣成⽇志：Tomcat中运⾏java web系统
3. ⽇志配置：配置l
4. 设置采集⼯具FileBeat：配置FileBeat的配置⽂件，启动FileBeat白百何被曝停工作
5. 配置LogStash：修改或创建配置⽂件
6. Logstash输出配置：安装logstash-output-jdbc插件，将mysql-5.1的驱动程序放到vendor/jar/jdbc⽬录下，创建f
配置⽂件
收集spark、log4j⽇志到kafka
logstash+kafka
flume+kafka

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。