功能介绍
功能模块介绍
1.1日志集成和接收
日志集成与接收模块的核心目标可以概括为三点:全面采集:能够从分布式的、异构的环境中收集所有相关的日志数据。可靠传输:确保日志数据在传输过程中不丢失、不重复。低侵入性:对业务应用的性能影响降到最低,并易于集成。
日志集成
可以对Winlogbeat、Vector、Filebeat、Packetbeat、Metricbeat、Auditbeat6个探针的17个采集器进行配置。
(1)内置等多个采集器,侧边树形图方便展示。
(2)点击“设置”可以进行配置信息的填写。
(3)点击“简介”可以查看这个采集器的简介及其输出。
日志接收
日志接收可对各探针收集到的日志进行储存并查看,直观展现名称和所属组织,同时也可进行编辑和删除。
1.清晰直观查看列表信息。
2.增,收集从日志集成新增来的。
3.删,支持删除,删除后,无法恢复且改实例不会继续上报日志。
4.改:可点击“编辑”修改实例名称和分组。点击“更新配置”可更新主机,日志分组等。
5.查:所有日志可进行关键字搜索。
1.2日志分组
设置权限
把全部的日志按照规则中设置的可查看部分提取,再分给日志分组下的所属分组的具体个人。主要包括列表,添加,查询这三部分操作。
日志分组是一种管理策略,它通过为不同应用产生的日志数据打上独特的“标签”或“标识符”,从而在统一的日志平台中构建出清晰的数据边界和逻辑视图。可在日志分组中查看各日志的规则描述、所属组织以及创建者的信息,并且能进行编辑和修改分组。
日志分组列表
在列表中可查看名称、规则描述、所属组织、采集类型、创建时间、创建者,并且可以操作进行编辑或删除。
日志分组添加
添加日志分组需填写名称,选择采集类型和分组,设置规则。
1.规则:可添加多条,再选择“所有条件”,“任意条件”进行连接。(所有条件:同时满足多条规则才符合,任意条件:满足任一条件即可)
2.分组:与设置-组织架构中的分组一致。
编辑日志时,可查看所有的规则,以及更改规则(=、!=、包括、不包括),还有对规则的增加和删除。
1.3日志搜索
日志搜索是对分散在服务器、应用及设备中的海量日志进行集中采集、结构化处理、高效索引与实时检索的技术过程。主要功能包括搜索条件,查询直方图,列表/终端。
根据搜索条件的设置以及查询直方图上时间的进行搜索查询,根据设置的展示字段内容直观展示日志信息。
搜索条件
搜索条件可按时间段,分组以及搜索关键词、id等进行查询。
搜索查询语法说明
点击“灯泡”按钮即可查看搜索语法说明。
搜索查询包括简单查询,日志排序,指定返回字段,排除特定日志,字段级查询。
日志刷新
日志刷新包括手动刷新和自动刷新两种。选择了自动刷新则系统会按照设定的时间(1m、5m、10m)进行自动刷新日志。
查询直方图
直方图展示的内容为时间和日志数量,还可以看到日志总条数,查询时间,查询耗时等。
快捷时间段查询
快捷时间段查询:拉取两个时间点的时间段,即可快捷进行这部分时间段的查询。
加载条件查询
收藏搜索过的词条进入加载条件,后期可进入加载条件内选择收藏过的词条直接查询让搜索更加便利。
原日志
包括两个部分,列表和终端。
列表:按时间戳和信息进行日志信息的获取展示。终端:终端为实时日志,点开后自动开启滚动模式,可点击暂停键停止滚动。还有清空日志和全屏展示的功能。
列表关键字快捷搜索
点开具体信息后即可选取具体的字段信息进行快捷查询。
点击“+”可以将选择的字段自行添加进入表格进行展示。也可对表格展示的字段进行删除。
也可对自行添加表格展示的字段进行删除。
1.4事件告警
告警功能,它能对多种采集类的日志进行监控,通过设置策略,可基于关键字、日志聚合等方式触发告警。界面展示活跃告警,标注级别、时间、告警名称等信息,还能通过分布图直观呈现告警时间分布,方便用户及时发现系统异常,快速定位问题,助力保障系统稳定运行。
日志告警介绍
日志告警可根据左侧树状图查看不同采集器的告警,同时可根据告警日志的三个级别(严重、错误、警告)进行搜索。还可展示级别、时间、告警名称、采集类型、告警类型、状态、是否通知、操作员,同时可以查看详情,进行关闭操作。
告警的显示可以自动刷新:1m、5m、10m,也可以关闭自动刷新进行手动刷新。
点击告警详情,可以查看告警相应的详细信息,也可以显示此告警的原始日志。
在历史告警中,可以查看已经关闭的告警日志。
日志策略介绍
此功能可以查看策略的类型、创建者、执行时间以及是否生效等信息。还能编辑或添加策略。
更改或创建策略时,设置告警条件时,可以根据算法分成关键字告警和日志聚合告警。
关键字告警会根据查询条件的关键字警告,需要在创建策略时设置展示字段;日志集合告警会根据日志聚合结果进行告警,需要在创建时设置聚合条件及规则。
1.5日志分析
日志分析的仪表盘,可以展示协议流量分布趋势图、网络总流量趋势图、网络总包数趋势图,高消耗流量源 IP Top20 和目标 IP Top20以及高流量五元组桑基图。
1.协议流量分布趋势图
清晰统计不同协议的流量占比,直观反映网络资源在各协议上的分配与使用情况,为协议管理提供数据支持。
2.网络总流量与总包数趋势图
通过时间维度展示流量与包数的变化趋势,帮助管理员快速识别流量高峰与异常波动,从而辅助网络容量规划与故障排查。
3.高消耗流量源IP与目标IP Top20统计
精准定位产生流量最多的通信端点,有助于发现潜在流量热点或异常流量来源,对维护网络稳定与优化性能具有重要意义。
4.高流量五元组桑基图
清晰呈现流量在源IP、源端口、协议、目的端口、目的IP之间的流动路径与分布关系,深化对网络通信结构的理解。
2、快速入门
在企业IT环境中,海量日志数据分散于服务器、应用、容器及网络设备中,涵盖系统状态、错误追踪、安全事件等关键信息。运维人员日常需通过这些日志定位故障、优化性能或满足审计要求,但传统方式(如逐台登录服务器查询、手动筛选文本文件)不仅效率低下,且难以关联跨系统问题,导致故障响应延迟和运维成本攀升。
为应对这一挑战,日志中心通过集中化管理架构,整合多源异构日志数据,提供统一的采集、存储、查询能力。基于智能检索与实时监控,运维团队可快速定位根因、预测风险,将被动响应转化为主动运维,显著提升系统稳定性和管理效率。
利用vector采集器接入file日志
2.1 第一步:日志接收
配置采集器
选择vector采集器接入docker日志。
进入采集器vector docker的设置后,配置具体的主机信息、指定和忽略的容器,添加监控对象,选择节点和所属组织,输入实例名称。
2.2 第二步:查看实例
在日志接收中查看所有vector docker采集的实例。
可点击“编辑”修改实例名称和分组。
点击“更新配置”可更新主机,指定和忽略的容器等。
2.3 第三步:日志搜索
点击日志接收页面中采集器vector docker下日志的“查看日志”可跳转至日志搜索页面,也可通过日志搜索页面进行日志搜索查询。此页面展示查询直方图、原日志,以及动态展示的终端页面。
2.4 第四步:日志策略和告警
日志策略
此功能可以查看策略的类型、创建者、执行时间以及是否生效等信息。
可以更改和创建新的策略。
日志告警
可通过严重级别进行筛选搜索采集器vector kubernetesr下的日志告警。展示级别、时间、告警名称、采集类型、告警类型、状态、是否通知、操作员,同时可以查看详情和进行关闭操作。
在历史告警中,可以查看已经关闭的告警日志。