新闻中心
近年来,我们专注于提供企业级客户的数字化转型赋能/服务,以数据库/中间件运维咨询服务、数据库国产化改造服务、开源数据库技术栈服务、数据中心硬件带外监控服务、大数据服务、AI开发平台为核心业务,是IT智能运维服务提供商。
返回列表
首页 / 新闻资讯 / 公司动态
东方龙马与袋鼠云联合推出智能日志运维解决方案
来源:   日期:2018-05-12

东方龙马-1-900.jpg

东方龙马


5月11日,结合东方龙马20余年的运维经验,东方龙马与袋鼠云联合推出智能日志运维解决方案。




大数据时代,企业内部的IT系统和开发的各类应用程序每天都在产生海量的日志数据,在故障定位、安全审计、运营支撑等各方面,日志都起到了重要作用,且单靠人力已经很难进行处理,通常需要多个团队重复工作,并且花费过多的时间来处理单个事件,因此一个合适的日志分析解决方案,对于企业便显得尤为重要。


智能日志运维解决方案是一款成熟的高性能可扩展的日志管理、分析产品,降低企业客户直接使用ELK开源产品的部署和使用成本的同时,可根据客户日志内容及需求快速抽象实际使用场景,沉淀为独立应用、仪表盘、告警,帮助企业完成业务监控分析、异常定位、合规审计等等,从而提升企业故障发现率、降低企业运维成本、辅助企业优化运维、运营决策。



我们把企业面临的问题分为5个大类:收集困难、处理困难、可视化难、审计困难、信息孤岛



1.收集困难

收集和管理困难:日志产生于各业务部门和多种设备上,数据隔离严重,分散存储,形式多样,存在各种格式规范;




2.处理困难

缺乏海量日志处理能力:动辄上TB级别的海量数据无法高效处理和进行实时分析,非结构化数据更是难以处理;




3.可视化难

缺乏可视化展现手段:展现手段陈旧、传统。缺乏可视化报表系统,难以有效展现数据信息,无法结合实际运维和业务场景展现数据价值;




4.审计困难

无法进行安全合规审计:各种未授权访问等安全事件无法统计,缺乏事件回顾和调查途径,无法进行安全合规审计;




5.信息孤岛

存在大量的信息孤岛,信息直接的价值无法关联,信息价值无法叠加。无数有价值的信息长期散落孤岛中被忽略。




智能日志运维解决方案将实现全程统一采集,统一存储,统一展现,它的产品架构如下:


日志展现-OLM.png


智能日志运维解决方案主体分为数据集成、数据处理、应用三个层级



【数据集成】

平台针对各类型设备提供轻量级采集工具(Agent),支持对操作系统、网络设备、业务系统等各类型设备数据进行一站式集成,且平台接入之初提供可视化界面对数据统一进行分类、打标,便于后期数据管理、使用。




【数据处理】

日志、性能指标等机器数据均属于多格式化数据,经由专业数据解析模块,将多格式化数据转化为K-V型结构化数据,原文及解析后的格式化数据统一保存至存储引擎,上层应用可直接用于查询,若过程中涉及相对复杂的聚合、计算,平台提供实时计算模块灵活对数据进行深度加工,而后计算结果集回流至原存储引擎,用于后续应用生成。




【应用】

上层通过产品可视化界面,可直接对全局数据进行全文检索、索引查询,也可通过SQL、SPL等高级查询语句做相对复杂的分析、聚合、计算,将计算结果保存为可视化应用、仪表盘,或者根据结果集创建对应告警策略,固化为日常使用场景,减少传统日志排查,问题定位所消耗的大量精力,从而提升运维、运营效率。



日志展现-OLM2.png




智能日志运维解决方案的功能图谱



日志展现-OLM4.png




一、数据集成(采集层)


1.云日志Agent

平台采用轻量级采集工具(Agent),在您的设备上安装后,会自动监控日志目录或者指定的日志文件,追踪读取这些文件,并且转发这些信息到云日志平台,同时云日志以产品形态运行,提供可视化配置界面,页面上指定采集目录、及日志类型等标签即可完成下发,且针对大型企业(集群规模相对大的客户)产品提供批量Agent安装、配置文件批量下发。



1.png

图:连接服务器下发Agent




2.Agent管控

产品提供可视化Agent管控模块,用于管理当前各机器下Agent运行状态,支持手动启停、删除,可根据实际场景自定义限制Agent传输资源消耗值;



日常使用中,Agent会保持非常稳定的运行状态,且云日志提供Agent资源限制、自刎双重保障,可自定义Agent运行资源阈值,若有毛刺情况发生,Agent会根据对应阈值进行限流或自动停止,确保Agent对业务系统资源无侵害。


2.png

图:Agent运行状态管控


3.png

图:真实Agent资源使用率趋势图 




3.数据分类、打标

数据接入之初,云日志产品提供可视化界面配置,支持用户对不同业务、应用或数据类型进行分类、打标,便于用户后期对数据进行管理、使用。



4.png

图:配置文件可视化编辑(支持分类、打标)




二、数据处理层


1.常规数据解析

平台提供可视化解析模块,对相对标准日志的解析规则进行沉淀,常用标准格式数据可直接运用,解析完成后的数据即可运用简单的语法直接进行查询、分析、计算,进而发掘数据特性。



针对特殊日志,云日志提供正则、KeyValue分解、分隔符、Json等自定义解析方式,实现精准解析,且产品解析规则模块提供解析成功率供用户做参考。




2.自动解析

同时格式规范的业务日志用户只需鼠标画选需要提取的字段,系统即自动生成解析规则对日志进行解析。 



5.png

图:划选字段自动解析




3.多单元解析

且云日志内一个解析规则支持创建多个解析单元,专门针对单个文件格式多样的复杂日志进行解析。



如下 单个文件 多种类型日志,云日志针对此类复杂日志 提供多解析单元,单个解析规则即可对格式多样日志进行解析。


6.png

图:复杂格式日志样例


7.png

图:云日志多单元解析




4.数据分析、计算

产品在计算引擎上单独架设了类SQL及SPL高级查询语句,用户仅需有SQL及相关语言基础,即可完成对应数据统计、分析;



若涉及更为复杂的聚合、计算场景时,平台提供实时计算模块,灵活对数据进行深度加工,而后计算结果集回流至存储引擎,用于后续应用生成。


8.png

图:云日志SQL快速配置仪表盘




三、应用层


1.全文检索、索引查询

云日志平台提供准实时关键词搜索响应,用户在平台上可输入任何关键字进行字段匹配,查询分析像使用搜索引擎一样简单和快速;



搜索框会根据用户输入内容提示查询语法、查询内容,同时用户可根据自身业务自定义数据源结构,搜索页面通过数据源结构树快速查询定位,且产品支持对用户常用的查询条件及时段进行保存、管理,便于用户后续快速操作;


同时支持上下文查询,分布式架构下,全局日志统一管理在日志平台,用户定位到其中一条日志即可查看对应日志文件上下文,快速排障。


9.png

图:数据全文检索、索引查询 




2.应用场景沉淀、仪表盘配置

日常日志使用场景可通过应用模块以仪表盘形式将其沉淀,通过SQL、SPL可快速完成对应业场景的分析,将结果可视化呈现,省去常规排障、定位过程,提升运维、运营效率;



10.png

图:云日志仪表盘基本效果 




3.监控告警策略配置

根据用户实际场景,可定义自动巡检告警指标阈值,配置监控告警后,按预设计划周期性执行,当满足触发条件时各类系统的告警信息通过邮件、短信、钉钉等方式及时告知用户,便于用户尽早发现、处理问题;



•支持通过去全文检索、或SQL、SPL高级查询语句进行告警策略配置;

•可设定告警等级(轻微、普通、严重);

•可设定告警抑制,防止告警风暴;

•支持根据Cron表达式设置执行计划等等…


11.png

图:告警事件分布 




4.权限、租户管理

金融行业通常对数据管理、使用较为敏感,不同部门或业务对数据、产品有不同使用场景,云日志提供完善的功能及数据源权限管理体系,用户可根据企业当前业务结构,关联对应资源模块,通过角色系统,将用户和资源进行分离,对应用户仅可访问被授予的资源、数据源。 



同时云日志提供租户体系,支持对不同部门或业务数据进行隔离,不同用户群可有管理员分配在不同租户下分别进行管理,从而提高企业对资源的监管能力。




5.数据脱敏

针对现有数据中敏感信息及系统间的逻辑关系,云日志内提供数据脱敏模块,制定对应脱敏规则,管理对敏感数据的访问权限,防范生产数据泄露等安全隐患,完善信息科技风险管理体系,同时满足安监部门合规审计要求;



如数据内包含银行卡号、手机号等敏感信息,通过系统内置脱敏规则,可将数据内次信息全部或部门屏蔽,且通过权限控制原数据可见(如安全管理员可查看全部真实数据源,普通用户仅可查看脱敏后数据,以保障隐私数据安全)。


12.png

图:数据脱敏配置、预览 


13.png

图:脱敏数据使用 




智能日志运维解决方案的落地的场景



日志展现-OLM3.png




落地场景





运维场景 - 全局鸟瞰式监控



日志展现-OLM5.png




场景功能 - 业务运维监控


640.webp.jpg





场景功能 - 日志审计

操作系统审计包括登录、操作、软件包安装、文件改动等;


应用日志审计,Apache、Tomcat、IIS、weblogic 、Nginx访问日志;


数据库日志审计,数据库告警日志、数据库访问日志、数据库慢SQL、数据库操作;


网络及安全设备审计,主流的路由器、交换机、负载均衡等网络设备等,如Cisco、华为、juniper等;


启明WAF防火墙、绿盟IDS、华为防火墙、Juniper防火墙、天融信防火墙等 。





袋鼠云是国内领先的数据智能践行者。袋鼠云始终坚持“数据创造价值”的核心理念,致力于“让未来变成现在”,将数据智能的先进理念、技术实践,传播和应用到传统行业中,通过为客户提供数据智能的整体解决方案,帮助客户提升生产效率,真正让数据产生价值。

——袋鼠云


东方龙马(OLM)立足IT行业二十余年,为客户提供国际领先的IT产品并在国内实现本地化服务,业务涵盖数据库/中间件、智能化运维、数据可视化、合规和信息安全、全闪高性能解决方案等。全国超过400个大客户,拥有丰富的运维服务经验,管理超过1500个系统,涉及政府、金融、电信、能源、制造等各行业。

——东方龙马(OLM)





东方龙马-微信公众号.webp.jpg


|  北京    |    上海    |   广州    |   成都    |


4008-906-960



OLM-1.png


4008-906-960

全国免费咨询电话
  • 官方微博
  • 官方微信
Copyright 1998-2024 版权所有 北京东方龙马软件发展有限公司 京ICP备14000200号-1