最新文章列表

ELK 安装部署

ELK概述   ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成: 1)ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。ElasticSea ...
hbxflihua 评论(0) 有1235人浏览 2017-05-26 20:07

Docker时代——如何实现日志数据一键上云

一、 准备工作 1.1 开通MaxCompute服务 参考使用MaxCompute的准备工作 1.2 开通Datahub服务 进入Datahub Web控制台,创建project(注意:首次使用的用户需要申请开通) 1.3 安装Docker环境 Docker官方说明了在不同操作系统下安装Docker的方法,您可以点击此处查看。在阿里云ECS上,以CentOS 7.2为例,安装方式如下: ...
iyulang 评论(0) 有11人浏览 2017-05-12 13:37

【Best Practice】基于阿里云数加·StreamCompute快速构建网站日志实时分析大屏

在云栖社区上写了一篇普惠性的文章,很粗偏向数据架构层面。具体可以进入:【数据架构解读】基于阿里云数加StreamCompute和MaxCompute构建的访问日志统计分析,但是在具体实操中肯定不会那么一帆风顺。为了避免大家走弯路特意先写了一篇架构篇,以免大家后续发现不适用而更改或优化工作。   本文偏向与实操层面的为大家介绍,如何基于阿里云数加StreamCompute、DataV快速构建 ...
iyulang 评论(0) 有17人浏览 2017-05-04 22:01

【大数据干货】轻松处理每天2TB的日志数据,支撑运营团队进行大数据分析挖掘,随时洞察用户个性化需求。

“用户每天产生的日志量大约在2TB。我们需要将这些海量的数据导入云端,然后分天、分小时的展开数据分析作业,分析结果再导入数据库和报表系统,最终展示在运营人员面前。”墨迹天气运维部经理章汉龙介绍,整个过程中数据量庞大,且计算复杂,这对云平台的大数据能力、生态完整性和开放性提出了很高的要求。 关于墨迹天气 北京墨迹风云科技股份有限公司于2010年成立,是一家以“做卓越的天气服务公司 ...
iyulang 评论(0) 有22人浏览 2017-04-27 13:13

云上游戏数据分析实践

从游戏发展的角度来看,不管是端游、页游,还是现在发展迅猛的手游,其生命周期与盈利情况都与数据分析能力息息相关。同时数据分析对游戏的运维也起到了至关重要的作用。精确的数据分析有助于在做游戏运营时推出合理的新手引导,在及时的渠道推广和丰富的消费场景设计,这些将极大地影响游戏玩家对游戏的关注度,从而延长游戏的生命周期,并从中更好盈利。 游戏数据分析特点 分析是建立在数据上的,数据的特点决定了分析的方 ...
iyulang 评论(0) 有16人浏览 2017-04-26 09:29

基于OGG Datahub插件将Oracle数据同步上云

一、背景介绍 随着数据规模的不断扩大,传统的RDBMS难以满足OLAP的需求,本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中,并利用大数据工具对数据进行分析。 OGG(Oracle GoldenGate)是一个基于日志的结构化数据备份工具,一般用于Oracle数据库之间的主从备份以及Oracle数据库到其他数据库(DB2, MySQL等)的同步。下面是Oracl ...
iyulang 评论(0) 有17人浏览 2017-04-17 12:24

基于Apache Flume Datahub插件将日志数据同步上云

简介 Apache Flume是一个分布式的、可靠的、可用的系统,可用于从不同的数据源中高效地收集、聚合和移动海量日志数据到集中式数据存储系统,支持多种Source和Sink插件。本文将介绍如何使用Apache Flume的Datahub Sink插件将日志数据实时上传到Datahub。 环境要求 JDK (1.7及以上,推荐1.7) Flume-NG 1.x Apache Maven ...
iyulang 评论(0) 有8人浏览 2017-04-17 12:22

网络安全:网管员在日志分析中的五个误区

在使用日志的过程中,人们常常会面临五大误区。克服这些误区,不仅可以大大提升安全设施的价值,而且能够及时化解潜在风险。   为了应对不断涌现的安全威胁,许多企业都部署了多种安全设备。这些设备生成大量的日志信息。为了利用这些信息,许多企业还部署了日志收集和分析程序。即使如此,许多用户仍然认为安全设备的作用没有达到期望值。之所以发生这种情况,常常是由于人们在日志分析中的五个误区所造成的。   不查看 ...
qq370079140 评论(0) 有294人浏览 2017-04-15 17:12

【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute(原ODPS)的N种方式

想用阿里云大数据计算服务(MaxCompute),对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景,大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移,下面我们针对每种场景分别介绍几种常用方案。   一、   异构数据源批量数据迁移到MaxCompute 1、通过大数据开发套件(DataIDE)- 数据开发做数据同步              ...
iyulang 评论(0) 有13人浏览 2017-04-13 21:28

升级log4j 2.x版本 缓存异步化配置解读

 转载请注明出处:http://zl378837964.iteye.com/blog/2359382   现在最新的Log4j 2 是V2.8版本,使用2.x版本需要引入jar如下: <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-c ...
zl378837964 评论(0) 有9026人浏览 2017-02-27 22:07

Mybatis指定日志输出实现

10             Mybatis指定日志输出实现          在程序开发过程中,为了调试方便、了解程序的运行过程,进行必要的日志输出总是免不了的。对于使用Mybatis而言,我们常见的需求是希望可以在日志中打印出Mybatis执行过程中进行数据库操作的SQL语句及其传递的参数。Mybatis的日志输出是统一管理的,它有自己的日志接口,然后在需要进行日志输出的时候使用统一的 ...
234390216 评论(0) 有17447人浏览 2017-02-24 09:19

MySQL 日志

MySQL 日志 概述 MySQL日志记录了MySQL服务器的各种行为,MySQL中日志有如下几种: 类型 描述 Error Log 记录 MySQL启动,运行,停止过程 General Query Log  记录客户端的连接以及接受的SQL Binary Log  记录改变数据的语句(通常用于复制) Relay Log 记录 从Master上接受到的 ...
莫名的拉风 评论(0) 有1761人浏览 2017-01-09 17:13

调整日志大小The transaction log for the database is full

执行删除语句,数据量太大,报错 The transaction log for the database is full.. SQLCODE=-964, SQLSTATE=57011, DRIVER=3.61.75   日志满了,可以调大   一、查看配置 $ db2 get db cfg for dbName   日志文件大小(4KB)  Log file size (4KB ...
happyqing 评论(0) 有3452人浏览 2017-01-06 18:48

mybatis日志打印sql语句

        mybatis打印出sql语句可以很方便我们调试程序。现在介绍两种常用的简单的配置方案,第一种方案是配置log4j日志框架,第二种方案是采用slf4j日志框架。这两种方案存在着联系,第二种方案要依赖第一种方案即slf4j要通过log4j来输出日志信息打印sql语句。         安装log4j,要将log4j.jar添加到build path         配置log4j ...
chen_lian 评论(0) 有5005人浏览 2016-12-30 12:59

log4j的使用

log4j 当达到一定数量日志自动删除 前面的日志文件 log4j.appender.R.MaxFileSize=10MB log4j.appender.R.MaxBackupIndex=10 上面的意思是,一个日志文件最大到10MB, 到了10MB会自动新建一个文件, 但最多建10个文件, 再有文件时,自动删掉最旧的一个。
siyunx 评论(0) 有929人浏览 2016-11-08 14:01

用log4j记录proxool日志

需要把proxool的日志单独记录 log4j.rootLogger=info,stdout,hfile,proxoollog4j.logger.org.logicalcobwebs.proxool=info log4j.appender.proxool=org.apache.log4j.DailyRollingFileAppenderlog4j.appender.proxool.File= ...
jilin 评论(0) 有1161人浏览 2016-10-26 11:03

logback学习使用总结

一、  使用前组件准备:   maven项目使用logback:     pom文件中添加:        <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-core</artifactId> <vers ...
lookahead 评论(0) 有522人浏览 2016-10-12 17:51

log4j配置在was中无效

在was中要看日志很不方便,默认情况下是在was自己的System.out文件中(可以在“故障诊断”——“日志和跟踪”——“记录和跟踪 > server1 > JVM 日志”中看到路径)。这是log4j中配置的日志就不会生成。   在目录:/opt/IBM/WebSphere/AppServer/profiles/AppSrv01/properties增加一个文件名:common ...
jilin 评论(0) 有1969人浏览 2016-08-04 11:33

更好的日志管理SLF4J教程

         每个Java程序员都多多少少用过日志,从最初的System.out.println("")打印信息,到之后用到的各种日志库如 java.util.logging,Apache log4j,logback等。但如果你还不知道SLF4J(Simple logging facade for Java)的话,那么是时候去学习使用SLF4J了。 更详细的SLF4J教 ...
wer_csb 评论(0) 有854人浏览 2016-07-13 18:53

基于JFinal的后台业务框架通用模块

jcbase是基于JFinal2.x的后台业务框架通用模块,包括系统权限模块、APP版本管理、日志管理、数据字典等 使用的技术要点 后端使用JFinal2.x 前端页面是基于acev1.3模板改造的,更方便后台人员操作 前端使用到的框架都是基于jquery的,所以只要熟悉jquery就非常容易入手,部分框架有:树框架zTree,表格框架jqGrid,校验框架jquery.valida ...
yulon 评论(2) 有9052人浏览 2016-07-03 13:10

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics