`
文章列表
Logstash由三个组件构造成,分别是input、filter以及output。我们可以吧Logstash三个组件的工作流理解为:input收集数据,filter处理数据,output输出数据。至于怎么收集、去哪收集、怎么处理、处理什么、怎么发生以及发送到哪等等一些列的问题就是我们接下啦要讨论的一个重点。 我们今天先讨论input组件的功能和基本插件。前面我们意见介绍过了,input组件是Logstash的眼睛和鼻子,负责收集数据的,那么们就不得不思考两个问题,第一个问题要清楚的就是,元数据在哪,当然,这就包含了元数据是什么类型,属于什么业务;第二个问题要清楚怎么去拿到元数据。只要搞明白了 ...
logstash版本为5.5.3,kafka版本为2.11,此版本默认内置了kafka插件,可直接配置使用,不需要重新安装插件;注意logstash5.x版本前后配置不太一样,注意甄别,必要时可去elasticsearch官网查看最新版配置参数的变化,例如logstash5.x版本以前kafka插件配置的是zookeeper地址,5.x以后配置的是kafka实例地址。 input{ kafka{ bootstrap_servers => ["192.168.110.31:9092,192.168.110.31:9093,192.168.110 ...
一、基础理论       这块是整个kafka的核心无论你是先操作在来看还是先看在操作都需要多看几遍。   首先来了解一下Kafka所使用的基本术语   Topic Kafka将消息种子(Feed)分门别类 每一类的消息称之为话题(Topic).Producer 发布消息的对象称之为话题生产者(Kafka topic producer)Consumer
之前在参加长沙互联网大会的时候问过微信DBA一个问题,数据库主键到底是用自增长好还是UUID好?DBA回答:自增长好,因为自增长有占用空间小、索引快等特点。但这一定是最好的吗?最近在做一个项目刚好也遇到了同样纠结 ...
分布式系统调用链监控 应用架构由集中式向分布式演进后,整个调用关系变得复杂。 分布式架构由复杂且较大规模集群构成,各个应用之间相当独立,可能由不同团队、不同语言实现。 系统一个完整的调用过程可能横跨多 ...

在IDEA中实战Git

    博客分类:
  • Git
工作中多人使用版本控制软件协作开发,常见的应用场景归纳如下:   假设小组中有两个人,组长小张,组员小袁   场景一:小张创建项目并提交到远程Git仓库   场景二:小袁从远程Git仓库上获取项目源码   场景三:小袁修改了部分源码,提交到远程仓库   场景四:小张从远程仓库获取小袁的提交   场景五:小袁接受了一个新功能的任务,创建了一个分支并在分支上开发   场景六:小袁把分支提交到远程Git仓库   场景七:小张获取小袁提交的分支   场景八:小张把分支合并到主干       下面来看以上各场景在IDEA中对应的操作。   场景一:小张创 ...
最近初学Git,而且在使用的IDE是IntelliJ IDEA,发现IDEA在提交项目到本地仓库的时候,会把.idea文件夹中的内容也提交上去,这里面放的是一些项目的配置信息,包括历史记录,版本控制信息等。可以不传到Git上面去。 这个时候就需要编写.gitignore文件来忽略提交这些文件。在IDEA中有一个插件.ignore可以帮我们做这件事。 先来看下如何安装。 点击File->Settings 在左侧菜单找到Plugins,点击Browse repositories… 搜索.ignore,点击Install,安装完成后就可以愉快的使用了,不过在此之前得重启IDE ...

TOKEN+签名验证

    博客分类:
  • C#
首先问大家一个问题,你在写开放的API接口时是如何保证数据的安全性的?先来看看有哪些安全性问题在开放的api接口中,我们通过http Post或者Get方式请求服务器的时候,会面临着许多的安全性问题,例如: 请求来源(身份)是 ...
一、        基础内容 1、git是一个版本控制软件,与svn类似,特点是分布式管理,不需要中间总的服务器,可以增加很多分支。 2、windows下的git叫msysgit,下载地址https://git-for-windows.github.io/或者https://git-scm.com/download/win 3、 ...
1、Concat(连接不同的集合不会自动过滤相同项。会延迟计算) var q = (from c in db.Customers select c.Phone ).Concat( from e in db.Employees select e.HomePhone); var q = (from c in db.Customers select new { Name = c.CustomerName, ...
写在这里,留作记录:       1. 利用字符串连接server: "mongodb://Admin:admin@xxx01:27017,xxx02:27017,xxx03:27017/admin?connect=replicaSet&replicaSet=rs0";  2.利用MongoUrlBuilder连接server: MongoUrlBuilder bldr = new MongoUrlBuilder(); List<MongoServerAddress> servers ...

IIS 优化

通过对IIS7的配置进行优化,调整IIS7应用池的队列长度,请求数限制,TCPIP连接数等方面,从而使WEB服务器的性能得以提升,保证WEB访问的访问流畅。        IIS7.5是微软推出的最新平台IIS,性能也较以前有很大的提升,但是默认的设置配不适合很大的请求。但是我们可以根据实际的需要进行IIS调整,使其性能更佳,支持同时10万个请求。        以下方案,通过对IIS7的配置进行优化,调整IIS7应用池的队列长度,请求数限制,TCPIP连接数等方面,从而使WEB服务器的性能得以提升,保证WEB访问的访问流畅。   解决方案: 步骤一:调整IIS的应用程序池队列长度。 ...
读在最前面:   1、本文以IIS8,Windows Server 2012R2做为案例   2、IIS8 运行在 Windows Server 2012 and Windows 8 版本以上的平台上。   3、IIS中应用程序池和网站是单独存在的,但是网站运行必须建立在对应的应用程序池启动的前提下。   4、默认情况下,应用程序池在不活动情况下(无请求操作),一段时间后,将被IIS自动回收掉。   5、IIS8 自带应用程序初始化工具包,IIS7.5要搜索独立安装包进行安装,低于7.5的暂时不支持IIS自动初始化。   6、此案例方式能解决ASP.Net第一次访问慢,间隔一段时间 ...
1.找出执行时间最长的10条SQL(适用于SQL SERVER 2005及其以上版本) SELECT top 10 (total_elapsed_time / execution_count)/1000 N'平均时间ms' ,total_elapsed_time/1000 N'总花费时间ms' ,total_worker_time/1000 N'所用的CPU总时间ms' ,total_physical_reads N'物理读取总次数' ,total_logical_reads/execution_count N'每次逻辑读 ...
随着大数据时代的到来,分布式是解决大数据问题的一个主要手段,随着越来越多的分布式的服务,如何在分布式的系统中对这些服务做协调变成了一个很棘手的问题。今天我们就来看看如何使用C# ,利用开源对分布式服务做协调。 在对分布式的应用做协调的时候,主要会碰到以下的应用场景: 业务发现(service discovery) 找到分布式系统中存在那些可用的服务和节点 名字服务 (name service) 通过给定的名字知道到对应的资源 配置管理 (configuration management) 如何在分布式的节点中共享配置文件,保证一致性。 故障发现和故障转移 (fai ...
Global site tag (gtag.js) - Google Analytics