kavy
- 浏览: 890546 次
- 性别:
- 来自: 上海
-
最新评论
-
zzuliuli：
很实用，一直关注
mysql的执行计划 -
rxin2009：
你好,最近在解决redis数据同步的问题,找到了tedis,但 ...
taobao/tedis的redis集群 -
zhangping2056：
楼主接下来要考虑页面静态化与细节上面的东西了
Nginx与Redis解决高并发问题 -
XieFuQ：
Tomcat的重启shell脚本 -
jovinlee：
jovinlee 写道 jov ...
Tomcat的重启shell脚本
文章列表
对于线性回归和逻辑回归，其目标函数为：
g(x) = w1x1 + w2x2 + w3x3 + w4x4 + w0
如果有激活函数sigmoid，增加非线性变化 则为分类 即逻辑回归
如果没有激活函数，则为回归
对于这样的线性函数，都会有coef_和intercept_函数
如下：
lr = LogisticRegression()
lr.coef_
lr.intercept_
coef_和intercept_都是模型参数，即为w
coef_为w1到w4
intercept_为w0
作者：王金松链接：https://www.jianshu.com/ ...
Pandas中loc,iloc,ix的使用
- 博客分类：
- python
使用 iloc 从DataFrame中筛选数据
iloc 是基于“位置”的Dataframe的操作，即主要基于下标的操作
简单使用
Pandas中的 iloc 是用基于整数的下标来进行数据定位/选择 iloc 的语法是 data.iloc[<row selection>, <column selection>], iloc ...
pandas.read_csv参数详解
- 博客分类：
- python
pandas.read_csv参数整理
读取CSV（逗号分割）文件到DataFrame
也支持文件的部分导入和选择迭代
更多帮助参见：http://pandas.pydata.org/pandas-docs/stable/io.html
参数：
filepath_or_buffer : str，pathlib。str, pathlib.Path, py._path.local.LocalPath or ...
springboot之异步调用@Async
- 博客分类：
- 技术内容
引言： 在Java应用中，绝大多数情况下都是通过同步的方式来实现交互处理的；但是在处理与第三方系统交互的时候，容易造成响应迟缓的情况，之前大部分都是使用多线程来完成此类任务，其实，在spring 3.x之后，就已经内置了@Async来完美解决这个问题，本文将介绍在springboot中如何使用@Async。
1、pom.xml中导入必要的依赖：
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-bo ...
SpringCloud Feign重试详解
- 博客分类：
- 技术内容
摘要: 今天在生产环境发生了数据库进程卡死的现象，除了sql因为全量更新，没加索引的原因，最主要还是我们的接口的服务器端接口出现问题了。忽视了更新接口的幂等性，以及调用方feign client的重试，导致接口重复执行。万幸的是数据已经修复，花了几个小时跟踪feign和ribbon的源码，把其原理彻底搞明白了。
feign是netflix提供的服务间基于http的rpc调用框架，在spring cloud得到广泛应用。默认情况下，一个feign client是在hystrix断路器中执行，并利用ribbon进行软负载选择远程target service，所以可以想象出一 ...
用nginx的反向代理机制解决前端跨域问题
- 博客分类：
- 技术内容
https://www.cnblogs.com/gabrielchen/p/5066120.html
1.什么是跨域以及产生原因
跨域是指a页面想获取b页面资源，如果a、b页面的协议、域名、端口、子域名不同，或是a页面为ip地址，b页面为域名地址，所进行的访问行动都是跨域的，而浏览器为了安全问题一般都限制了跨域访问，也就是不允许跨域请求资源。
跨域情况如下：
url
说明
是否跨域
http://www.cnblogs.com/a.jshttp://www.a.com/
kafka自带了很多工具类，在源码kafka.tools里可以看到：
源码包下载地址：http://archive.apache.org/dist/kafka/
这些类该如何使用呢，kafka的设计者早就为我们考虑到了，在${KAFKA_HOME}/bin下，有很多的脚本，其中有一个kafka-run-class.sh，通过这个脚本，可以调用其中的tools的部分功能，如调用kafka.tools里的C
https://www.2cto.com/kf/201607/530353.html
mapping的写入与查看
首先创建一个索引：
?
log4j2日志异步打印
- 博客分类：
- 大数据
log4j2支持日志的异步打印，日志异步输出的好处在于，使用单独的进程来执行日志打印的功能，可以提高日志执行效率，减少日志功能对正常业务的影响。
异步日志在程序的classpath需要加载disruptor-3.0.0.jar或者更高的版本。
Asynchronous Loggers是一个新增特性在Log4j 2 ，可以实现完全异步也可以和同步混合使用，还可以只异步化Appender，以提升系统性能，官方数据显示混合没有完全异步化效果好。
1,完全异步模式：这种异步日志方式，不需要修改原来的配置文件，Logger
elasticsearch用于构建高可用和可扩展的系统。扩展的方式可以是购买更好的服务器(纵向扩展)或者购买更多的服务器（横向扩展）,Elasticsearch能从更强大的硬件中获得更好的性能，但是纵向扩展也有一定的局限性。真正的扩展应该是横向的，它通过增加节点来传播负载和增加可靠性。对于大多数数据库而言，横向扩展意味着你的程序将做非常大的改动来利用这些新添加的设备。对比来说，Elasticsearch天生是分布式的：它知道如何管理节点来提供高扩展和高可用。这意味着你的程序不需要关心这些。对于大多数数据库而言，横向扩展意味着你的程序将做非常大的改动来利用这些新添加的设备。对比来说，Elast ...
使用 Docker 搭建 Tomcat 运行环境
- 博客分类：
- 技术内容
转自： http://m.oschina.net/blog/616526， 版权归原作者所有。
1 Docker与虚拟机
2 搭建过程
2.1 准备宿主系统
准备一个 CentOS 7操作系统，具体要求如下：
必须是 64 位操作系统
建议内核在 3.8 以上
通过以下命令查看您的 CentOS 内核：
# uname -r
2.2 安装Docker
# yum install docker
可使用以下命令，查看 Docker 是否安装成功：
# docker version
若输出了 Docker 的版本号，则说明安装成 ...
Flume Source对多行的处理
- 博客分类：
- 大数据
ExecSource会readLine()读取日志中的每一行，把其作为每一个flume event的body放进去，这对于大部分这种每行就可以结束的日志记录，是完全可以的：
1
2
2016-03-18 17:53:48,374 INFO namenode.FSNamesystem (FSNamesystem.java:listCorruptFileBlocks(7217)) - there are no corrupt file blocks.
2016-03-18 17:53:48,278 INFO namenode.FSNamesystem (FSNamesys ...
在很多时候，我们会需要对一个表进行插入大量的数据，并且希望在尽可能短的时间内完成该工作，这里，和大家分享下我平时在做大量数据insert的一些经验。
前提：在做insert数据之前，如果是非生产环境，请将表的索引和约束去掉，待insert完成后再建索引和约束。
1.
insert into tab1 select * from tab2; commit;
这是最基础的insert语句，我们把tab2表中的数据insert到tab1表中。根据经验，千万级的数据可在1小时内完成。但是该方法产生的arch会非常快，需要关注归档的产生量，及时启动备份软件，避免arc ...
RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配event body来提取字符串，并使用serializers把字符串作为header的值实例：以如下的命令使用execsource收集日志的时候，可以根据文件的名称设置不同的header，进行不同的操作
flume+elasticsearch
- 博客分类：
- 大数据
转自:http://blog.csdn.net/yujimoyouran/article/details/59104131
简单描述一下这个例子：将项目日志实时采集到elasticsearch，便于统一管理。
1. 收集日志格式为：
log4j.properties ： org.apache.log4j.Logger： %d{ISO8601} [%l-%M]-[%p] %t %m%n
logback.xml ：org.slf4j.Logger： %date [%logger:%L]-[%level] %thread %msg%n
2. flume 1.7.0 （flume ...