wangmengbk
- 浏览: 292354 次
- 性别:
- 来自: 上海
-
最新评论
-
菜鸟学生会：
Drools规则工作流引擎开发教程网盘地址：http://pa ...
Drools 规则流的使用介绍 -
jjjssh：
SparkManager 代码都没全，你从来拷贝来的
Spark 使用Java 写入 HBase -
swjtufei：
除了修改代码，修改IE设置可以吗？重装IE呢？
现在我有1W个 ...
IE 打开docx,xlsx生成zip格式下载解决 -
prince2008：
楼主，数据库覆盖没有用，请把把数据导出为sql上传下
Jquery Datagrid 动态分页以及CRUD（增删改查） -
any.bo：
Jquery Datagrid 动态分页以及CRUD（增删改查）
文章列表
public class IosAppIdLoginServiceImp {
private static final Logger LOGGER = LoggerFactory.getLogger(IosAppIdLoginServiceImpl.class);
@Autowired
private PropertiesResouseUtil propertiesResouseUtil;
private static final String AUTH_TIME = "auth_time";
private final static ...
在高并发压测过程中发现连接数超过 22000，在运行过程出现 堆溢出，并同样生成了dump.hprof 快照文件。
通过IMB heapAnalyzer 分析发现 程序中某个对象过多。
通过程序优化后该现象没有了，不过有新的出现 netty 中的 nioEventLoop对象 以及该对象下的 SchedukedFutureTask 任务大量积压 同样造成了内存溢出，同时伴有 CPU 100% 一直进行 fullGC,效果如下图：
gc执行情况：
在执行过程中 是用vmstat 命令查看r值，r值等待执行的线程比较高，如下图：
查看占用CPU最高的5个线程结果 ...
由字典文件替换对应文章中的关键字及超链接
- 博客分类：
- J2EE
public class AnchorText {
//文章中出现相同锚文本，仅首次替换
private static final boolean hit_once = false;
/*
* 锚文本map
* key 锚文本
* value 锚文本类型
*/
private static final Map<String, String> full_map = Maps.newHashMap();
//锚文本首字母 提升效率
private static final Set<C ...
微信公众号服务器配置验证实现
- 博客分类：
- 微信
在微信公众号设置开发模式，需要调用后台服务器进行验证的伪代码实现：
微信公众号服务器配置验证实现
/**
* 微信服务器配置验证方法
*
* @param request
* @param response
* @return
*/
private String access(HttpServletRequest request, HttpServletResponse response) {
String signature = request.getParameter("signature");
String time ...
请求微信以及微信支付sign生成
- 博客分类：
- 微信
/**
* url请求微信
* Created by wangmeng on 2017/1/24.
*/
@Service
public class WxHttpHelper {
private static final Logger logger = LoggerFactory.getLogger(WxHttpHelper.class);
@Autowired
private RestTemplate restTemplate;
@Value("${pay.appKey}")
private Str ...
public class UrlUtils {
/**
* 给url参数赋值
*
* @param url
* @param paramMap
* @return 赋好值的url
*/
public static String setUrlParamValue(String url, Map<String, Object> paramMap) {
Map<String, Object> map = new LinkedHashMap<String, Object>();
...
Map javaBean 互转化
- 博客分类：
- J2EE
public class MapToBeanUtils {
private static final Logger logger = LoggerFactory.getLogger(MapToBeanUtils.class);
/**
* 将javabean实体类转为SortedMap类型，过滤属性值为null和空的
* 然后返回一个SortedMap类型的值
*
* @param obj
* @return
*/
public static SortedMap<String, Object> beanTo ...
1. Dubbo是什么？Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。简单的说，dubbo就是个服务框架，如果没有分布式的需求，其实是不需要用的，只有在分布式的时候，才有dubbo这样的分布式服务框架的需求，并且本质上是个服务调用的东东，说白了就是个远程服务调用的分布式框架
其核心部分包含:
1. 远程通讯: 提供对多种基于长连接的NIO框架抽象封装，包括多种线程模型，序列化，以及“请求-响应”模式的信息交换方式。
2. 集群容错: 提供基于接口方法的透明远程过程调用，包括多协议支持，以及软负载均衡，失败容错，地址路由，动态 ...
Quartz 基础结构分
- 博客分类：
- quartz
Quartz是一个完全由java编写的开源作业调度框架。Quartz框架的核心是调度器。调度器负责管理Quartz应用运行时环境。调度器不是靠自己做所有的工作，而是依赖框架内一些非常重要的部件。Quartz不仅仅是线程和线程管理。为确保可伸缩性，Quartz采用了基于多线程的架构。启动时，框架初始化一套worker线程，这套线程被调度器用来执行预定的作业。这就是Quartz怎样能并发运行多个作业的原理。Quartz依赖一套松耦合的线程池管理部件来管理线程环境。
Quartz 基础结构分享：
实例代码：
package com.bigdata.spark.hbase;
import java.io.IOException;
import java.util.List;
import java.util.regex.Pattern;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache ...
百度百科：HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase ...
Spark 安装&配置
- 博客分类：
- 大数据（spark）
前提安装 hadoop ,JDK 环境
下载地址 scala：
http://www.scala-lang.org/download/2.11.6.html
解压： tar –zxvf scala-2.11.6.tgz
配置环境变量：vi /etc/profile
export SCALA_HOME=/opt/scala-2.11.6
export PATH=$SCALA_HOME/bin:$PATH
执行(立即生效)：source /etc/profile
执行：cd /opt/scala-2.11.6/bin
./scala –ve ...
Spark的整体流程为：Client 提交应用，Master找到一个Worker启动Driver，Driver向Master或者资源管理器申请资源，之后将应用转化为RDD Graph，再由DAGScheduler将RDD Graph转化为Stage的有向无环图提交给TaskScheduler，由TaskScheduler提交任务给Executor执行。在任务执行的过程中，其他组件协同工作，确保整个应用顺利执行。
Spark架构采用了分布式计算中的Master-Slave模型。Master是对应集群中的含有Master进程的节点（ClusterManager），Slave是集群中含有Work ...
1.Spark生态圈
如下图所示为Spark的整个生态圈，最底层为资源管理器，采用Mesos、Yarn等资源管理集群或者Spark 自带的Standalone模式，底层存储为文件系统或者其他格式的存储系统如HBase。Spark作为计算框架，为上层多种应用提供服务。 Graphx和MLBase提供数据挖掘服务，如图计算和挖掘迭代计算等。Shark提供SQL查询服务，兼容Hive语法，性能比Hive快3-50 倍，BlinkDB是一个通过权衡数据精确度来提升查询晌应时间的交互SQL查询引擎，二者都可作为交互式查询使用。Spark Streaming将流式计算分解成一系列短小的批处理计算，并且 ...
sqoop 安装&配置
- 博客分类：
- 大数据（hadoop）
由于前面已经把 hadoop 安装并成功配置应用，下面继续对sqoop 安装与配置。
Sqoop是一款开源的工具，主要用于在HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
安装&配置
下载地址: http://www.us.apache.org/dist/sqoop/1.99.3/
下载 sqoop-1.99.3-bin-hadoop200.tar ...