kavy
- 浏览: 890539 次
- 性别:
- 来自: 上海
-
最新评论
-
zzuliuli：
很实用，一直关注
mysql的执行计划 -
rxin2009：
你好,最近在解决redis数据同步的问题,找到了tedis,但 ...
taobao/tedis的redis集群 -
zhangping2056：
楼主接下来要考虑页面静态化与细节上面的东西了
Nginx与Redis解决高并发问题 -
XieFuQ：
Tomcat的重启shell脚本 -
jovinlee：
jovinlee 写道 jov ...
Tomcat的重启shell脚本
文章列表
RocksDB数据库简介及使用分享
- 博客分类：
- 大数据
目录
1 介绍 2
1.1 文件介绍： 2
2 架构 3
3 特性 4
3.1 Get，Interator(迭代器)和快照 4
3.2 前缀迭代器 5
3.3 更新 5
3.4 持久化 5
3.5 ReadOnly 模式 6
3.6 数据库调试日志 6
3.7 事务日志 6
3.8 Memtable 管道 6
3.9 合并 Merge 操作 7
3.9.1 合并条件 7
4 工具 8
5 应用 9
5.1 初始化 9
5.2 使用 9
5.3 ...
推荐阅读(点击即可跳转阅读)
1. SpringBoot内容聚合
2. 面试题内容聚合
3. 设计模式内容聚合
4.
Redis单线程的正确理解
- 博客分类：
- 技术内容
很多同学对Redis的单线程和I/O多路复用技术并不是很了解，所以我用简单易懂的语言让大家了解下Redis单线程和I/O多路复用技术的原理，对学好和运用好Redis打下基础。
一、Redis的单线程理解
Redis客户端对服务端的每次调用都经 ...
JAVA && Spring && SpringBoot2.x — 学习目录
我们在JDK中，可以使用ThreadPoolExecutor提供线程池服务，相关理论，可以在多线程——线程池ThreadPoolExecutor了解。但是SpringBoot提供了@Async [鹅神可]注解，帮助我们更方便的将业务逻辑提交到线程池中异步处理。
1. SpringBoot对线程池的自动装载
源代码：org.springframework.boot.autoconfigure.task.TaskExecutionAutoConfiguration
...
梦里寻他千百度——Springboot自动配置
还记得曾经为了引入一个框架，而在spring的xml文件里面写一大堆的配置或者以注解的形式，定义一大堆的配置类，简直不要太繁琐，稍不注意还很容易出错。终于有一天，springboot出现了 ...
最新关于我自己的，最新版idea 2018已经可以使用这种热部署了。具体原因因为没时间，所以能用就没管了，下图右上角的jrebel图标已经没了，因为我卸载了还能使用热部署，哈哈
下面是其他方法：
第一种：同事可用，我没用这个，所以没有详细步骤，不过步骤跟第二种一样
1.直接下载，里面有说明：
链接：https://pan.baidu.com/s/1m5S_d-zcbn_4yEo4yYqKHQ
提取码：jv40
第二种：
1.首先下载JRebel压缩包和破解包
百度云：
链接：https://pan.baidu.com/s/1m4y_kersEmjT5JgwihsM ...
前发过一文，《大屏做成这样，领导不重用你都难！》，不知大家是否还有印象？
小编陆续收到很多私信和留言，问及如何制作？可视化如何设计？数据哪里来等等问题。
其实小编想说，只要掌握背后制作的工具——FineReport，就已经成功了80%。
但finereport又不只只是大屏软件，它的本质是一个通用的报表制作和数据可视化工具。就好比Excel，小到可以存储统计数据、制作各式各样的图表、dashboard，大到制作财务报表、开发进销存系统。
但在企业应用中，企业/组织/团体一旦成规模时，数据量是数以万计的，无论数据还是报表都需要协同管理不断更新。面对各大OA\ERP\CRM系统的数据 ...
首先本文参考的是这个系列的文章：
https://mp.weixin.qq.com/s?__biz=MzA4NTg1MjM0Mg==&mid=509777776&idx=1&sn=e56f24bdf2de7e25515fe9f25ef57557&mpshare=1&scene=1
博主写的非常好，非常详细，我个人看完后，对核心部分进行了如下总结
...
Pipeline：“管道”，和很多设计模式中的“管道”具有同样的概念，pipleline的操作，将明确client与server端的交互，都是“单向的”：你可以将多个command，依次发给server，但在此期间，你将无法获得单个command的响应数据，此后你可以关闭“请求”，然后依次获取每个command的响应结果。
从简单来说，在IO操作层面，对于client而言，就是一次批量的连续的“write”请求，然后是批量的连续的“read”操作。其实对于底层Socket-IO而言，对于client而言，只不过是多次write，然后一次read的操作；对于server端，in ...
1 基础统计模块及常用统计学知识介绍
◆ Spark 的基础统计模块即MLlib组件中的Basic Statistics部分
◆ Basic Statistics主要包括Correlation 与Hypothesis testing等
◆ 其大多被封装在orq.apache spark.mllib.stat._ 中
1.1 基础统计学知识
1.1.1 常用的统计学知识
◆ 描述性统计 平均数,方差,众数,中位数...
◆ 相关性度量 spark 提供了皮尔逊和斯皮尔曼相关系数,反映变量间相关关系密切程度
◆ 假设检验 根据一定假设条件，由样本推断总体的一种统计学方法,spa ...
第一、先说下应用场景吧，用户给出一段文字然后我返回十个与这段文字最相似的文件名称。
第二、什么是TF-IDF算法？我就简单介绍一下，因为百度上也有许多的介绍，TF-IDF用中文来解释就是词频、逆文档频率的意思，TF-IDF ...
Spark排错与优化
- 博客分类：
- 机器学习
文章目录
一. 运维
1. Master挂掉,standby重启也失效
2. worker挂掉或假死
二. 运行错误
1.shuffle FetchFailedException
2.Executor&Task Lost
3.倾斜
Ctrl
快捷键介绍
Ctrl + F在当前文件进行文本查找 （必备）
Ctrl + R在当前文件进行文本替换 （必备）
Ctrl + Z撤销 （必备）
Ctrl + Y删除光标所在行 或 删除选中的行 （必备）
Ctrl + X剪切光标所在行 或 剪切选择内容
Ctrl + C复制 ...
Google一下发现 Structured Streaming + Kafka集成，记录Offset的文章挺少的，我自己摸索一下，写了一个DEMO。Github地址
1. 准备
配置起始和结束的offset值（默认）
Schema信息
读取后的数据的Schema是固定的，包含的列如下：
ColumnType说明
keybinary信息的key
valuebinary信息的value(我们自己的数据)
topicstring主题
partitionint分区
offsetlong偏移值
timestamplong时间戳
timestampTypeint类 ...
Spark SQL数据类型
- 博客分类：
- 机器学习
Spark SQL数据类型
数字类型
ByteType：代表一个字节的整数。范围是-128到127
ShortType：代表两个字节的整数。范围是-32768到32767
IntegerType：代表4个字节的整数。范围是-2147483648到2147483647
LongType：代表8个字节的整数。范围是-9223372036854775808到9223372036854775807
FloatType：代表4字节的单精度浮点数
DoubleType：代表8字节的双精度浮点数
DecimalType：代表任意精度的10进制数据。通过内部的java.math.BigDeci ...