nethub2
- 浏览: 241763 次
- 性别:
- 来自: 北京
-
最新评论
-
nethub2：
come_for_dream 写道不能启动其他的程序么，比如Q ...
在java中启动其他程序。 -
come_for_dream：
不能启动其他的程序么，比如QQ
在java中启动其他程序。
文章列表
@RequestBody使用
@RequestBody：
作用：
主要用来接收前端传递给后端的json字符串中的数据的(请求体中的数据的)；
要求：
GET方式无请求体，所以使用@RequestBody接收数据时，前端不能使用GET方式提交数据，而是用POST方式进行提交。
在后端的同一个接收方法里，@RequestBody与@RequestParam()可以同时使用，@RequestBody最多只能有一个，而@RequestParam()可以有多个。
简言之：
Spark Streaming运行原理
spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，spark streaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理。
从原理上看，把传统的spark批处理程序变成streaming程序，spark需要构建什么？
需要构建4个东西：
一个静态的 RDD DAG 的模板，来表示处理逻辑；
导语
spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验积累以及心得体会，在此分享给大家。
本文依次从:
spark生态，原理，基本概念，
spark streaming原理及实践，
还有spark调优
以及环境搭建
等方面进行介绍，希望对大家有所帮助。
Spark 生态及运行原理
背景介绍：
对于推荐系统，大家应该不陌生。可以说现在已经随处可以看到它的身影。比如你浏览网页时，如在京东上购物，对应页面会根据你的浏览内容给你推荐诸多类似功能的商品。页面上的看了又看以及猜你喜欢，这2个功能背后都是大数据的推荐系统做支持。以及你看今日头条时，你会发现，系统不断动态展现你喜欢的内容，这也是根据大数据而做的推荐内容。尤其现在倡导千人千面的app应用中，每个人浏览的内容都是根据个人的兴趣爱好系统自动推荐，其背后都是整个推荐系统的作用。当然，在推荐系统里面会涉及到算法等等内容，这里不对算法进行介绍，只对推荐系统中涉及到的方方面面内容的架构进行说明。
如下介绍会涉及到诸多知识点，这 ...
https://bigdata.163yun.com/product/article/35
本篇将向大家介绍下Hadoop分布式集群的搭建。内容浅显，但能够为新手们提供一个参考，让像我一样的小白们对Hadoop的环境能够有一定的了解。
环境：
系统环境：CentOS7.3.1611 64 ...
管理项目干系人时，巧用工具可以事半功倍（1/3）
[导入案例1]
市民抗议钼铜项目污染环境
2012年6月29日，什邡市西去16公里的灵杰镇上，一块巨大的空地上，一场盛大的奠基典礼在这里举行。四川什邡宏达集团正式宣布将在这里投资104亿元建设钼铜项目生产基地，而作为“5·12”特大地震重灾区的什邡市，亦将通过该项目而获得超40亿元的年利税收入。
等这个项目开工的消息在当地电视播出后，一直蒙在鼓里的什邡老百姓才知道了这个项目。因担心项目污染，当地居民随即发起的一场集体反对行动，官民冲突的激烈以及政府布置警力驱赶人群导致有群众受伤的消息和图片一时间引发网络舆论热潮。7月3日什邡市宣传部召 ...
/etc/profile,优先级最高,是全局的，是私有的,用于整个系统所有用户，
~/.bashrc和 ~/.bash_profile, ~/.profile 用于各个用户，这里的"~"符号就是各当前用户的$HOME
~/.bash_profile 和 ~/.profile 只在登陆时读取一次。
~/.bashrc 每次都读取
~/.bash_profile 和 ~/.profile 的区别在于
bash 只读取~/.bash_profile；而对于 ~/.profile 来说，不光bash, 其他shell 也读 ~/.profile
python 结巴分词(jieba)学习
- 博客分类：
- 大数据
目录(?)[-]
jieba
特点
在线演示
安装说明
算法
主要功能
1 分词
2 添加自定义词典
载入词典
调整词典
3 关键词提取
基于 TF-IDF 算法的关键词抽取
基于 TextRank 算法的关键词抽取
大数据高并发系统架构实战方案
- 博客分类：
- 互联网技术
大数据高并发系统架构实战方案
http://bbs.chinaunix.net/thread-4077840-1-1.html
课程简介: 随着互联网的发展，高并发、大数据量的网站要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构常用技术点及详细演练。 通过该课程的学习，普通的技术人员就可以快速搭建起千万级的高并发大数据网站平台。第一章 概述（1课时）简要介绍该系列课程的内容，本章内容如下：
关于异步化带来的高并发和高吞吐量的分享
- 博客分类：
- 互联网技术
对于系统的并发量的提高的优化，除了对模块内部性能以及切分，分流等的考虑外，
我把以前做过的开放平台的并发和吞吐量的优化的经验分享一下
A、B、C、D之间是分布式调用，统一由http接入A系统
传统方式：各 ...
Java高并发解决方案
- 博客分类：
- 互联网技术
一：高并发高负载类网站关注点之数据库 没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用，数据库的响应是首先要解决的。一 般来说MySQL是最常用的，可能最初是一个mysql主机，当数据增加到100万以上，那么，MySQL的效能急剧下降。常用的优化措施是M-S（主- 从）方式进行同步复制，将查询和操作和分别在不同的服务器上进行操作。我推荐的是M-M-Slaves方式，2个主Mysql，多个Slaves，需要注 意的是，虽然有2个Master，但是同时只有1个是Active，我们可以在一定时候切换。之所以用2个M，是保证M不会又成为系统的SPOF。 Slav ...
参考网站:http://blog.csdn.net/zhangheng1225/article/details/8246785
有项目需要用到HBase，配置Hadoop集群的情况如下：
OS ： Ubuntu 11.04
Hadoop 2.02
三台虚拟机IP分配如下：
192.168.128.131 master 兼slave
192.168.128.132 slave
192.168.128.133 slave
配置好后:
master结点上操作
1. bin/hadoop namenode -format
http://www.pc6.com/infoview/Article_68373.html
这是我多年做开发的经验，你不需下载专业软件，几步就可以拿到视频资源。在度娘搜索的时候，大多数方法都是去缓存里面找，这并不是很好的，首先你要清理缓存，一清理，各种登录都没了，也不一定能找到。首先说明，各大专业视频网站（如：优酷，土豆，酷6等）未必好使，他们的视频开发模式特殊，捕获不到。优酷下载你可以下个i酷，他是支持下载的。微博的要看视频外挂地址，视频专业站用服务端视频流，截取不到的。那么什么类的视频可以下载呢？理论上来讲非这些专业视频站都可以，如：小视频网站，还有各种论坛上的视频等等。切入正 ...
由于Android studio默认使用自带的Gradle
将Gradle的默认目录复制到你期望仓库的盘符
例:我复制到F盘
新建环境变量: GRADLE_USER_HOME
修改之后要重启下系统！！
重启之后打开AS查看Gradle发现他的仓库地址改了
Gradle 修改本地仓库的位置
- 博客分类：
- gradle
老话，适合的才是最好的。此处不做gradle和maven的比较。只说下我，一个偏执的maven用户如何尝试使用gradle的经验。
我用maven好些年了，自己机器上还搭了个nexus。最近看到有个demo需要gradle才能跑起来，于是打算尝试下。
首先gradle的下载、配置，对一个程序猿来说，这都不是事，如果这都搞不定，可能你有点点不太适合做这一行。Win7下，直接用setx设置环境变量。先设置gradle的安装目录或者说是解压缩出来的目录，这个目录下至少应该保留有bin、lib，其他文件或者目录偏执狂可以尽情删掉。
[html] view plain copy
...