本月博客排行
-
第1名
龙儿筝 -
第2名
zysnba -
第3名
johnsmith9th - wy_19921005
- sgqt
年度博客排行
-
第1名
宏天软件 -
第2名
青否云后端云 -
第3名
龙儿筝 - gashero
- wallimn
- vipbooks
- benladeng5225
- wy_19921005
- fantaxy025025
- javashop
- qepwqnp
- e_e
- 解宜然
- zysnba
- ssydxa219
- sam123456gz
- ranbuijj
- arpenker
- tanling8334
- kaizi1992
- xpenxpen
- gaojingsong
- wiseboyloves
- xiangjie88
- ganxueyun
- sichunli_030
- xyuma
- wangchen.ily
- jh108020
- zxq_2017
- jbosscn
- lemonhandsome
- luxurioust
- Xeden
- lzyfn123
- forestqqqq
- zhanjia
- ajinn
- nychen2000
- wjianwei666
- johnsmith9th
- hanbaohong
- daizj
- 喧嚣求静
- silverend
- mwhgJava
- kingwell.leng
- lchb139128
- lich0079
- kristy_yy
最新文章列表
Spark历险记之编译和远程任务提交
Spark简介
Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目,8个月后成为Apache顶级项目,速度之快足见过人之处,Spark以其先进的设计理念,迅速成为社区的热门项目,围绕着Spark推出了Spark SQL、Spark Streaming ...
scala如何读取和写入文件内容?
直接看如下代码:
package file
import java.io.RandomAccessFile
import java.nio.charset.Charset
import scala.io.Source
import scala.reflect.io.{File, Path}
/**
* Created by qindongliang on 2015/7/17 ...
Scala计算重过载次数
import scala.collection.mutable.ArrayBuffer
/**
* 计算重过载次数
* 连续三个数超过3记次数1,计算总次数
*/
object HelloWorld {
def main(args: Array[String]): Unit = {
var dataArray = Array(7, 9, 33, 44, 11, 12, ...
Scala stack试玩, 提高第三方依赖下载速度
原文地址:http://segmentfault.com/a/1190000002894524
sbt下载速度实在是惨不忍睹, 需要做些配置优化
下载typesafe离线包, 保存为ivy本地库
wget http://downloads.typesafe.com/typesafe-activator/1.3.4/typesafe-activator-1.3.4.zip
解压repository ...
Scala集合笔记
Scala的集合框架类比Java提供了更多的一些方便的api,使得使用scala编程时代码变得非常精简,尤其是在Spark中,很多功能都是由scala的这些api构成的,所以,了解这些方法的使用,将更加有助于我们学习Scala和Spark:
List,Map,Set的一些api的用法如下:
/**
* Scala 集合测试
*/
def collectionTest(): ...
Hadoop2.6.0+Spark1.4.0集群安装
1,要求你已经成功把Hadoop集群安装完毕,并经过测试,如果不知道如何编译安装Hadoop请参考散仙的这篇文章http://qindongliang.iteye.com/blog/2222145
2,安装Scala2.10.x版本,spark1.4.0最新版本的兼容2.10.x的scala,建议还是安装scala2.10.x的,虽然scala最新的版本是2.11.x了
安装方法:
(1) w ...
scala的option和some
原文地址:http://blog.sina.com.cn/s/blog_68af3f090100qkt8.html
对于学习 Scala 的 Java™ 开发人员来说,对象是一个比较自然、简单的入口点。在 本系列 前几期文章中,我介绍了 Scala 中一些面向对象的编程方法,这些方法实际上与 Java 编程的区别不是很大。我还向您展示了 Scala 如何重新应用传统的面向对象概念,找到其缺点,并根据 ...
Slick生成表映射文件
Scala添加SLICK进行数据库操作,需在sbt文件上添加slick-codegen包
"com.typesafe.slick" %% "slick-codegen" % slickVersion
因为我是连接SQL Server数据库,还需添加slick-extensions,jtds包
"com.typesafe.slick ...
Linux环境下,通过FTP下载7z压缩包出现数据丢失
问题:利用commons-net.jar包从FTP下载7z压缩包时,在windows环境下,压缩包正常,但是在linux环境下,压缩包文件大小比正常文件小一些,导致无法解压缩
解决:FTP传输模式分“文本模式”、“二进制模式”。在linux环境下载压缩包,须指定为“二进制模式”
即:FTPClient.setFileType(FTP.BINARY_FILE_TYPE)
How to install Spark on Mac OS X
How to install Spark on Mac OS X
Download http://spark.apache.org/downloads.html
Download http://www.scala-lang.org/download (find the version number in README inside spark archive).
Ex ...
Scala---Import子句详解
语法:Import ::= „import‟ ImportExpr {„,‟ ImportExpr}ImportExpr ::= StableId „.‟ (id | „_‟ | ImportSelectors)ImportSelectors ::= „{‟ { ImportSelector „,‟} (ImportSelector | ...
Scala 基础第一弹
scala基础:1. 引入包使用以scala.开头的包时,可以省去scala前缀import scala.math._import math._2. 函数方法可以以函数作为参数, 例如: StringOps的count方法需要传入一个接受单个Char并返回true或false的函数,用于指定哪些字符应该被清点:def count(p: (Char) => Boolean) : Int&qu ...