本月博客排行
-
第1名
wy_19921005 -
第2名
mft8899 -
第3名
benladeng5225 - Anmin
- wddpwzzhao123
年度博客排行
-
第1名
龙儿筝 -
第2名
宏天软件 -
第3名
wy_19921005 - benladeng5225
- vipbooks
- kaizi1992
- tanling8334
- sam123456gz
- arpenker
- 青否云后端云
- zysnba
- fantaxy025025
- xiangjie88
- lemonhandsome
- wallimn
- e_e
- ganxueyun
- jh108020
- Xeden
- xyuma
- wangchen.ily
- zhanjia
- johnsmith9th
- zxq_2017
- forestqqqq
- jbosscn
- daizj
- xpenxpen
- 喧嚣求静
- kingwell.leng
- lchb139128
- jveqi
- kristy_yy
- javashop
- lzyfn123
- sunj
- yeluowuhen
- ajinn
- lerf
- silverend
- chenqisdfx
- xiaoxinye
- flashsing123
- lyndon.lin
- bosschen
- zhangjijun
- sunnylocus
- lyj86
- paulwong
- sgqt
最新文章列表
Scala基础语法之变量
一 三种变量修饰符
1、val:定义常量
2、var:定义变量
3、lazy val:定义惰性求值常量
注意:可以不显示指定变量类型,因为Scala会自动进行类型推导。
二 举例
F:\scala\command>scala
Welcome to Scala2.12.1(Java
使用Scala的强大api快速加工数据
Scala是一门高级的,非常灵活和强大的函数式编程语言,既支持类型严格,语义明确的面向对象的编程风格,也支持类型多变,写法风骚的函数式编码。
Scala中封装了许多有用强大的api,使我们处理数据更加方便,当然Java8以后也支持了一些函数式编程的写法的语法糖,终于能使雍容的java代码精简不少,有名的开源框架如Spark,Kafka,Filnk也都是使用Scala编写的,感兴趣的朋友可以学习一下 ...
scala调用api操作elasticsearch时long类型问题解决
在scala写spark程序的时候,为了方便控制,会调用java的api进行操作elasticsearch,这时候,需要一个map,接收具体的字段,这地方有会一个问题,就是接受的这个map必须是AnyRef类型的,比如我们需要存入一个long类型的值,比如时间是个long,那么直接写入就会有问题,因为scala里面AnyRef不包含数值类型,而是属于AnyVal类型。遇到这种情况,我们使用下面的方式 ...
如何使用scala+spark读写hbase?
最近工作有点忙,所以文章更新频率低了点,希望大家可以谅解,好了,言归正传,下面进入今天的主题:
如何使用scala+spark读写Hbase
软件版本如下:
scala2.11.8
spark2.1.0
hbase1.2.0
公司有一些实时数据处理的项目,存储用的是hbase,提供实时的检索,当然hbase里面存储的数据模型都是简单的,复杂的多维检索的结果是在es里面存储的,公司也正 ...
Scala 框架选择
我所知道的Scala持久层框架有:
1、Slick (typesafe出品)
2、Squeryl
3、Anorm(Play的持久层)
4、ScalaActiveRecord (基于Squeryl之上)
5、circumflex-orm
6、activate-framework(不只是scala版的hibernate,支持async db)
web框架的话
1、Spray(bui ...
大数据常见错误解决方案(转载)
大数据常见错误解决方案(转载)
1、用./bin/spark-shell启动spark时遇到异常:java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!
解决方法:add export SPARK_LOCAL_IP="127.0.0.1&q ...
在Maven中混用Java和Scala
主要就是在pom.xml中添加scala的三个依赖包和maven-scala插件,配置如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi=& ...