博客首页 → Scala

最新文章列表

Spark通过JdbcRdd连接Oracle数据库（scala）

一、代码 package com.sgcc.hj import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} object JdbcTest { def main(args: Array[St ...
sparkoraclescala 
kevin19900306 评论(0) 有2792人浏览 2017-03-28 14:52

scala的linearization

《Programming in scala,3rd Edition》chapter12.6后，尝试自己绘制了下linearization 书本示例中除了最后的Cat的申明用了with，其他的trait/class都只有extends，即单一继承。 这里构造了相对复杂的情况来说明linearization是怎样的。 class Animal trait F ...
scala 
yangbb 评论(0) 有848人浏览 2017-03-28 10:18

分布式任务调度可选方案

 1、除了基于jvm的java之处，新接触一个JVM语言——SCALA，一种同时面向脚本和面向函数的语言，spark大数据框架是基于scala语言。照着网络教程，简单的 ...
tbschedulezookeeperscala 
guooo 评论(0) 有1023人浏览 2017-03-17 22:23

《scala编程实战》读书笔记------前言和第一章前2小节

一、 首先谈谈前言 这本书是O’Reilly书籍,同时也是本很厚的书籍,至于多厚,京东一看便知,博主不多说,打开第一眼，基本上所有的书籍都是些前言和感谢信之类的东西（技术书籍的通病）,但是我没有直接进入正文急着去看书籍的内容，正因为前言吸引了我（我的习惯一般是前言如果写得不错才会看下去，不然直接跳正文）。至于前言吸引我的地方，是因为不仅大致讲了书本的内容概览，还通过实例说明了scala的优劣性 ...
scala字符串 
三个诸葛亮 评论(0) 有709人浏览 2017-03-12 17:57

《scala编程实战》读书笔记开篇-----工欲善其事必先利其器

在学习scala之前,当然首当其冲的就是找到一个好的ide,方便我们进行学习和开发,所以这点推荐使用神器IDEA。idea有很多好处,在此不一一介绍,网上也有很 ...
scala准备工作 
三个诸葛亮 评论(0) 有965人浏览 2017-03-12 16:47

scala函数

一.函数 函数声明 def functionName ([list of parameters]) : [return type] 1.定义无输入的函数   示例：   def hi="hi" scala>hi def hi():String="hi" scala>hi() scala>hi 2.定义函数 d ...
scala 
孤狼18 评论(0) 有528人浏览 2017-03-09 20:29

2017.2.23工作日志

今天登录了一下，发现我之前的文章又被删除了，估计再也不能发布职位了。 以后用这个地方，写一下工作日志，记录一下猎头的工作情况，希望可以保留的久一些。 每天早晨都想早起到公司，但是，每天都失望。。。。 今天突发奇想，早晨先发布一圈目标职位，在企鹅群里，把北京 英语 Java的职位发了一遍， 收了几份简历，有一份可以推荐，开心~ 不过本周的目前是5份，目前才找了两份，今天是周四了，估计又完不成 ...
工作javaHadoopScalaUML 
Sunny_3456 评论(0) 有414人浏览 2017-02-23 14:24

scala学习笔记(十五):模式匹配

   模式匹配在spark中非常重要，你可以在很多地方能看见模式匹配    def main(args: Array[String]): Unit = { // trigger the constant patterns println(echoWhatYouGaveMe(0)) println(echoWhatYouGaveMe(true)) pri ...
scala 
gbjian001 评论(0) 有385人浏览 2017-02-07 11:31

scala学习笔记(十四):fluent style(流式风格代码)

     我们在使用spark的时候 开头经常写这样的fluent style代码 val conf = new SparkConf().setAppName("ParallelizeCollection").setMaster("local")     那我们自己怎样然我们自己的代码能实现这样的效果，其实想要使用流式风格     1、如果你的类会 ...
scala 
gbjian001 评论(0) 有1458人浏览 2017-02-07 11:21

Spark Streaming如何使用checkpoint容错

在互联网场景下，经常会有各种实时的数据处理，这种处理方式也就是流式计算，延迟通常也在毫秒级或者秒级，比较有代表性的几个开源框架，分别是Storm，Spark Streaming和Filnk。 曾经在一个项目里面用过阿里改造后的JStrom，整体感受就是编程略复杂，在不使用Trident Api的时候是不能保证准确一次的数据处理的，但是能保证不丢数据，但是不保证数据重复，我们在使用期间也出现过几 ...
sparkscala 
qindongliang1922 评论(0) 有3906人浏览 2017-01-06 21:31

在Scala里面如何使用正则处理数据

正则在任何一门编程语言中，都是必不可少的一个模块，使用它来处理文本是非常方便的，尤其在处理在使用spark处理大数据的时候，做ETL需要各种清洗，判断，会了正则之后，我们可以非常轻松的面对各种复杂的处理，Scala里面的正则也比Java简化了许多，使用起来也必要简单，下面通过几个例子来展示下其用法： /** * Created by QinDongLiang on 2017/1/5. ...
scala 
qindongliang1922 评论(0) 有2086人浏览 2017-01-05 11:08

Scala中的Map使用例子

Map结构是一种非常常见的结构，在各种程序语言都有对应的api，由于Spark的底层语言是Scala，所以有必要来了解下Scala中的Map使用方法。 #### （1）不可 ...
scalajava 
qindongliang1922 评论(0) 有2720人浏览 2016-12-27 22:02

Scala中的case match语法

scala中的case语法与java中的switch语法类似，但比switch更强大： 例子一正则匹配： val Pattern="(s.*)".r val v1="spark"; val r=v1 match { case Pattern(v1)=> "begin s*" ...
scalajava 
qindongliang1922 评论(0) 有2235人浏览 2016-12-21 20:11

Spark 调优

Spark 调优 因为大部分Spark程序都具有“内存计算”的天性，所以集群中的所有资源：CPU、网络带宽或者是内存都有可能成为Spark程序的瓶颈。通常情况下 ...
jvmscala 
zhaomengsen 评论(0) 有486人浏览 2016-12-10 10:16

Jupyter配置Spark开发环境

Jupyter配置Spark开发环境 兄弟连小编和大家一起探究Jupyter配置Spark开发环境以及相关的大数据的培训 简介 　　为Jupyter配置Spark开发环境，可以安装全家桶–Spark Kernel或Toree，也可按需安装相关组件。 　　考虑到一般人更喜欢一步到位，并且Toree将会代替Spark Kernel，故直接且仅需安装Toree即可，不过下面还是给出了所有的安装方法。 　 ...
scala兄弟连PHPPHP开发 
晴天晴天1 评论(0) 有10人浏览 2016-10-09 10:36

Scala基础学习入门

  从技术上来讲，scala程序并不是一个解释器，你在命令行中输入的内容被快速地编译成字节码，然后这段字节码交给Java虚拟机执行。   变量声明：   val val不能再继续赋值， 鼓励使用该命令方式 var 生命周期中可以被多次赋值 大多数程序并不需要那么多var变量   scala中变量或函数的类型总是写在变量或函数名称后面：   ...
scala 
brandNewUser 评论(0) 有752人浏览 2016-09-24 15:49

如何使用Spark/Scala读取Hbase的数据

必须使用高亮参数启动Spark-shell,否则当你遍历RDD时会出现如下的Exception java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable   spark-shell --conf spark.serializer=org.apache.spark.serialize ...
scala 
flyfoxs 评论(0) 有6994人浏览 2016-09-05 17:10

Scala实例

1、概述 Scala是Java的下一代编程语言，支持面向对象及函数，可以与Java相互调用；scala运行需要安装JVM；scala操作灵活，表达示丰富，目前JAVA8向scala靠拢。   2、开发环境 1）安装scala eclipse plugin2）安装集成scala IDE           3、第一个Scala实例，类与方法定义及数据库定义       packag ...
scalajava 
yangyangmyself 评论(0) 有711人浏览 2016-08-19 22:48

Scala访问修饰符

包，类或对象的成员可以标记访问修饰符private和protected，如果我们不使用这两种关键字，那么访问将被默认设置为public。这些修饰限制为成员的代码的 ...
Scala 
houston123 评论(0) 有520人浏览 2016-08-17 13:59

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) .net(54785) 编程(39454) JSP(37542) 数据结构(36423) Eclipse(31254) PHP(29988) F#(26079) 算法(24867) 脚本(19840) J#(18922) JDBC(17888) ASP(17480) JDK(14881) JVM(14450)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics