Stark_Summer
- 浏览: 723744 次
- 性别:
- 来自: 大连
-
最新评论
-
lixuanbin：
iteye已经快要tj了吧。。
iteye为什么不支持markdown? -
haorengoodman：
Tachyon 能在做数据分类吗？例如我有一坨hdfs文件，将 ...
tachyon与hdfs,以及spark整合 -
lee3836：
求源码，大牛
clover分布式任务调度系统 -
cfan37：
...
sparksql与hive整合 -
greemranqq：
9.9 送上，希望博客长久~。~
【【【【【#####>>>>>【关于我】【您·的·支·持·是·我·最·大·的·动·力】<<<<<#####】】】】】
文章列表
由于本人 最近忙着公司事情，昨天没有写博客，今天就继续写吧
需求：由于最近开发clover项目 ，没有使用spring，更没有使用任何框架，而使用J2EE的web工程，所以连接ZK和MongoDB、Redis等服务器需用指定properties文件，
而目前公司又分各套环境（dev、test、product），所以希望打包的时候 根据profile id 来动态使用不同环境properties文件 或者动态修改properties参数值
方法一：使用一套properties配置文件，但具体参数使用${key}占位符方式打包替换
maven的pom中指定每套环境的参数值
...
到目前为止，隐式转换是scala的重点和难点了，加油~
我们先创建一个类名称叫Implicit.scala
再看一个隐式参数的例子：
上面的例子中使用了隐式参数，我们也可以明显的指明参数：
下面看一下隐式类：
相当于：
到目前为止，本人已经把所有scala在spark中开发中所涉及的基础知识练习了一遍了，稍后我会把scala其他方面知识在总结一下
谢谢大家抽出时间阅读
我们做spark开发 会使用很多spark的高阶函数 所以 今天我就在linux服务上使用scala高阶函数
声明一个List集合：
List集合所在的包已经被预定义自动引入，所以此处就不需要在引入包了，这里直接使用List实例化对象，其实用List的object对象的apply方法
我们使用map函数把list中的每个值都乘以3：
x表示l中每一个元素，map对l中的每一个元素进行遍历操作，由于List中只有一种类型的元素，所以我们在执行马屁操作的时候可以省略其类型，如下所示：
List集合中只有一个参数的时候，我们可以去掉参数中的括号：
为了能保
首先 在scala下的 org.scala.clazz下创建UsageOfApply.scala
我们做过Java开发都知道 main方法中的对象都是静态的，而scala object对象的方法都是静态方法
接下来 我们看下 apply是如何使用的
当 val applyTest = new ApplyTest() 会导致apply方法的调用并返回该方法调用的值，也就是ApplyTest的实例化对象
Class中也可以由apply方法，其使用方法如下所示：
由于 object中的方法和属性都是静态的，所以就是单例对象的理想载体了，示例代码如下：
1、查看当前操作系统内核信息
[spark@S1PA222 tomcat6]$ uname -aLinux S1PA222 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
2、查看当前操作系统发行版信息
[spark@S1PA222 tomcat6]$ cat /etc/issueCentOS release 6.4 (Final)Kernel \r on an \m
3、查看cpu型号
[spark@S1PA222 tomcat6]$ cat /proc ...
在默认时，<result>标签的type属性值是“dispatcher”（实际上就是转发，forward）。开发人员可以根据自己的需要指定不同的类型，如redirect、stream等。如下面代码所示：
<result name="save" type="redirect">
/result.jsp
</result>
这此result-type可以在struts2-core-2.0.11.1.jar包或struts2源代码中的struts-default.xml文件中找到，在这个文件中找到 ...
trait类似于Java8中的可用带default method的接口。
trait中可以带有实现的方法，也可以带有抽象方法，使用trait的方法是with而混入类中。
我们在scala下的org.scala.clazz下创建一个类MyTrait.scala
定义一个特质类 Logger
定义MyLogger ...
在scala下的org.scala.clazz下创建AbstractScala.scala
创建抽象类 使用abstract关键字
ITCoder类继承Person类并重写speak方法，重写超类的抽象方法时，不需要使用override关键字。
但你使用override关键字 也可以
App内部帮我们实现了main方法并管理工程师写的代码
抽象类中未被初始化的变量的使用
你可以
在scala下的org.scala.clazz下创建ExtendsScala.scala
创建Person类
创建Student类 并extends Person类
调用Student类
接下来 我们使用override覆盖父类方法
我们在override下字段
执行结果：
在scala下创建一个包名为org.scala.clazz ，创建scala类名为OOPInScala.scala ，并增加object OOPInScala
(图片上包明有误，应该是org.scala.clazz)
创建一个User类 并增加name和age字段
调用User类并执行
private[this]的使用
我们可以看到 gender属性是 inaccessible的，这样使用private[this]定义后的内容可以无法被外部使用了，这样启动很好的保护的作用了
类的构造器：
主构造器使用：
本人csdn、iteye、oschina等三个博客同时更新撰写文章，大家都可以看
但之前更多的经历还是在iteye上面写，但现在三个博客都同时撰写
csdn：http://blog.csdn.net/stark_summer
iteye：http://stark-summer.iteye.com/
oschina：http://my.oschina.net/u/230960/blog/366453
从putty官网下载putty软件：putty.exepscp.exepsftp.exe等软件 也可以自己下windows安装包putty-0.63-installer.exe
本人直接下载putty-0.63-installer.exe安装包了，然后直接安装
使用pscp方式从windows上传文件到linux服务器
在CMD命令行中进入到put ...
首先在src下的main下的scala下创建一个包为org.scala.base
创建一个scala类名称为HelloWorld.scla
由于main方法要位于object对象中，所以我们创建一个object 名称为HelloWorld 并增加main方法和打印一行内容
接下来 我们在object对象中增 ...
java -jar jetty-runner.jar test-clover-0.0.1-SNAPSHOT.war
打开IDEA 在src下的main下的scala下右击创建一个scala类 名字为SimpleApp ,内容如下
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp {
def main(args: Array[String]) {
val logFile = "/home/spark/opt/spark-1.2.0-bin-hadoop2.4/READM ...