`
winse
  • 浏览: 94358 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论
文章列表
 A => Option[B] => B 这个过程scala的  aList.map(B(_)).filter(!_.isEmpty).map(_.get)  和  aList.flatMap(B(_))  有什么差别? 在 spark rdd 以及 sparksql 同样的操作又有什么异同呢? -- Scala 对Option而言,逻辑上flatMap就是map.filter.m ...
 官网的教程提交依赖的jar,使用 --jars 参数来添加额外的jar。这种方式比较费劲,如果依赖比较多需要一个个的弄,挺麻烦。   查看 SparkSubmit 源码时(结合help帮助),可以通过 --packages --repositories  两个参数来添加需要的包(当然也可以包括 primaryResource )。packages写法类似于sbt类似,多个包通过逗号分隔;repositories就是公共库的地址,多个库同样适用逗号分隔。   ~/opt/spark-2.0.0-bin-2.6.3/bin/spark-submit \ --packages ...
类似于linux字符操作,如果被单引号包裹的字符不会被替换。   如果需要输出单引号,又要替换其中的字符,需要使用双单引号来表示单引号!   public class MessageFormatTest { @Test public void testPatternUncorrect(){ String UPDATE_SQL = "update t_handle_time a set a.start_time=sysdate where table_name = 'dynamic_{0}'"; Assert.assertEquals(& ...
从apache下载的tar.gz的hadoop-1.1.0包中本来就包括了src的源码。可以方便我们查看源码调试。   (从github上下载了最新的hadoop-common的源码,发现hadoop-2.0已经是使用maven管理代码了。)   在eclipse中新建java project,去掉“Use Default location”的复选框的勾,自定义项目为hadoop-1.1.0程序所在的位置。然后点击finish即可。   完成后,项目下面的lib包,以及Source Folder源码包都已经正确的配置好了。如下图。   根据网上的资料,编译hadoop的源码, ...
通过shell来获取视频地址,简化生活,所以这个分类到编程之美下面。   这里讲的是使用shell获取163 ted视频下载地址。   效果如图:     shell脚本如下:   #!/bin/sh wget -qO- http://open.163.com/ted/ | iconv -f gbk -t utf-8 | awk '{if($0 ~ /<a href="http:\/\/v\.163\.com\/movie/ ){print}}' \ | sed -n 's/.*<a href="\([^"]*\)&quo ...
万事开头难,第一次搭建集群环境确实是比较难,比较苦恼。但,也不是说第二次搭建集群环境就会容易。   一般,第一次操作我们都会在测试环境中进行,当我们要搭建正式的环境时,是否还要像第一次那样搭建环境呢? 在搭了2^n次环境后,这里提供一种稍稍便捷一点的配置方式来搭建集群,所有的操作都在namenode上面进行!   192.168.3.100 h100可以认为是测试环境的namenode。 将来搭建的环境包括3台机器,已经全部安装好redhat的操作系统: 192.168.80.81 h81 #namenode 192.168.80.82 h82 #datanode1 192 ...
使用过linux的系统的人,应该都用过top命令。 top集成了系统的许多功能,可以查看时间,查看系统的负载,查看cpu和mem的使用情况,查看系统运行的程序等。   top命令显示界面可以分成3部分: 系统总体性能(Summary_Area),命令输入光标(Message/Prompt line),任务显示区(Columns Header,Task Area)。   1、 常用的命令 [ q ] ,或 [ ctrl + c ]            退出top命令。 [ h ] ,或 [ ? ]                     查看帮助,然后可以按ESC回到top界 ...
hadoop的集群的优势,其中之一就是可以灵活的增加数据节点,简简单单的实现扩容!   1、 最好安装统一的操作系统。安装的时刻把防火墙关了!   2、 在新节点使用root用户,修改系统的一些参数 修改时间。 date -s 12:00:00   设置IP地址。 vi /etc/sysconfig/network-scripts/ifcfg-eth0 service network restart   修改host。 vi /etc/sysconfig/network ## 设置完以后不能立即见效,可以先使用hostname命令生效 hostname data ...
http://www.5iphp.com/node/28 一、 根据表结构生成powerdesigner模型: 导入工作分成几步,工作很简单,步骤如下:第一步:将要导入的库的所有表的表结构(不要表数据,只要表结构)导出成一个.sql文件。第二步:在powerdesinger里找到 File >> Reverse Engineer >> Database ,然后出来一个 选择“share the DBMS definition”然后点击确定。注意,数据库也要选择和自己的数据库对应的,我的数据库是mysql5.0的,所有我也选择了mysql5.0。 选“Usin ...
在写试图view的时刻,把所有字段拼接成一个字符串,但是有个表比较特殊有个clob字段,如果使用to_char转成varchar的化,只能处理最大4000个字符。 。。。 最后,在其他字段加入一个to_clob('')处理,转换为clob类型。(clob+varchar=clob类型) to_clob http://www.techonthenet.com/oracle/functions/to_clob.php
需求其实就是把eclipse osgi导出的应用嵌入到原有的ssh开发的程序中。   <filter> <filter-name>struts-cleanup</filter-name> <filter-class> org.apache.struts2.dispatcher.ActionContextCleanUp </filter-class> </filter> <filter-mapping> <filter-name>str ...
环境: Eclipse Modeling Tools Version: Indigo Service Release 2 Build id: 20120216-1857   操作系统:win7 tomcat: apache-tomcat-7.0.27   1、 简单操作(在bridge基础上再添加jar) 主页: http://eclipse.org/equinox/server/http_in_container.php http://eclipse.org/equinox/server/downloads/bridge.war 基本操作: http://devel ...
不是自己的,特别是官方api形式,最好以导入包的形式引入。  
eclipse生成R.java文件: 保存后工程rebuild,最终调用android-sdk-windows\platform-tools\aapt.exe执行命令来生成文件,然后刷新eclipse-project的gen目录。   #com.android.ide.eclipse.adt.internal.build.builders.PreCompilerBuilder.build } finally { // refresh the 'gen' source folder. // Once this is do ...
https://android.googlesource.com/platform/sdk/+/tools_r20/eclipse/plugins/   git clone https://android.googlesource.com/platform/sdk   com.android.ide.eclipse.adt.overlay/ com.android.ide.eclipse.adt/ com.android.ide.eclipse.base/ com.android.ide.eclipse.ddms/ com.android.ide.eclipse.gldebug ...
Global site tag (gtag.js) - Google Analytics