lingzhi007
- 浏览: 125308 次
- 性别:
- 来自: 杭州
-
最新评论
文章列表
抄的别人的，觉得写的特别好
val FILESOURCE_TABLE_RELATION_CACHE_SIZE =
buildStaticConf("spark.sql.filesourceTableRelationCacheSize")
org.apache.spark.sql.catalyst.catalog.SessionCatalog#tableRelationCache
private val tableRelationCache: Cache[QualifiedTableName, LogicalPlan] = {
val cache ...
/home/isuhadoop/spark2/sbin/start-thriftserver.sh --driver-class-path /home/isuhadoop/ark_data_bin/jar/fangzhou-nbdata-stream-1.0.jar:/home/isuhadoop/spark2/conf/hbase-site.xml:/home/isuhadoop/spark2/conf/log4j.properties --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.h ...
udaf 返回的 子属性
- 博客分类：
- spark 学习
udaf 返回的 子属性
spark.sql("select createCrowdHllc(uuid,tmp_id,'crowdid_appid').uuiduv from h5 ").show(10)
package cn.analysys.udf.crowd
import cn.analysys.batch.userprocess.HbaseInit
import cn.analysys.meta.MetaMapInfo
import cn.analysys.udf.utils.CommonUtils
import cn.analysys.udf.u ...
spark datasource
- 博客分类：
- spark 学习
DataFrameWriter
format
val cls = DataSource.lookupDataSource(source, df.sparkSession.sessionState.conf)
private var source: String = df.sparkSession.sessionState.conf.defaultDataSourceName
根据这个标来找对应的
val cls = DataSource.lookupDataSource(source, df.sparkSession.sessionState.conf)
if (classOf ...
亲情的矛盾都是因为爱而化解 写给17 岁的你
- 博客分类：
- 闲扯淡
>跟你说一个好玩的事情 。 刚刚我们一家三个也都在吵架 ,刚开始是我和我女儿吵,她说我不应在她高兴的时候说她的缺点,吵着吵着我和我老婆开始吵。最后发现我们为什么吵,都不重要了，而是觉得对方不讲道理，觉得对方态 ...
如何 map 端 Join。
- 博客分类：
- spark 学习
Hive 中 修改表的 rawDataSize = 1
14: jdbc:hive2://ark3:9994> alter table app_uuid_info_test set tblproperties(rawDataSize=1)
14: jdbc:hive2://ark3:9994> ;
HBASE 表是不会根新的所有手工指点
这个 阀值
set spark.sql.autoBroadcastJoinThreshold=100000000;
JOINT 中 left outer join app_uuid_info_test b
select a ...
org.apache.spark.sql.hive.thriftserver.server.UdfLoadUtils
package org.apache.spark.sql.hive.thriftserver.server
import org.apache.spark.SparkFiles
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.expressions.UserDefinedAggregateFunction
import org.apache.spark.sql.types.{DataTy ...
正确方法 ：
0\
拷贝对应目录到 spark2 jars
-rw-r--r--. 1 root root 1396867 3月 2 23:19 hbase-client-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root 575960 3月 2 23:20 hbase-common-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root 4956260 3月 2 23:20 hbase-protocol-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root roo ...
你是不是说越长越大，过年就越没年味，与其这样，你还不如试着走走。
本人已有三年只给几个固定的亲戚拜年，每年除了抱怨只剩抱怨，左右不过是想显得自己与众不同，其实想想年味的增长真的看自己，说什么不想给谁谁谁拜年，只不过是“懒”，说和谁没感情，其实就是自己太空虚。
与其说不想去拜年，可以逼逼自己，你会发现，亲戚还是那个亲戚，
scala package
- 博客分类：
- spark 学习
#scala 打包
mvn clean scala:compile compile package
mvn clean scala:compile compile package -Dmaven.test.skip=true -Ptest
hive> show create table test_parquet;
OK
CREATE TABLE `test_parquet`(
`name` string,
`age` int)
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFO ...
Configuration
Configuration of Parquet can be done using the setConf method on SparkSession or by running SET key=value commands using SQL.
Property Name Default Meaning
spark.sql.parquet.binaryAsString false Some other Parquet-producing systems, in particular Impala, Hive, and older versions of Spa ...
spark sql parquet 格式异常
org.apache.hive.service.cli.HiveSQLException: java.lang.NoClassDefFoundError: parquet/hadoop/ParquetOutputFormat
修改Jar
-rw-r--r-- 1 root root 2796935 Apr 2 2017 parquet-hadoop-bundle-1.6.0.jar
-rw-r--r-- 1 root root 2902379 Mar 23 2017 parquet-hadoop-bundle-1.8.1.jar_ ...
SPARK SERVER
- 博客分类：
- spark 学习
sbin/start-thriftserver.sh --driver-class-path $CLASSPATH:/usr/hdp/current/spark2-client/sparkudf.jar:/usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.0.3-8.jar --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.host=192.168.221.50 --master yarn --deploy-mode clie ...
driver class
- 博客分类：
- spark 学习
sbin/start-thriftserver.sh --driver-class-path $CLASSPATH:/usr/hdp/current/spark2-client/sparkudf.jar:/usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.0.3-8.jar --hiveconf hive.server2.thrift.port=9998 --hiveconf hive.server2.thrift.bind.host=192.168.220.172 --master yarn --deploy-mode clien ...