spark-sql thriftserver 方式使用hive

作者: 赵简书 | 来源:发表于2016-03-11 15:33 被阅读0次

1、在hive中注册udf函数

add jar hdfs://hdp-hdfs01/apps/udf.jar; --添加jar，jar存放在hdfs上

create function your_udf_name as 'com.alibaba.udf.UDFgetuuid';--创建函数

2、在start-thriftserver.sh中添加jars

start-thriftserver.sh --jars /apps/udf.jar --添加jar，jar存放在本地目录

3、验证函数

desc function your_udf_name；

spark-sql thriftserver 方式使用hive
1、在hive中注册udf函数 add jar hdfs://hdp-hdfs01/apps/udf.jar; -...
Spark SQL 操作Hive
spark-shell spark-sql thriftserver/beeline thriftserver/j...
spark常见问题处理
1、spark thriftserver报以下错误，其他诸如hive/sparksql等方式均正常 ERRORAc...
spark-sql使用hive无法创建表
使用spark-sql 执行hive的建表语句 create table person (id bigint,na...
Spark SQL中Kryo反序列化问题分析
1 问题描述当使用Spark-sql执行 Hive UDF时会发生NullPointerException(N...
spark thriftServer
spark thriftserver简称sts是sparksql的apache hive hiveServer2的...
hive thriftserver 2
hive.server2.thrift.min.worker.threads – Minimum number o...
SparkSQL读取HBase数据
这里的SparkSQL是指整合了Hive的spark-sql cli（关于SparkSQL和Hive的整合，见文章...
Sql-On-Hadoop的流程简要分析
基于Hadoop的sql方案如hive，sparksql架构一般如下： Server ： ThriftServer...
spark sql thriftserver HA
与hue进行整合，org.apache.spark.sql.hive.thriftserver，就必须解决thri...