电脑疯子技术论坛|电脑极客社区

 找回密码
 注册

QQ登录

只需一步,快速开始

[编程和数据库] Spark-sql结合hive使用详情

[复制链接]
zhaorong 发表于 2018-3-12 11:10:06 | 显示全部楼层 |阅读模式

1.安装hive(配置好)

2.将配置好的hive-site.xml放入$SPARK-HOME/conf目录下

3.将mysql-xxx-connector-xx.jar放到spark集群中节点的lib目录下

4.启动spark-shell时指定mysql连接驱动位置

  1. bin/spark-shell \
  2. --master spark://node1.itcast.cn:7077 \
  3. --executor-memory 1g \
  4. --total-executor-cores 2 \
  5. --driver-class-path /usr/local/apache-hive-0.13.1-bin/lib/mysql-connector-java-5.1.35-bin.jar
复制代码


4.使用sqlContext.sql调用HQL

  1. sqlContext.sql("select * from spark.person limit 2")
复制代码


或使用org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.HiveContext
val hiveContext = new HiveContext(sc)
hiveContext.sql("select * from spark.person").show()
或者.write.mode("append").jdbc()


您需要登录后才可以回帖 登录 | 注册

本版积分规则

手机版|小黑屋|VIP|电脑疯子技术论坛 ( Computer madman team )

GMT+8, 2025-1-23 10:29

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表