1.新建一个文件夹,并放入我们的winutils.exe文件.

2. 我们把这个路径写上去就好了.

image.png

3. 目前的结构

4. 这是mode 和 我们的文件形式

5. Parquet文件格式

image.png

5.读写分区

为什么写成一个文件夹

rdd 支持分区,直接把每一个RDD分区,写成一个文件.

hive 分区

写东西
读取数据

SparkSQL读写_JSON

JSON 格式的读写
JSON 格式读写上的小技巧

JSON 的应用场景

image.png
image.png
image.png

JSON 的小技巧

image.png
image.png
image.png
M image.png image.png

SparkSQL 读写Hive 整合

image.png
image.png
image.png 改类型
image.png
image.png
image.png
image.png
image.png image.png image.png
image.png image.png
image.png
image.png

SparkSQL 访问 Hive 中的表

image.png