Spark保存的时候怎么去掉多余的引号转义
Spark保存的时候怎么去掉多余的引号转义
今天⽤SparkSQL保存⼀份json数据的时候，引号被转义了，并⽤括号包起来了，导致下游新来的⼩伙伴⽆法处理这份数据。
保存后的数据长这样(⽤\t分割)：怎么隐藏应用
data    "{\"key\": \"impl\", \"version\": \"1.0\"}"
于是乎⼀番查Spark⽂档，尝试添加这个选项之后，option('escapeQuotes', False)，关闭引号转义，如此引号就不会被转义，结果如下：data    {"key": "impl", "version": "1.0"}
你叫什么名字 歌词
同样尝试了⽤RDD去保存，也不会出现双引号被转义的问题，只是⽤SparkSQL或者DataFrame的时候才会出现被双引号被转义的情况。PySpark代码如下，spark公共变量请⼤佬们⾃⼰创建：
郑州市六院迎来“救火队长”# encoding = utf-8
import json
from utils import *
驴肉饺子馅配什么菜
def t1():
"""
spark和sc变量放在utils⽂件⾥⾯三年级下册英语期末
:return:
"""
data = ('data', json.dumps({'key': 'impl', 'version': '1.0'}))
df = sc.parallelize([data], 1).toDF(['key', 'value'])
de('overwrite').option('sep', '\t').option('escapeQuotes', False).csv(file_save)FLASH的制作
if__name__ == '__main__':
t1()
#
spark.stop()

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。