有没有自动优化sql的工具?spark SQL咋大点的表无法处理

发表时间:2018-02-12 04:24:04 作者: 来源: 浏览:

在上一篇文章中,小编为您详细介绍了关于《为什么样我玩一小会刺客信条就掉?二手车检测什么样时候能拿到结果》相关知识。本篇中小编将再为您讲解标题有没有自动优化sql的工具?spark SQL咋大点的表无法处理。

同①个sql,不同的写法效率不同,但是问题来了,①般我们写的所谓的效率低的sql,都是在逻辑上最好理解,或者写出来最短,可读性最高的sql语句。那么有没有好用的sql语句优化工具,自动能优化sql语句。

可以试试 SQL Optimizer for SQL Server

就凭你这个问题,就知道你是新手

多看点工具书

直接读取mysql数据进行处理的方式个人觉得是不太好的,因为没有压缩,源数据要加到内存中,然而当内存不足时就会溢出从而导致执行失败。

建议先将mysql的数据以列压缩格式存储到HDFS上,然后再用spark sql 去加载,在此基础上执行sql 查询,这样做既节省系统资源,也可以提升查询效率。

编后语:关于《有没有自动优化sql的工具?spark SQL咋大点的表无法处理》关于知识就介绍到这里,希望本站内容能让您有所收获,如有疑问可跟帖留言,值班小编第一时间回复。 下一篇内容是有关《刺客信条4对电脑配置要求高么?电脑电源接口描述的意思》,感兴趣的同学可以点击进去看看。

资源转载网络,如有侵权联系删除。

相关资讯推荐

相关应用推荐

玩家点评

条评论

热门下载

  • 手机网游
  • 手机软件

热点资讯

  • 最新话题