1.spark sql源码系列 | json_tuple一定比 get_json_object更高效吗？
2.SparkSQL源码分析-05-SparkSQL的join处理
3.spark sql源码系列 | with as 语句真的会把查询的数据存内存嘛？
4.Mybatis拼接sql出错及源码解析
5.我下载了个SQL的ASP源代码,我怎么使用?
6.MyBatis源码之MyBatis中SQL语句执行过程

spark sql源码系列 | json_tuple一定比 get_json_object更高效吗？

       对比json_tuple和get_json_object，网上普遍认为json_tuple效率更高。理由是json_tuple仅需解析一次json数据，而get_json_object需多次解析。实际操作中，get_json_object在解析json字符串到jsonObject阶段仅执行一次，meven导入源码而非多次解析。从执行计划角度看，get_json_object更为简洁，而json_tuple涉及udtf函数，其执行计划更为繁重。功能多样性上，get_json_object支持更丰富的路径处理，如正则匹配、嵌套、多层取值等，而json_tuple仅能解析第一层key。在实际使用时，无需盲从效率结论，mashable源码根据具体需求选择。确保json数据不过长过大，无论使用哪种方法，效率都不会理想。正确理解并合理运用这些函数，对于优化查询性能至关重要。

SparkSQL源码分析--SparkSQL的join处理

       SparkSQL的join处理策略多样，针对不同场景各有优劣。首先，map join适用于小表广播至worker节点，提升性能，但大表可能导致OOM。shuffle hash join则对大表进行分区和排序，效率高但内存密集。默认策略通过sort merge join，对大表进行分区排序，避免内存问题，但需预先排序。跑步源码

       当常规策略不可用时，会考虑等值或不等值join的广播nested loop join，适用于特定条件的right或left outer join。笛卡尔积join在无指定key时使用，仅限inner join。

       SparkPlan中的Join子节点与策略紧密相关，如在等值连接时，根据hint选择Broadcast hash join、Shuffle sort merge join或shuffle hash join。没有hint时，依据表大小、join类型和排序情况自动选择。

       非等值连接时，hint会引导使用broadcast nested loop join或Cartesian product join，无hint时则依据表大小和连接类型来决定。

       在特殊情况下，如NotInSubquery，仍可能选择Broadcast hash join。短文源码总的来说，SparkSQL的join策略灵活多变，旨在根据具体场景提供最优的执行效率和资源利用率。

spark sql源码系列 | with as 语句真的会把查询的数据存内存嘛？

       在探讨 Spark SQL 中 with...as 语句是否真的会把查询的数据存入内存之前，我们需要理清几个关键点。首先，网上诸多博客常常提及 with...as 语句会将数据存放于内存中，来提升性能。那么，实际情况究竟如何呢？

       让我们以 hive-sql 的视角来解答这一问题。在 hive 中，有一个名为 `hive.optimize.cte.materialize.threshold` 的参数。默认情况下，其值为 -1，代表关闭。当值大于 0 时（如设置为 2），with...as 语句生成的表将在被引用次数达到设定值后物化，从而确保 with...as 语句仅执行一次，soapui 源码进而提高效率。

       接下来，我们通过具体测试来验证上述结论。在不调整该参数的情况下，执行计划显示 test 表被读取了两次。此时，我们将参数调整为 `set hive.optimize.cte.materialize.threshold=1`，执行计划显示了 test 表被物化的情况，表明查询结果已被缓存。

       转而观察 Spark SQL 端，我们并未发现相关优化参数。Spark 对 with...as 的操作相对较少，在源码层面，通过获取元数据时所做的参数判断（如阈值与 cte 引用次数），我们可以发现 Spark 在这个逻辑上并未提供明确的优化机制，来专门针对 with...as 语句进行高效管理。

       综上所述，通过与 hive-sql 的对比以及深入源码分析，我们得出了 with...as 语句在 Spark SQL 中是否把数据存入内存的结论，答案并不是绝对的。关键在于是否通过参数调整来物化结果，以及 Spark 在自身框架层面并未提供特定优化策略来针对 with...as 语句进行内存管理。因此，正确使用 with...as 语句并结合具体业务场景，灵活调整优化参数策略，是实现性能提升的关键。

Mybatis拼接sql出错及源码解析

       结论是，Mybatis在拼接SQL时出现意外条件添加，可能是由于别名与参数名冲突导致的。作者猜测，当在foreach循环中设置了别名exemptNo，Mybatis可能误将这个别名与参数关联，即使exemptNo值为空，也会在SQL中添加条件。这个行为实际上是一个潜在的bug，源于Mybatis在处理一次性使用的别名时的内存管理问题。

       深入分析，当在org.apache.ibatis.scripting.xmltags.DynamicSqlSource的getBoundSql方法中设置断点，可以看到exemptNo的空值状态表明该条件不应被添加。进一步在rootSqlNode.apply(context)的applyItem方法中，问题集中在DynamicContext对象的ContextMap上。它在遍历时将别名作为键存储，然而在操作结束后没有及时清理，导致了不必要的参数混淆。

       Mybatis的ContextMap设计用于存储SQL参数和临时键值对，但这里的问题在于，别名被永久性地存储在map中，而不是作为一次性使用的变量。因此，为了避免这类问题，应确保SQL的别名与实际参数名不冲突，以防止Mybatis的内存管理不当。

       总结来说，Mybatis在处理别名时的临时性考虑不足，导致了这个bug，提醒我们在使用Mybatis时，要注意别名的命名规则，以避免意外的SQL拼接错误。

我下载了个SQL的ASP源代码,我怎么使用?

       修改你下载的ASP文件里的数据库连接文件，一般都为conn.asp,修改数据库的SQL用户名和密码,还有数据库名（例如为test）以及连接方式。

        然后在SQL中打开查询分析器，输入语句create database test回车输入go运行（或者直接在企业管理起中创建数据库），创建数据库完毕后，在查询分析器中输入use database test（也可以鼠标选定数据库test），然后把SQL源代码复制粘贴到查询分析其中运行，整个数据库就创建完毕。然后用IIS浏览就可以了。

MyBatis源码之MyBatis中SQL语句执行过程

       MyBatis源码之MyBatis中SQL语句执行过程

       MyBatis编程时主要有两种方式执行SQL语句。

       方式一，通过SqlSession接口的selectList方法调用，进入DefaultSqlSession的实现，最终调用executor的query方法，使用MappedStatement封装SQL语句。

       方式二，调用SqlSession接口的getMapper(Class type)方法，通过工厂创建接口的代理对象，调用MapperProxy的invoke方法，进一步执行MappedStatement，调用sqlSession的方法。

       创建动态代理类会执行MapperProxy类中的invoke方法，判断方法是否是Object的方法，如果是直接调用，否则执行cachedInvoker()方法，获取缓存中的MapperMethodInvoker，如果没有则创建一个，内部封装了MethodHandler。当cacheInvoker返回了PalinMethodInvoker实例后，调用其invoke方法，执行execute()方法，调用sqlSession的方法。

       查询SQL执行流程：调用关系明确，主要步骤包括调用关系。

       增删改SQL执行流程：主要步骤清晰，最后执行的都是update方法，因为insert、update、delete都对数据库数据进行改变。执行流程为：

       具体的执行流程图如下所示。