本文主要包括Git的用法加底层
使用
初始化相关
# --system 操作系统级别; --global 用户级别; 不加: 项目级别 |
本文主要包括Git的用法加底层
# --system 操作系统级别; --global 用户级别; 不加: 项目级别 |
spark的唯一 ShuffleReader :BlockStoreShuffleReader
项目中需要指定文件写到HDFS的具体哪个节点,通过查找API,找到一种解决办法。以 TextOutputFormat
为例测试
记录遇到的简单bug
一些我用到的调试代码
一些用过的linux命令
spark 三大ShuffleWriter 之 SortShuffleWriter
spark 三大ShuffleWriter 之 UnsafeShuffleWriter
spark 三大ShuffleWriter 之 BypassMergeSortShuffleWriter