spark源码-shuffle之ShuffleManager

发表于 2019-11-29 更新于 2020-01-16 分类于 大数据 阅读次数：

spark shuffle 学习起始篇，涉及源码中shuffle的相关概念 加 SortShuffleManager

阅读全文 »

spark源码-Partitioner

发表于 2019-11-28 更新于 2020-01-16 分类于 大数据 阅读次数：

Partitioner（分区器）学习

阅读全文 »

spark杂谈-使用textFile读取HDFS的分区规则

发表于 2019-11-27 更新于 2020-01-16 分类于 大数据 阅读次数：

使用 textFile 读取HDFS的数据分区规则

阅读全文 »

CentOS根目录扩容

发表于 2019-11-23 更新于 2020-01-16 分类于 Linux 阅读次数：

记录对 /root 目录的扩容

阅读全文 »

hbase-基本原理

发表于 2019-09-29 更新于 2020-01-16 分类于 大数据 阅读次数：

简单介绍了hbase的基本原理：数据结构、读写操作、flush、合并与切分

阅读全文 »

hbase-安装与配置

发表于 2019-09-28 更新于 2020-01-16 分类于 大数据 阅读次数：

介绍hbase的安装与简单使用

阅读全文 »

zookeeper-基本原理

发表于 2019-09-24 更新于 2020-01-16 分类于 大数据 阅读次数：

介绍了zookeeper的基本原理和使用

阅读全文 »

hive-DML

发表于 2019-09-19 更新于 2020-01-16 分类于 大数据 阅读次数：

hive中一些DML的操作

阅读全文 »

hive-DDL

发表于 2019-09-17 更新于 2020-01-16 分类于 大数据 阅读次数：

hive中一些DDL的操作

阅读全文 »

随笔-中秋入学有感

发表于 2019-09-16 更新于 2020-01-16 分类于 随笔 阅读次数：

很早想写，却迟迟未动笔。今有兴留以纪念。

阅读全文 »