Hadoop 家族技能图谱

Hadoop
Zookeeper
Avro
Chukwa
Ambari
Whirr
Bigtop
HCatalog
Hue
HBase
Pig
Sqoop
Cassandra
Hama
Flume
Giraph
Oozie
Crunch
Hive
Mahout

Hive 技能图谱

Hive介绍

Hive系统架构

MetaStore
- Derby
- MySQL
HDFS
- /user/hive/warehouse
MapReduce

Hive配置文件

hive-env.sh
hive-site.xml
hive-log4j.properties

Hive命令行

hive-config
hive shell
- quit,exit
- reset
- set
- add,list,delete FILES
- ! <命令>
- dfs <命令>
- HQL
- source FILES
hive service
- hive-service cli
- hive-service hiveserver
- hive-service metastore
- hive-service hwi
- hive-service jar

HiveQL

语法关键字
- show databases
- show PARTITIONS
- show tables
- create table
- load data(local) inpath
- Select*from
- desc,alert,drop
- limit,as,case when then,union
- like,group by,having
- order by,sort by
- cluster by
数据类型
- 简单类型
  - tinyint,smallint,int,bigint
  - float,double
  - boolean
  - string
  - timestamp
  - binary
- 复杂类型
  - arry
  - map
  - struct
表
- 内部表
- 外部表
  - HDFS
  - HBase
  - Cassandra
  - DynamoDB
表查询
- 单表查询
- lnner joins
- Outer joins
- Semi joins
- Map joins
- 子查询
- 视图

数据表设计

每日一表
每日一表分区
按桶分散数据

Hive优化

表分区Partitions
表存储桶buckets
表压缩
索引
- bitmap indexes
执行计划
控制Mapper.Reduce数量

访问方式

Hive Shell
Java JDBC API
Thrift Client
RHive

自定义函数

自定义函数UDF
自定义聚合函数UADF

Hive安全

认证
- hive.files.umask.value
- hive.metastore.authorization.storage.checks
- hive.metastore.execute.setugi
授权
- hive.security.authorization.enabled
- hive.security.authorization.createtable.owner.grants
- hive.security.authorization.createtable.user.grants
权限模型
- User
- Group
- Role

Web控制台

hwi:9999

软件集成

Zookeeper
Thrift
Ooize
HCatalog
AWS

Hive案例

Mahout 技能图谱

Mahou介绍

推荐

协同过滤
- 基于用户协同过滤
- 基于物品协同过滤
相似度矩阵
- 欧氏距离
- Pearson距离
- 余弦距离cosine
- Spearman’s rank correlation coefficient
- Tanimoto coefficient
- log-likelihood
近邻算法
- 按值取近邻
- 按比例取近邻
推荐算法
- UserBasedRecommender
- ItemBasedRecommender
- SlopeOneRecommender
- SVDRecommender
- KnnltemBasedRecommender
- TreeClusteringRecommender
算法检验
- 全查率Recall
- 准查率Precision
数据模型
- UserID,ltemID,PreferenceValue
- UserID,ItemID
Hadoop集群部署

聚类

数据模型
- DenseVector
- RandomAccessSparseVector
- SequentialAccessSpareVector
距离算法
- 欧式距离
- 欧式平方距离
- 马氏距离
- 余弦距离
- Tanimoto距离
- 带权重距离
标准化距离
- normalization
聚类算法
- k-means
- Canopy
- Fuzzy k-means
- Dirichlet
- Topic moseling on LDA
Hadoop集群部署

分类

系统模块
- 训练营
- 测试营
- 分类算法
- 训练过程
- 建立分类器
- 验证模块
- 真实数据
- 调整参数
- 执行分类过程
- 预测结果
- 检验结果
- 自动构建
工作流
- 训练模型
  - 定义目标变量
  - 历史数据
  - 定义预测变量
  - 分类算法
  - 通过学习算法训练分类器
- 验证模型
  - 运行测试集
  - 参数调优
- 生产环境
  - 启动模型对真实数据计算
- 分类模型
- 分类算法
  - Stochastic gradient descent(SGD)
    - Online_ogisticRession
    - CrossFoldLearner
    - Adaptivel_ogisticRegression
  - Support vector machine(SVM)
  - Naive Bayes
  - Complemetary naive Bayes
  - Random forests