Hive学习之四 《Hive分区表场景案例应用案例，企业日志加载》 详解

文件的加载，只需要三步就够了，废话不多说，来直接的吧。

一、建表

话不多说，直接开始。

建表，对于日志文件来说，最后有分区，在此案例中，对年月日和小时进行了分区。

建表tracktest_log，分隔符为“\t”部分：

在hive的default库中，建表，建表语句为：

 create table tracktest_log (

 id                         string ,

 url                        string ,

 referer                    string ,

 keyword                    string ,

 type                       string ,

 guid                       string ,

 pageId                     string ,

 moduleId                   string ,

 linkId                     string ,

 attachedInfo               string ,

 sessionId                  string ,

 trackerU                   string ,

 trackerType                string ,

 ip                         string ,

 trackerSrc                 string ,

 cookie                     string ,

 orderCode                  string ,

 trackTime                  string ,

 endUserId                  string ,

 firstLink                  string ,

 sessionViewNo              string ,

 productId                  string ,

 curMerchantId              string ,

 provinceId                 string ,

 cityId                     string ,

 fee                        string ,

 edmActivity                string ,

 edmEmail                   string ,

 edmJobId                   string ,

 ieVersion                  string ,

 platform                   string ,

 internalKeyword            string ,

 resultSum                  string ,

 currentPage                string ,

 linkPosition               string ,

 buttonPosition             string)  PARTITIONED BY (ds string,hour string)

 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

建表语句

全表默认字符类型为string，分区为ds和hour。

如下图所示：

desc tracktest_log;查看表结构。

看到分区结构如下图，分区信息为ds和hour。

二、load，加载企业日志文件

　　load语法：　

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]

    INTO TABLE tablename

    [PARTITION (partcol1=val1, partcol2=val2 ...)]

　　Insert方式有两种，一种是append（追加），一种是overwrite（覆盖），其中覆盖应该最广。在此案例中，采用overwrite方式。

　　在虚拟机中，创建一个存放日志的文件。

　　指令如下所示(在opt目录下，创建一个存放日志的date文件夹)：

cd /opt

mkdir /litong

cd /litong

mkdir date

　　上传日志文件，load语句。

LOAD DATA LOCAL INPATH '/opt/litong/data/2015082818' overwrite INTO TABLE tracktest_log PARTITION (ds='2015-08-28',hour='18');

LOAD DATA LOCAL INPATH '/opt/litong/data/2015082819' overwrite INTO TABLE tracktest_log PARTITION (ds='2015-08-28',hour='19');

　　

去检测是否load成功。因为验证的问题特别多，所以只取5行。

select * from tracktest_log limit 5;

三、Hive的存储

　　1、hadoop查看表，在每个分区下，又有一个子目录，详细看下面两个图。

从图中可以看到，hour=18和hour=19.

　　2、把hive查询的数据落地到HDFS或hive其他表

　　 ①新建一个数据库，并指定存储路径。

create database rptest location  '/user/hive/warehouse/rptest';

　　②在创建的rptest中，新建表visit_daily。

create table visit_daily

(pv bigint,

 uv bigint

)partitioned by(ds string);

　　③查询数据并插入新建的表中

insert overwrite table visit_daily partition (ds='2015-08-28')

select

  count(url) pv ,

  count(distinct guid) uv

 from default.tracktest_log where ds='2015-08-28';

　　④查询结果，如下图。

　　

Hive学习之四 《Hive分区表场景案例应用案例，企业日志加载》 详解的相关教程结束。