Hadoop 简介 Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个...
Hbase提供了丰富的Java API，以及线程池操作，下面我用线程池来展示一下使用Java API操作Hbase。 项目结构如下： 我使用的Hbase的版本是 hbase-0.98.9-hadoop2-bin.tar.gz 大家下载后，可以拿到里面的lib目录下...
注：之前本人写了一篇SparkR的安装部署文章：SparkR安装部署及数据分析实例，当时SparkR项目还没正式入主Spark，需要自己下载SparkR安装包，但现在spark已经支持R接口，so更新了这篇文章。 1、Hadoop安装 参考： ...
环境：Hadoop 2.6.0 + hive-0.14.0 问题出现的背景：在hive中建表 （建表语句如下），并且表的字段中有Map，Set,Collection等集合类型。 CREATE EXTERNAL TABLE agnes_app_hour( start_id string,&nb...
在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式： 第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java 第二种是选择可用空间足够多的磁盘方式存储，实现类：Av...
在查询了很多资料以后，发现国内外没有一篇关于hadoop2集群环境搭建的详细步骤的文章。 所以，我想把我知道的分享给大家，方便大家交流。 以下是本文的大纲： 1. 在windows7 下面安装虚拟机2.在虚拟机上面安装lin...
一、ssh免密登录 1.命令ssh-keygen、 overwrite输入y一路回车 2.将生成的密钥发送到本机 ssh-copy-id localhost中间会询问是否继续输入“yes” 3.测试免密登录是否成功 ssh localhost 二、java...
一、环境准备 1.centos配置 最好是用新克隆的虚拟机 ，虚拟机内存设置大一点（我设置的4g），配置网络，主机名，关闭防火墙，关闭selinux 注意：采用root角色编译，减少文件夹权限出现问题 2.jar包准备(hadoop源...
