我是靠谱客的博主 繁荣棒棒糖,最近开发中收集的这篇文章主要介绍使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hbase-0.94.27.搭建,觉得挺不错的,现在分享给大家,希望可以做个参考。
概述
今天小编将要使用Hadoop ,Nutch,Hbase,solr来搭建一个搜索引擎。在一台全新的centOS 系统上进行搭建,8核,16G内存,60G 系统盘,500G EOS 存储盘。
已经搭建好了Hadoop1.2.1,这篇将继续搭建Hbase-0.94.27。Hadoop1.2.1搭建:http://blog.csdn.net/shuaigexiaobo/article/details/77481391
Hbase-0.94.27的环境搭建
Hbase是一个分布式的、面向列的开源数据库,该技术来源于Chang et al所撰写的Google论文“Bigtable:一个结构化
数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,hbase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase有三种模式:单机模式,伪分布式模式,完全分布式模式。下面介绍完全分布式安装。 HBase安装前需要安装Hadoop。 HBase安装步骤如下:
(一)进入或者创建usr/local/hbase文件夹
(二)使用如下命令 ,在hbase文件夹中获取hbase-0.94.27.tar.gz
wget http://archive.apache.org/dist/hbase/hbase-0.94.27/hbase-0.94.27.tar.gz
(三)在hbase文件夹中解压Hbase-0.94.27.
tar -xzvf hbase-0.94.27.tar.gz
(四)修改目录权限
sudo chmod 777 -R hbase
(五)修改./conf/hbase-env.sh中的JAVA_HOME配置如下
export JAVA_HOME=/usr/java/jdk1.6
并开启:
export HBASE_MANAGES_ZK=true
(六) 修改./conf/hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/data/hbase/zookeeper</value>
</property>
</configuration>
(七) 进入lib , 删掉./lib/hadoop-core-1.0.4.jar并从hadoop拷贝
cp /usr/local/hadoop/hadoop-1.2.1/hadoop-core-1.2.1.jar ./lib
(八)启动Hbase
启动hbase
(九)检验hbase正确启动
执行./bin/Hbase shell启动终端并执行list结果如下:
测试成功!
执行./bin/Hbase shell启动终端并执行list结果如下:
hbase(main):002:0> list
TABLE
0 row(s) in 0.0170 seconds
hbase(main):003:0>
测试成功!
最后
以上就是繁荣棒棒糖为你收集整理的使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hbase-0.94.27.搭建的全部内容,希望文章能够帮你解决使用 Hadoop,Nutch ,Hbase,Solr 搭建搜索引擎之Hbase-0.94.27.搭建所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复