不忘初心

记录大学,记录生活,天道殷勤,请多关注!

真诚、坚定不移!
  menu
63 文章
0 评论
3756 浏览
1 当前访客
ღゝ◡╹)ノ❤️

hadoop三种安装模式的基本原理

Hadoop的安装详情查看本博客本专栏内其它文章

一、三种安装模式的运行原理:
1.单机模式:Hadoop默认模式、即非分布式模式(本地模式)、无需进行其他配置即可运行非分布式,即java单进程,方便进行调试。
2.伪分布式模式: Hadoop在单节点上以伪分布式的方式运行,Hadoop进程以分离的java进程来运行,节点既作为NameNode也作为DataNode,同时,读取的是HDFS中的文件。
3.分布式模式:使用多个节点构成集群环境来运行Hadoop。

二、Hadoop基本安装配置主要包括以下几个步骤:
1.创建Hadoop用户(就是一个系统shell用户、用来Hadoop工作的,当然也可以root)

sudo useradd -m hadoop -s /bin/bash    #创建用户
sudo passwd hadoop #设置密码
sudo adduser hadoop sudo  #增加管理员权限

2.SSH登录权限设置(配置Hadoop之间无密码连接)
3.安装java环境
4.单机安装配置
5.伪分布式安装

三、安装模式详解:
1.单机安装:直接解压稍加配置进入bin运行即可。

2.伪分布式安装:Hadoop在单节点上以伪分布式的方式运行、Hadoop进程以分离的Java进程来运行,节点即为NameNode也作为DataNode,同时、读取的是HDFS中的文件。
需要修改的配置文件:core-site.xml和hdfs-site.xml、mapred-site.xml,每个配置以声明property的name和value的方式实现。
修改完之后初始整个文件系统命令: hadoop namenode -format
启动所有进程:start-all.sh
查看进程:jps
访问web、查看Hadoop信息。
知识原理:
(1).core-site.xml文件中:
中的hadoop.tmp.dir是设置存放目录、下一个将是具体值
中的tmp是临时目录
第二个的fs.defaultFS是设置整个hdfs路径的逻辑的名称,下一个value将是具体值。
(2). hdfs-site.xml中:
dfs.replication表示副本的数量(因为要保证冗余性、每个数据块都会有好几个副本,默认为3)、伪分布式要设置为1(在下一个value中设置,因为只有一台机器所以一个节点所以设置为1);
dfs.namenode.name.dir表示本地磁盘目录、是存储fsimage文件的地方(在下一个value中设置);
dfs.datanode.data.dir表示本地磁盘目录、HDFS数据存放block的地方(在下一个value中设置,block(块)是HDFS的基本单本)。
(3).当然、具体请移步安装博文。伪分布式安装

3.全分布式安装:全分布式安装


标题:hadoop三种安装模式的基本原理
作者:chenruhai
地址:http://www.love520.ltd/articles/2019/09/14/1568443033388.html

评论