hadoop学习第三天

vi /etc/hosts
192.168.13.130 bigdata1
192.168.13.131 bigdata2
192.168.13.132 bigdata3

cd /data/module/hadoop-2.7.3
mkdir logs data

vi core-site.xml
...
<!-- 指定 HDFS 中 NameNode 的地址 低版本是8020端口-->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://主机名:9000</value>
</property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/data/module/hadoop-2.7.3/tmp</value>
</property>
...

<property>
    <name>dfs.replication</name>
    <value>3</value></property>
<!--secondary NameNode 的地址，端口号是50090-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>主机名:50090</value>
</property>
<!--关闭权限-->
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

<!-- Site specific YARN configuration properties -->
<!-- reducer 获取数据的方式 -->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>bigdata1</value>
</property>
<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置 7 天(秒) -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<!--历史服务器的地址-->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>bigdata1:10020</value>
</property>
<!--历史服务器页面的地址-->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>bigdata1:19888</value>
</property>

vi hadoop-env.sh
...
export JAVA_HOME=/data/module/jdk1.8.0_261
...

vi slaves
bigdata1
bigdata2
bigdata3

# 1.生成公钥和私钥（过程需要进行三次回车）
ssh-keygen -t rsa
# 2.拷公钥（执行过程需要输入每台主机的密码）
ssh-copy-id bigdata1
ssh-copy-id bigdata2
ssh-copy-id bigdata3

hdfs namenode -format

start-dfs.sh
start-yarn.sh
jsp
4626 DataNode
5107 NodeManager
4996 ResourceManager
5429 Jps
4490 NameNode
4798 SecondaryNameNode