博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop 安装前须知
阅读量:7036 次
发布时间:2019-06-28

本文共 850 字,大约阅读时间需要 2 分钟。

hadoop在安装前,咱们需要知道一下几点。

 1.hadoop运行模式

  • 单机(本地)模式:这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。适用于开发过程中运行MapReduce程序,(非常少用的一种模式)。 
  • 伪分布式模式:在这个模式中,所有守护进程都在同一台机器上运行,在一个接点上模拟i了一个具有hadoop完整功能的微型集群,适用于开发和测试环境
  • 全分布式模式:全分布模式通常被用于生产环境,使用N台主机组成一个Hadoop集群,Hadoop守护进程运行在每台主机之上。这里会存在Namenode运行的主机,Datanode运行的主机,以及tasktracker运行的主机。在分布式环境下,主节点和从节点会分开。一个正真意义上的集群。
2. hadoop 运行环境
  • Windows:hadoop本身来说,是不支持Windows的,但是,可以通过这个软件模拟unix的运行环境来安装hadoop。这种方式非常消耗资源并且非常不稳定,所以,不管是开发环境还是生产环境,都不推荐用Windows作为hadoop的运行环境。
  • linux:hadoop最佳运行环境,非linux莫属,常见的linux系统有centos,ubuntu,Redhat等。而多数情况下,更推荐大家使用centos来搭建hadoop进行学习。
3.hadoop的安装步骤
  • 安装运行环境
  • 修改主机名和用户名
  • 配置静态IP 地址
  • 配置SSH 无密码连接
  • 安装JDK
  • 配置hadoop
  • 格式化HDFS
  • 启动hadoop并且验证安装
安装单节点的具体过程,可以参考尼玛哥的
本文参考书籍------
Hadoop海量数据处理 技术详解与项目实战
参考博客------

转载于:https://www.cnblogs.com/DeepRunning/p/9205997.html

你可能感兴趣的文章
EXT编写日志文件
查看>>
SEO基础问题:12.关于外链你知道多少?
查看>>
0422-团队项目开发
查看>>
图例实解:C++中类的继承特性
查看>>
spring的IOC和AOP详细讲解
查看>>
程序员,背着屌丝的罪名.还要被人当作是修电脑的.
查看>>
走向高山
查看>>
xcode7 插件实效解决方法
查看>>
交流心得
查看>>
【翻译】Ext JS最新技巧——2014-9-10
查看>>
linux中如何查询端口被占用的情况
查看>>
【Cocoa(mac) Application 开发系列之三】自定义NSView并绘制一些常见的图形及字符串...
查看>>
jquery 拖动改变div 容器大小
查看>>
21.Linux-写USB键盘驱动(详解)
查看>>
开发人员的福音:微软、谷歌、Mozilla将他们所有的Web API文档放在同一个地方...
查看>>
Mac 安装 JDK
查看>>
spark rdd saveAsTextFile保存为文件
查看>>
修改 sql 提示符信息:
查看>>
SQL Server Service Broker创建单个数据库会话(消息队列)
查看>>
flask-session组件
查看>>