美文网首页
Hadoop-3.3.1版本 mac编译

Hadoop-3.3.1版本 mac编译

作者: ShiPF | 来源:发表于2023-05-21 23:34 被阅读0次

最近在看董西成老师的yarn代码解读,编译了一下hadoop代码,使用的是3.3.1版本,记录下过程
需要依赖的组件有

  1. java 1.8
  2. mvn 3.x
  3. protrobuf服务
  4. c编译相关服务
  5. node.js

问题1. Mac使用默认Java时候,读取Javahome路径异常,手动设置java-home变量解决


image.png

问题2. 3.3.1引进了node.js服务,需要使用到yarn, 这里的yarn是node的yarn,需要手动安装node

brew install node
# 设置临时代理
npm config set registry https://registry.npm.taobao.org/

有2个心得

  1. 使用新版本,使用docker
    编译尽量使用比较新的版本软件,就版本依赖的底层服务比较老,配置也比较旧。会出现的问题比较多。如果是生产环境使用,尽量生成一个docker 镜像,进行服务的编译,减少不同环境上消耗的时间。
  2. 出现的问题使用chat机器人提问,会开拓思路
    贴个机器人连接 https://poe.com/

相关文章

网友评论

      本文标题:Hadoop-3.3.1版本 mac编译

      本文链接:https://www.haomeiwen.com/subject/eguzsdtx.html