标签 Java 下的文章

环境搭建

$ yum -y install gcc
$ yum -y install g++
$ yum install libXtst-devel libXt-devel libXrender-devel libXrandr-devel cups-devel fontconfig-devel alsa-lib-devel

编译

$ bash ./configure --with-extra-cxxflags="-Wno-error" \
--with-extra-cflags="-Wno-error" \
--enable-unlimited-crypto \
--with-native-debug-symbols=none \
--with-debug-level=release \
--with-target-bits=64 \
--with-boot-jdk=/home/jdks/dragonwell-11.0.17.13+8-GA
$ make images
$ ./build/linux-aarch64-normal-server-release/images/jdk/bin/java -version

Spark 官方提供的二进制下载版本缺少对Hive的支持,需要自己下载源码进行编译,加入hive的支持。

解压并修改maven repo为国内地址源(有2处)。

$ tar zxvf spark-3.2.1.tgz
$ cd spark-3.2.1
$ vim pom.xml
<!--url>https://maven-central.storage-download.googleapis.com/maven2/</url-->
<url>https://maven.aliyun.com/repository/public</url>

编译

$ export MAVEN_OPTS="-Xss64m -Xmx2g -XX:ReservedCodeCacheSize=1g"
$ ./dev/make-distribution.sh --name hadoop-3.3.2-hive-3.1.3 --tgz -Pyarn -Dhadoop.version=3.3.2 -Phive -Phive-thriftserver -DskipTests

其中-Phive -Phive-thriftserver参数就是启用hive支持,MAVEN_OPTS参数必须的,否则编译过程中会提示java内存不足.