Hadoop2.9+Hive3.0+Mysql8.0安装配置,看这一篇就够了 - Go语言中文社区

Hadoop2.9+Hive3.0+Mysql8.0安装配置,看这一篇就够了


由于以上均是最新版本,网上以往的资料用起来几乎都有多少的错误,不少的错误真的会把人搞疯,近10篇博文结合我自己在外网上找到的一些方法,记录下来。
hadoop的安装推荐看这一篇http://dblab.xmu.edu.cn/blog/install-hadoop/
写配置文件的时候注意更改版本信息,我是在一台主机上进行的伪分布式配置。

hive的安装与配置http://dblab.xmu.edu.cn/blog/install-hive/。我发现厦大的这个博客网站还是比较靠谱的,很多其他的博文直接将配置文档复制为
hive-site.xml文件,这样当你修改完这个文件后,启动hive时会发现出现错误,这个错误我试了很多种方法,发现都不能很好的解决,这是个特别大的坑。应该按照厦大博客里新建一个文件,只把修改的部分写到新文件中。其中由于版本问题,所以更改了一项参数:新的jdbc驱动jdbc.driver的属性值从com.mysql.jdbc.Driver换为com.mysql.cj.jdbc.Driver,一定要更换。

Mysql安装配置与接入hive:hadoop与hive安装还是比较简单的,毕竟有正确的教程。这一部分教程比较乱,总结如下:
ubuntu上的自带的安装包是mysql5.7,所以我要手动安装,首先去官网下载一个安装包https://dev.mysql.com/downloads/mysql/,
这里写图片描述
选择好合适的版本后,下载deb bundle就是图中第一个。下载时甲骨文要求注册一个账户,也蛮快的。如果有下载不下来的,我可以分享给大家我方在百度云中的安装包。
解压:

cd ~
cd Downloads
mkdir mysql
sudo tar -xvf ~/Downloads/mysql-server_5.7.21-1ubuntu14.04_amd64.deb-bundle.tar -C ~/Downloads/mysql

这里写图片描述
解压完有不少的安装包,这里安装包安装有顺序的,安装时会提醒你安装失败因为有一个安装包没有安装,你就先把它安装了就好了。
下面的安装代码仅供参考,是从其他博客上截下来的只是为了说明问题,大家看着自己的安装包名字安装。

cd ~/Downloads/mysql
sudo apt-get install libaio1
sudo dpkg -i mysql-common_8.0.11-1ubuntu16.04_amd64.deb
sudo dpkg -i libmysqlclient20_5.7.21-1ubuntu14.04_amd64.deb
sudo dpkg -i libmysqlclient-dev_5.7.21-1ubuntu14.04_amd64.deb
sudo dpkg -i libmysqld-dev_5.7.21-1ubuntu14.04_amd64.deb
sudo dpkg -i mysql-community-client_5.7.21-1ubuntu14.04_amd64.deb
sudo dpkg -i mysql-client_5.7.21-1ubuntu14.04_amd64.deb
sudo dpkg -i mysql-community-server_5.7.21-1ubuntu14.04_amd64.deb  
**#可能安装此包的时候会出现 错误:未安装软件包libmecab2,这时安装依赖:
sudo apt-get -f install,没有错就不需要安装依赖了。**

sudo dpkg -i mysql-server_5.7.21-1ubuntu14.04_amd64.deb 
sudo dpkg -i mysql-community-source_5.7.21-1ubuntu14.04_amd64.deb
sudo dpkg -i mysql-community-test_5.7.21-1ubuntu14.04_amd64.deb
sudo dpkg -i mysql-testsuite_5.7.21-1ubuntu14.04_amd64.deb

安装图中会让设置密码,这个是之后登录mysql服务器时的密码,用户名默认是root,这里面的确定键鼠标是无法选中的,用键盘方向键中下键和右键进行选择。确定后会有两个选项让你选择,选择第二项就好了,虽然第一项是推荐的,但不少博文说选择第一项后发生hive连不上数据的错误。
这样安装完时,开始进行配置
首先需要将mysql的驱动放到hive的lib目录里去。
https://blog.csdn.net/rav009/article/details/71189347这个博文只看开头,下面的信息很乱,估计博主自己没有亲自安装或者信息不全。开头提到了很重要的信息,就是一般jar文件会被放在例如/usr/share/java/mysql-connector-java-8.0.11.jar。需要特别说明的是,进官网下载时你会发现ubantu16.04对应的包变成了deb包了,也就是说下载下来不能直接放到hive的lib目录里去,先安装然后去博主说的/usr/share/java/mysql-connector-java-8.0.11.jar中把这个驱动mv到hive的lib目录里去。不安装是不会生成这个驱动的,centos以及其他linux发行版是直接有的,mysql之前的版本对ubuntu直接就是这个驱动,现在8.0这个版本进行了更改,特别注意。
驱动放进去了之后需要将Mysql接入hive,替换掉原来的默认数据库。
厦大博客中的配置是之前版本的mysql,会出现错误。看这个
https://blog.csdn.net/wangmuming/article/details/25212941
首先启动mysql sudo service mysql start
直接看标题1 在mysql里创建hive用户,并赋予其足够权限,
按照这三条语句进行,需要提醒的就是:
create user ‘hivedb’ identified by ‘hivedb’,这一句中创建user:hivedb和密码hivedb,是用户自己命名的,最最重要的就是这两项是需要对应到hive-site.xml中的的name和password,按照直接粘进去,粘进去的是帐号密码都是hive,因此需要统一下,这里把这条语句更改为hive就好了,也可以自己随便命名然后再次编辑hive-site.xml进行更改的。
这三条语句之后,在mysql的交互窗口输入

create database hive;  #新建hive数据库,这个分号是立即执行,需要加上。

其实hive-site.xml里面也就五项参数,改起来很容易。到此位置基本的配置结束了

启动hadoop,

sbin/start-dfs.sh  #在hadoop的HOME目录下输入,比如我的在/usr/local/hadoop

启动hive:

hive #在终端只要一个hive就好了

上面已经启动了Mysql。
进行最后一步,将mysql设置为hive的元数据库:

schematool -dbType mysql -initSchema
版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/Handoking/article/details/81227210
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2019-08-27 17:12:25
  • 阅读 ( 2461 )
  • 分类:数据库

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢