hadoop和hive公司内有rpm包,安装很方便,MySQL安装也不麻烦
hadoop安装
http://wiki.aliyun-inc.com/projects/apsara/wiki/yunti1sqa/users
1、在线安装rpm包,也可下载rpm包本地安装
sudo yum install -y yunti-hadoop
2、修改hosts,jb和namenode地址
机器的/etc/hosts里追加hdpsqann和hdpsqajt的解析。如果没有权限,请联系机器的PE
10.97.180.201 hdpsqann
10.97.180.202 hdpsqajt
3、配置环境变量
环境变量配置,在${HOME}/.bashrc里追加如下配置
export JAVA_HOME="/home/yunti/java-current/"
export HADOOP_HOME="/home/yunti/hadoop-current/"
export HADOOP_CONF_DIR="${HOME}/hadoop-conf"
export PATH=${PATH}:${JAVA_HOME}/bin:${HADOOP_HOME}/bin
最后让配置生效
source ${HOME}/.bashrc
4、在${HOME}/hadoop-conf下创建hadoop-site.xml配置文件
具体需要配置jobtracker和namenode地址,用户名和密码
hive安装
http://baike.corp.taobao.com/index.php/Hive_%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2
过程基本类似
mysql安装
1. 安装mysql
1.1 执行安装
$sudo yum -y install mysql-server
1.2 注意
mysql和mysql-server有区别,只需作为client,执行yum install mysql.
2. 服务和配置
2.1 开机启动
$ sudo /sbin/chkconfig --add mysqld
$ sudo /sbin/chkconfig mysqld on
$ sudo /sbin/service mysqld start
2.2 设置root密码
$sudo mysqladmin -u root password 'crm2data'
3. 连接mysql
$mysql -h localhost -uroot -p x
x
分享到:
相关推荐
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
win10下搭建Hadoop(jdk+mysql+hadoop+scala+hive+spark),包括jdk的安装、mysql安装和配置,hadoop安装和配置,scala安装和配置,hive安装和配置,spark安装和配置。
适合新手,详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
集群搭建步骤详解。
centos7中java8+mysql80+hadoop3.2.4集群+hive3.1.2从0开始搭建(仅供参考)
手把手教你进行mac搭建hadoop和hive环境
Linux 搭建Hive链接mysql教程 适用搭建hadoop,配置环境使用
存储模块:搭建和配置HDFS分布式存储系统,并Hbase和MySQL作为备用方案。 ETL模块:加载原始数据,清洗,加工,为模型训练模块 和 推荐模块 准备所需的各种数据。 模型训练模块:负责产生模型,以及寻找最佳的模型...
hive=3.1.2 scala=2.11.12 spark=2.4.0 sbt=1.3.8 flink=1.9.1 maven=3.6.3 建议配合主机的IntelliJ-IDEA的Bigdata拓展工具以及SSH服务进行远程操控使用。 3.本机密码都是“hadoop”。 4.mysql5.7用户名为"root",...
hadoop上搭建hive成功后,连接mysql
自己整理的Hadoop环境的一些安装,和一些简单的使用,其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用,只在自己的虚拟机(Linux centOS7)上使用测试过。按照步骤一步...
linux环境搭建+hadoop+zk+flume+kafka+mysql+hive+redis+es+Rmq+hbase+spark+storm+azkaban
hadoop环境搭建,涉及zookeeper、hbase、hive、mysql、kafka等服务的搭建测试运用。
新手学习大数据搭建环境所需要安装资料包,其中包括hive-mysql安装包,HIVE连接mysql驱动。其中包括 apache-hive-1.2.1-bin.tar.gz MySQL-client-5.6.24-1.el6.x86_64.rpm mysql-connector-java-5.1.27.tar.gz MySQL-...
第7集:安装配置hive-2.1.1 合计8集: ...2、安装配置jdk1.8 3、安装配置hadoop-2.7.7 4、安装配置mysql-5.5.44 5、安装配置scala-2.11.8 6、安装配置hbase-1.3.6 7、安装配置hive-2.1.1 8、安装配置spark(进行中
Hadoop权威指南-Hadoop中文文档-第二版本.
工作中搭建的hadoop分布式文件系统和hive ,mysql等的搭建的具体步骤
hive1.2.1用mysql作为元数据库搭建DT-大数据 大数据学习可以了解一下
在Ubuntu系统下安装Hadoop圈中的部分软件。 VMWare Ubuntu SSH JDK Hadoop MySQL Hive Hbase Mahout Sqoop Spark Flume Kafka ElasticSearch Redis Phoenix