跳到主要内容

用源码部署

环境准备​

在安装Datavines之前请确保你的服务器上已经安装下面软件

  • Git，确保 git clone的顺利执行
  • JDK，确保 jdk = 8
  • Maven, 确保项目的顺利打包（当然你也可以在本地打包以后上传至服务器）

下载代码​

git clone https://github.com/datavane/datavines.git
cd datavines

数据库准备​

Datavines 的元数据是存储在关系型数据库中，目前支持 MySQL ，下面以MySQL为例说明安装步骤：

  • 创建数据库 datavines
  • 执行 script/sql/datavines-mysql.sql 脚本进行数据库的初始化

下面的项目构建也是以MySQL为例

项目构建​

打包并解压

mvn clean package -Prelease
cd datavines-dist/target
tar -zxvf datavines-1.0.0-SNAPSHOT-bin.tar.gz

注意: 此时如果前端 datavines-ui 打包异常, 可能是网络问题, 可以尝试更换 npm 源 找到 datavines-ui 项目的 pom 文件, 在 npm install 添加 --registry https://registry.npmmirror.com, 如下所示

<execution>
    <id>npm install</id>
    <goals>
        <goal>npm</goal>
    </goals>
    <phase>generate-resources</phase>
    <configuration>
        <arguments>install --registry https://registry.npmmirror.com</arguments>
    </configuration>
</execution>

解压完成以后进入目录

cd datavines-1.0.0-SNAPSHOT-bin

修改配置信息

cd conf
vi application.yaml

主要是修改数据库信息

spring:
  config:
    activate:
      on-profile: mysql
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://127.0.0.1:3306/datavines?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
    username: root
    password: 123456

如果你是使用Spark做为执行引擎，并且是提交到Yarn上面去执行的，那么需要在common.properties中配置yarn相关的信息

  • standalone 模式
yarn.mode=standalone
yarn.application.status.address=http://%s:%s/ws/v1/cluster/apps/%s #第一个%s需要被替换成yarn的ip地址
yarn.resource.manager.http.address.port=8088
  • ha 模式
yarn.mode=ha
yarn.application.status.address=http://%s:%s/ws/v1/cluster/apps/%s
yarn.resource.manager.http.address.port=8088
yarn.resource.manager.ha.ids=192.168.0.1,192.168.0.2

启动服务​

cd bin
sh datavines-daemon.sh start mysql

查看日志，如果日志里面没有报错信息，并且能看到[INFO] 2022-04-10 12:29:05.447 io.datavines.server.DatavinesServer:[61] - Started DatavinesServer in 3.97 seconds (JVM running for 4.69)的时候，证明服务已经成功启动

windows 打包问题​

如果项目是 在 windows 中打包的 执行 sh datavines-daemon.sh start mysql 时可能会报以下异常 windows打包问题 这是因为 Windows格式文件的换行符为\r\n , 而Unix&Linux文件的换行符为\n 此时需要执行 dos2unix 来转换文件格式 安装 dos2unix

yum install -y dos2unix

格式转换

cd bin
find . -type f -print0 | xargs -0 dos2unix

访问前端页面​

在浏览器输入：localhost:5600，就会跳转至登录界面，输入账号密码 admin/123456

Datavines架构图