安装

1 环境准备

• JDK 1.8（或更高版本）
• MySql5.5（或更高版本）
• Mail Server
• Chrome（需同时安装chromedriver，清注意版本）
• Redis（可选）

2 配置部署

2.1 初始化目录

将下载好的 Davinci 包（Release 包，不是 Source 包）解压到某个系统目录，如：~/app/davinci

cd ~/app/davinci
unzip davinci-assembly_3.0.1-0.3.0-SNAPSHOT-dist.zip

解压后目录结构如下图所示：

2.2 配置环境变量

将上述解压后的目录配置到环境变量 DAVINCI3_HOME

export DAVINCI3_HOME=~/app/davinci/davinci-assembly_3.0.1-0.3.0-SNAPSHOT-dist

2.3 初始化数据库

修改 bin 目录下 initdb.sh 中要的数据库信息为要初始化的数据库，如 davinci0.3

mysql -P 3306 -h localhost -u root -proot davinci0.3 < $DAVINCI3_HOME/bin/davinci.sql

运行脚本初始化数据库（注：由于 Davinci 系统数据库中包含存储过程，请务必在创建数据库时赋予执行权限）

sh bin/initdb.sh

2.4 初始化配置

Davinci 的配置主要包括：server、datasource、mail、chrome、cache 等配置

进入config目录，将application.yml.example重命名为application.yml 后开始配置

cd config
mv application.yml.example application.yml

注意：由于 Davinci 使用 ymal 作为应用配置文件格式，请务必确保每个配置项键后的冒号和值之间至少有一个空格

2.4.1 server 配置

server:
  protocol: http
  address: 127.0.0.1
  port: 8080

  access:
    address: 192.168.1.1
    port: 80

server 配置如上示例所示，server.access.address和server.access.port表示真实访问地址和端口，默认不开启，其值默认为server.address和server.port

如你在虚拟主机上部署 Davinci，启动端口为8080，该主机真实访问IP地址为192.168.1.1，你将虚拟主机的8080端口映射到80端口，则需打开 access 配置项，否则将不能正常使用 Davinci 的部分功能，如激活账号、下载、分享等

2.4.2 datasource 配置

这里的 datasource 配置指 Davinci 系统的数据源，配置如下：

spring:
  datasource:
    url: jdbc:mysql://localhost:3306/davinci0.3?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true
    username: root
    password: root
    driver-class-name: com.mysql.jdbc.Driver
    initial-size: 2
    min-idle: 1
    max-wait: 60000
    max-active: 10

将上一步初始化的数据库地址配置到url中，url 中的参数不要做任何修改，然后修改正确的数据库访问用户和密码即username和password

initial-size、min-idle、max-wait、max-active是连接池参数，具体属性请参考DruidDataSource配置属性列表

2.4.3 mail 配置

注：Davinci 使用注册–邮件激活添加用户，所以 mail 配置是必不可少的，且 mail 配置出错率较高，请务必注意

spring:
  mail:
    host: smtp.****.com
    port: 25
    username: example@***.com
    fromAddress: 
    password: example_password
    nickname: Davinci
    
    properties:
      smtp:
        starttls:
          enable: true
          required: true
        auth: true
      mail:
        smtp:
          ssl:
            enable: false
            

mail 配置并不复杂，以上就是完整的 mail 配置了，username为邮箱地址，password邮箱服务密码，需要注意的是常见免费邮箱（如 163 邮箱、QQ 邮箱、gmail 等）这里应填客户端独立密码，可前往对应邮箱账号设置页面开启 SMTP 服务，并申请客户端授权码（或独立密码，各邮箱提供商叫法不同）

fromAddress 为可选项，默认为 username 的值，其存在的意义在于部分邮箱服务可能在认证时 username 和 addresss 不同，这时需要配置 fromAddress 作为邮件真实发送地址，username 为连接邮箱服务认证使用

下表为常见免费邮箱 SMTP 服务地址及端口：

2.4.4 截图配置

截图配置用于定时任务功能发送邮件正文中对可视化应用进行截图

screenshot:
  default_browser: CHROME
  timeout_second: 600
  chromedriver_path: $your_chromedriver_path$

default_browser 为默认截图浏览器，目前仅支持 CHROME

注意：chromedriver_path 需配置 Chromedriver （非Chrome）可执行文件绝对地址

2.4.5 cache 配置（可选）

cache 这里用 redis 作为缓存服务，配置如下：

spring:
  redis:
    isEnable: false
    host: 10.143.131.119
    port: 6379
    
  #  cluster:
  #       nodes:

    password:
    database: 0
    timeout: 1000
    jedis:
      pool:
        max-active: 8
        max-wait: 1
        max-idle: 8
        min-idle: 0

如果要开启 cache 服务，请将isEnable设为true，并要设置相关配置（单机方式请打开host和port，集群方式请打开cluster配置项，二者只能选择一种）

由于 Davinci Cache 配置遵循 Spring 配置, 所以 Redis 配置除 isEnable 外，不必拘泥以上配置格式，如通过 sentinel 方式连接

2.4.6 LDAP配置与实现（可选）

LDAP 配置项如下：

spring:
  ldap:
    urls: 
    username: 
    password: 
    base: 
    domainName: 

除domainName需配置企业邮箱后缀外，其他配置项遵循SpringBoot关于LDAP的配置， 需要注意的是，由于各组织、公司 LDAP 服务字段、域都不尽相同，如需对接 LDAP， 需自行修改源码打包使用，具体修改文件为： server/src/main/java/edp/davinci/service/impl/LdapServiceImpl.java，只需修改findByUsername方法中关于 LDAP 相关字段即可。

2.4.7 OAuth2配置（可选）

security:
    oauth2:
      enable: false
      client:
        registration:
          cas:
            provider: cas
            client-id: "xxxxx"
            client-name: "Sign in with XXX"
            client-secret: "xxxxx"
            authorization-grant-type: authorization_code
            client-authentication-method: post
            redirect-uri-template: "{baseUrl}/login/oauth2/code/{registrationId}"
            scope: userinfo
        provider:
          cas:
            authorization-uri: https://cas.xxxxx.cn/cas/oauth2.0/authorize
            token-uri: https://cas.xxxxx.cn/cas/oauth2.0/accessToken
            user-info-uri: https://cas.xxxxx.cn/cas/oauth2.0/profile
            user-name-attribute: id
            userMapping:
              email: "attributes.Email"
              name: "attributes.CnName1"
              avatar: "attributes.Avatar"

oauth2配置如上示例所示，已cas endpoint为例

security.oauth2.enable设置为true表示启用oauth2

security.oauth2.client.registration.cas.client-id表示客户端id

security.oauth2.client.registration.cas.client-secret表示客户端密钥

security.oauth2.client.registration.cas.authorization-grant-type表示客户端授权方式，authorization_code表示授权码模式

security.oauth2.client.registration.cas.redirect-uri-template表示重定向地址

security.oauth2.client.registration.cas.scope表示访问请求范围

security.oauth2.client.provider.cas.authorization-uri表示授权服务器地址

security.oauth2.client.provider.cas.token-uri表示授权服务器的令牌端点URI

security.oauth2.client.provider.cas.user-info-uri表示UserInfo端点URI

security.oauth2.client.provider.cas.user-name-attribute表示UserInfo响应中返回的属性的名称

security.oauth2.client.provider.cas.userMapping表示用户信息字段映射关系，根据返回的用户的用户信息，获取对应字段的值

security.oauth2.client.provider.cas.userMapping.email表示用户信息的email字段，取值路径为attributes.Email，用户需要根据授权服务器的实际返回自行调整

security.oauth2.client.provider.cas.userMapping.name表示用户信息的name字段，取值路径为attributes.CnName1，用户需要根据授权服务器的实际返回自行调整

security.oauth2.client.provider.cas.userMapping.avatar表示用户信息的name字段，取值路径为attributes.Avatar，用户需要根据授权服务器的实际返回自行调整

2.4.8 使用统计配置

使用统计开启后将记录可视化应用的使用数据和登录终端信息

statistic:
  enable: false
  # You can use external elasticsearch storage [127.0.0.1:9300], default davinci datasouce
  elastic_urls:
  elastic_index_prefix:

如果要开启使用统计，请将enable设为true。统计数据默认情况下会存储到 Davinci 自身使用的 mysql 数据库中，也可以选择存储到 ElasticSearch 中

2.4.9 数据源信息加密配置（可选）

encryption:
  maxEncryptSize: 1024
  type: Off # Off is to turn off encryption, to enable encryption, please select AES or RSA

数据源密码支持加密存储，启用步骤如下：

1. 运行 SourcePasswordEncryptUtils 的 main 方法，会在 userfiles 目录下生成三个密钥文件 ${DAVINCI3_HOME}/userfiles/AES/private.txt (对称加密密钥)，${DAVINCI3_HOME}/userfiles/RSA/private.txt (非对称加密私钥)，${DAVINCI3_HOME}/userfiles/RSA/public.txt (非对称加密公钥)。生成以后请务必进行备份，以免由于密钥丢失导致系统无法正确的加解密。

2. 修改 ${DAVINCI3_HOME}/config/application.yml 中的 encryption.type 为 AES 或 RSA，根据实际情况选择

3. encryption.maxEncryptSize 为最大加密长度，encryption.type 为 RSA 时有效，根据实际情况调整

2.4.10 其他配置

日志配置文件为config/logback.xml，如当前的日志配置不能满足你的要求，可自定义配置日志模式

3 数据源配置

Davinci 理论上支持所有有 JDBC 的数据源，我们默认支持的数据源有：

数据源名称	驱动类
mysql	com.mysql.jdbc.Driver
oracle	oracle.jdbc.driver.OracleDriver
sqlserver	com.microsoft.sqlserver.jdbc.SQLServerDriver
h2	org.h2.Driver
phoenix	org.apache.phoenix.jdbc.PhoenixDriver
mongodb	mongodb.jdbc.MongoDriver
elasticSearch	–
presto	com.facebook.presto.jdbc.PrestoDriver
moonbox	moonbox.jdbc.MbDriver
cassandra	com.github.adejanovski.cassandra.jdbc.CassandraDriver
clickhouse	ru.yandex.clickhouse.ClickHouseDriver
kylin	org.apache.kylin.jdbc.Driver
vertica	com.vertica.jdbc.Driver
hana	com.sap.db.jdbc.Driver
impala	com.cloudera.impala.jdbc41.Driver

注意：

1. Davinci 内部只提供了 MySql 的驱动包，也就是说，如果你要使用其他数据源，还需将对应驱动jar 包手动拷贝到lib目录并重新启动 Davinci 服务

2. 如果你的数据源不在以上列表中，也可以通过自定义配置注入数据源，否则没必要开启，除非你知道在做什么

3. 关于 ElasticSearch 数据源的配置情况说明：

   Davinci 默认提供了 NLPchina提供的elasticsearch-sql(version: 5.3.2) 驱动，其强依赖 Druid(version: 1.0.15)，所以为了避免 Druid 版本冲突，我们建议你在连接 ElasticSearch 时使用版本隔离的方式进行连接，具体请参考多版本隔离配置，你可以根据你的 ES 服务自由选择驱动版本和 Druid 版本，甚至非 NLPChina 提供且支持 JDBC 的驱动包

   使用 NLPchina 提供的驱动包需要确认包含以下依赖文件 elasticsearch-xxx.jar、transport-xxx.jar、x-pack-api-xxx.jar、x-pack-transport-xxx.jar、elasticsearch-sql-XXX.jar（xxx表示你的 ElasticSearch 版本号，XXX表示 NLPchina 对应 elasticsearch-sql 版本号）

4. 关于 Mongo 数据源的配置情况说明：

   由于 MongoDB 官方提供的驱动包没有 Driver 类，需自行查找相应驱动包，目前 Davinci 默认指定的 Mongo 连接方式为（未提供驱动 jar 包）：

    mongo:
      name: mongo
      desc: mongodb
      version:
      driver: mongodb.jdbc.MongoDriver
      keyword_prefix: \`
      keyword_suffix: \`
      alias_prefix: \"
      alias_suffix: \"
   

   jdbc url 以 jdbc:mongo:// 开头，如果不符合你的需求，可通过配置自定义数据源解决

3.1 自定义数据源

1. 打开自定义数据源配置文件

  mv datasource_driver.yml.example datasource_driver.yml

1. 如下配置你的数据源，这里以 postgresql 为例

  postgresql:
    name: postgresql
    desc: postgresql
    version:
    driver: org.postgresql.Driver
    keyword_prefix:
    keyword_suffix:
    alias_prefix: \"
    alias_suffix: \"

注意

• keyword_prefix和keyword_suffix表示关键字前缀和后缀，假设使用 mysql 数据库，并将desc关键字作为字段使用，那么你的查询语句应该是:

  select `desc` from table 这里的 ‘`’ 就是前后缀，它们必须成对被配置，可以都为空

• alias_prefix和alias_suffix表示别名前后缀，仍以 mysql 为例，假设你的 sql 语句如下：

  select column as '列' from table

  这里为 ‘column’ 起了别名为‘列’，那么‘’’将作为前后缀配置，前后缀必须成对被配置，可以都为空

• 对于以上别名配置，你可以使用''将字符包起来，也可以使用转义符\，二者只能出现一种

1. 手动将相应的驱动 jar 包拷贝到lib目录下

2. 重启 Davinci 服务

3.2 多版本隔离

如果你需要同时使用某个数据源的不同版本，需要以下配置：

1. 在 datasource_driver.yml 中新增数据源配置，使用 version 字段标记数据源对应版本。version 字段为空时，默认读取 lib 目录下的驱动文件。这里以 hive 为例

     hive1.1.0:
    name: hive2
    desc: hive
    version: 1.1.0
    driver: org.apache.hive.jdbc.HiveDriver
    keyword_prefix: \` 
    keyword_suffix: \`
    alias_prefix: \`
    alias_suffix: \`
   

2. 在 lib/ext 下创建相应数据库及其版本目录（如无 ext 目录，可自行创建） 如：lib/ext/hive2/1.1.0

3. 将对应数据源的驱动包放入步骤2 创建的目录

4. 重启服务器

5. 在 source 新增或修改时选择数据源，详情参考 数据源 - 新增数据源