# 全新安装(Linux)

本文主要介绍如何在 Linux 操作系统下安装DataMover。

# 安装步骤(快速)

提示

若您已具备jdk和mysql等基础环境,可以参考快速安装指南。

若不具备,可以参考安装步骤(详细)。

必须安装JDK,只安装JRE项目无法正常启动。

3分钟在Linux部署DataMover_视频教程 (opens new window)

  • 请提前准备好一个mysql账号,若账号有创建数据库权限,则不需要手动数据库,项目启动时会自动检测并创建。若账号没有创建数据库的权限,请在mysql创建一个空的数据库,例如datamover(数据库名称和安装配置一致即可),编码为utf8mb4

  • 解压安装包,配置参数,执行安装脚本

# 将安装包拷贝到服务器任意目录,建议拷贝到/home/install目录,根据实际情况执行cd命令
cd /home/datamover/install
# 解压datamover安装包
tar zxvf datamover-1.0.0-20251217_020508-lite.tar.gz
# 切换到安装包目录
cd datamover-1.0.0-20251217_020508-lite
# 解压管理界面(manager)安装包
tar zxvf datamover-manager-1.0.0-20251012_041926.tar.gz
# 切换到安装管理界面(manager)安装包目录
cd manager
# 配置安装参数:服务器IP、安装目录、数据库连接信息,详细说明见管理界面参数配置与说明
vi install.conf
## 根据实际情况配置安装参数
# 执行安装命令
sh install.sh

# 返回安装包目录
cd ..
# 解压工作节点(worker)安装包
tar zxvf worker-1.0.0-20251012_041721.tar.gz
# 切换到工作节点(worker)安装包目录
cd worker
# 配置安装参数:服务器IP、安装目录、数据库连接信息,详细说明见工作节点参数配置与说明
vi install.conf
# 执行安装命令
sh install.sh
  • 验证安装结果:访问服务器IP:管理界面端口号
    • 例如:192.168.1.1:8000
    • 用户名:admin 密码:admin123

anzhuangyanzheng

# DataMover的启停

# 管理界面(manager)

# 进入到manager的bin目录
cd /home/datamover/manager/bin

# 启动脚本
sh start.sh

# 停止脚本
sh stop.sh

# 工作节点(worker)

# 进入到worker的bin目录
cd /home/datamover/worker/bin

# 启动脚本
sh start.sh

# 停止脚本
sh stop.sh

# 安装步骤(详细)

# 硬件和系统准备

  • 操作系统:CentOS/RHEL 或 Ubuntu 或 MacOS
  • CPU架构:x86 或 arm64v8
  • 最低配置
    • 4 核 CPU
    • 4 GB 内存
  • 依赖基础软件
    • Mysql 5.7+
    • JDK1.8+
  • 端口占用:8000、8011

# 环境准备

# 登录机器

以 root 用户登录DataMover部署机器

# 安装基础环境(可跳过)

  1. 添加用户。

    useradd -d /home/datamover -m datamover
    passwd datamover
    chsh -s /bin/bash datamover
    
  2. 给用户赋 sudo 权限。

    echo "datamover ALL=(ALL) NOPASSWD:ALL" >> /etc/sudoers
    
  3. 创建业务目录。

    mkdir -p /home/datamover/{install,backup}
    
    chown datamover:datamover /home/datamover/*
    
  4. 调整内侧参数(可选)

    vim /etc/security/limits.conf
    
    # nofile - maximal opened files, * for all users
    
    *           soft       nofile     65535
    *           hard       nofile     65535
    
    # optional file is 20-nproc.conf
    vim /etc/security/limits.d/90-nproc.conf
    
    # modify datamover's maximal opened processes
    *             soft       nproc      1024 
    datamover     soft       nproc      131072
    

# 安装JDK

# 切换目录
cd /home/datamover
# 下载openjdk1.8,若服务器没有接入互联网可以在官网下载 https://mirrors.tuna.tsinghua.edu.cn/Adoptium/8/jdk/x64/linux/
wget https://mirrors.tuna.tsinghua.edu.cn/Adoptium/8/jdk/x64/linux/OpenJDK8U-jdk_x64_linux_hotspot_8u472b08.tar.gz
# 解压jdk
tar zxvf OpenJDK8U-jdk_x64_linux_hotspot_8u472b08.tar.gz
# 重命名,jdk安装在/home/datamover/jdk1.8目录程序可自行读取,若安装在其他目录请配置环境变量
mv jdk8u472-b08 jdk1.8
# 删除jdk安装包
rm OpenJDK8U-jdk_x64_linux_hotspot_8u472b08.tar.gz

# 安装元数据库(如使用自己数据库,则此步略)

# 安装依赖

sudo apt update
sudo apt install -y libaio1 libncurses5 numactl

MySQL 二进制包依赖 libaio,部分系统还需要 numactl


# 下载并解压 MySQL 二进制包

# 进入临时目录
cd /tmp

# 下载(你提供的链接)
wget https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.39-linux-glibc2.17-x86_64.tar.xz

# 解压到 /usr/local
sudo tar -xvf mysql-8.0.39-linux-glibc2.17-x86_64.tar.xz -C /usr/local/

# 创建软链接(方便后续升级)
sudo ln -s /usr/local/mysql-8.0.39-linux-glibc2.17-x86_64 /usr/local/mysql

# 创建 mysql 系统用户(非登录用户)

sudo useradd -r -s /bin/false mysql

# 初始化 MySQL 数据目录

# 创建数据目录(可选,也可以用默认)
sudo mkdir -p /usr/local/mysql/data

# 设置权限
sudo chown -R mysql:mysql /usr/local/mysql
sudo chmod -R 755 /usr/local/mysql

# 初始化(会生成 root 临时密码!注意保存)
sudo /usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data

🔍 重要:初始化输出中会有一行类似:

[Note] [MY-010454] ... A temporary password is generated for root@localhost: abcdefg123!

请记下这个临时密码(如 abcdefg123!),下一步要用。


# 配置 systemd 服务(便于管理)

创建服务文件:

sudo tee /etc/systemd/system/mysql.service <<EOF
[Unit]
Description=MySQL Server
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/mysql/bin/mysqld --defaults-file=/etc/my.cnf
User=mysql
Group=mysql
Restart=on-failure
RestartPreventExitStatus=1
PrivateTmp=true

[Install]
WantedBy=multi-user.target
EOF

# 创建配置文件 /etc/my.cnf

sudo tee /etc/my.cnf <<EOF
[mysqld]
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
socket=/tmp/mysql.sock
port=3306
user=mysql
symbolic-links=0
log-error=/usr/local/mysql/data/mysqld.log
pid-file=/usr/local/mysql/data/mysqld.pid

[client]
socket=/tmp/mysql.sock
EOF

# 启动 MySQL 服务

# 重载 systemd
sudo systemctl daemon-reload

# 启动 MySQL
sudo systemctl start mysql

# 设置开机自启(可选)
sudo systemctl enable mysql

# 检查状态
sudo systemctl status mysql

# 首次登录并修改 root 密码

# 使用临时密码登录
sudo /usr/local/mysql/bin/mysql -u root -p

输入之前记录的临时密码。

然后在 MySQL 命令行中执行:

-- 修改 root 密码
ALTER USER 'root'@'localhost' IDENTIFIED BY 'YourNewRootPass123!';

-- 刷新权限
FLUSH PRIVILEGES;

-- 退出
EXIT;

⚠️ 密码必须满足 MySQL 默认的密码策略(至少 8 位,含大小写、数字、特殊字符)。


# 创建 datamover 用户

重新登录 MySQL(用新密码):

sudo /usr/local/mysql/bin/mysql -u root -p

执行以下 SQL:

-- 创建用户(允许本地连接)
CREATE USER 'datamover'@'localhost' IDENTIFIED BY 'datamover@123';

-- 如果需要允许远程连接(可选):
-- CREATE USER 'datamover'@'%' IDENTIFIED BY 'datamover@123';

-- 授予基本权限(按需调整)
GRANT SELECT, INSERT, UPDATE, DELETE ON *.* TO 'datamover'@'localhost';

-- 如果允许远程,也授权给 '%':
-- GRANT SELECT, INSERT, UPDATE, DELETE ON *.* TO 'datamover'@'%';

-- 刷新权限
FLUSH PRIVILEGES;

-- 查看用户(验证)
SELECT User, Host FROM mysql.user WHERE User = 'datamover';

EXIT;

# 测试 datamover 登录

/usr/local/mysql/bin/mysql -u datamover -p

输入密码 datamover@123,应能成功登录。

# 安装管理界面(manager)

  1. 进入 官网 (opens new window),在页面右上角点击 立即下载 > 下载 DataMover 版本 (兼容 X86/ARM64)。

  2. 下载安装包拷贝到指定目录。

    /home/datamover/install
    

提示

若非安全必要要求,建议使用root用户安装,可以跳过当前步骤。

  1. 修改安装包权限,切换为 datamover用户。

    chown -R datamover:datamover /home/datamover
    su - datamover
    
  2. 并进入安装目录。

    cd /home/datamover/install
    
  3. 解压安装包。

    tar zxvf datamover-1.0.0-20251217_020508-lite.tar.gz
    # 切换到安装包目录
    cd datamover-1.0.0-20251217_020508-lite
    # 解压管理界面(manager)安装包
    tar zxvf datamover-manager-1.0.0-20251012_041926.tar.gz
    
  4. 修改配置文件参数。

    # 切换到安装管理界面(manager)安装包目录
    cd manager
    
    # 编写配置文件
    vim install.conf
    
    # 根据实际情况配置IP、目录、端口号、用户名、密码等信息
    ###################必填项开始###############
    # 本机IP,eg:192.168.1.1
    LOCAL_IP=192.168.1.1
    
    # DataMover安装目录,eg:/home/datamover
    DATAMOVER_HOME=/home/datamover
    
    # 元数据库配置
    ## 数据库IP,eg:192.168.1.1
    JDBC_HOST=192.168.1.1
    ## 数据库端口,eg:3306
    JDBC_PORT=3306
    ## 数据库名称,eg:datamover
    JDBC_DB_NAME=datamover
    ## 数据库用户名,eg:root
    JDBC_USER=root
    ## 数据库密码,eg:123456
    #建议设置复杂密码
    JDBC_PASSWORD=123456
    ###################必填项结束###############
    
    ###################非必填项开始###############
    # DataMover web服务端口
    SERVER_PORT=8000
    # DataMover web服务上下文
    CONTEXT_PATH=/
    # JVM堆大小
    JVM_OPTS_CUSTOM=-Xms512m -Xmx2048m
    ###################非必填项结束###############
    
  5. 执行一键安装脚本

    # 安装dos2unix
    
    sh install.sh
    
    # 输入如下内容代表安装完毕,查看启动日志确认manager是否正常启动
    dos2unix: converting file /home/install/manager/install.conf to Unix format...
    openjdk version "1.8.0_462"
    OpenJDK Runtime Environment (build 1.8.0_462-8u462-ga~us1-0ubuntu2~22.04.2-b08)
    OpenJDK 64-Bit Server VM (build 25.462-b08, mixed mode)
    
    [09/20/25 21:44:09] : manager-INSTALL : INFO: Copying webapp to /home/datamover/manager
    启动服务:manager ...
    请查看日志文件: tail -300f /root/datamover/manager/logs/manager.log
    

# 安装工作节点(worker)

  1. 进入安装目录。

    cd /home/datamover/install
    
  2. 解压安装包。

    # 包名是实际情况填写
    tar zxvf worker-1.0.0-20251012_041721.tar.gz
    
  3. 修改配置文件参数。

    # 切换到工作节点(worker)安装包目录
    cd worker
    
    # 编写配置文件
    vim install.conf
    
    ###################需按实际情况修改项开始###############
    # 本机IP,eg:192.168.1.1
    LOCAL_IP=192.168.1.1
    # Manager IP,eg:192.168.1.1
    WEB_IP=192.168.1.1
    # DataMover安装目录,eg:/home/datamover
    DATAMOVER_HOME=/home/datamover
    
    # 元数据库配置
    ## 数据库IP,eg:192.168.1.1
    JDBC_HOST=192.168.1.1
    ## 数据库端口,eg:3306
    JDBC_PORT=3306
    ## 数据库名称,eg:datamover
    JDBC_DB_NAME=datamover
    ## 数据库用户名,eg:root
    JDBC_USER=root
    ## 数据库密码,eg:123456
    建议设置复杂密码
    JDBC_PASSWORD=123456
    ###################需按实际情况修改项结束###############
    
    ###################非必要修改项开始###############
    # 执行器服务端口
    SERVER_PORT=8011
    # JVM堆大小,建议根据服务器内存大小尽量多分配。
    # 生产环境配置建议Xms、Xmx设置相同大小,避免动态扩容。
    JVM_OPTS_CUSTOM=-Xms128m -Xmx1024m
    # 节点ID,节点唯一标识,同一集群不可重复。
    NODE_ID=3415533f-3d30-4b35-8fd1-ce342324917b
    ###################非必要修改项结束###############
    
  4. 执行一键安装脚本

    sh install.sh
    
    # 输入如下内容代表安装完毕,查看启动日志确认manager是否正常启动
    dos2unix: converting file /home/install/worker/install.conf to Unix format...
    [09/20/25 22:00:27] : worker-INSTALL : INFO: Copying webapp to /root/datamover/worker
    Starting the worker ...
    Using javaagent: /root/datamover/worker/lib/worker-1.0.0-obfuscated-encrypted.jar
    请查看日志文件:tail -300f /root/datamover/worker/logs/worker.log
    

若需要安装多个工作节点,将工作节点安装包(worker-1.0.0-20251012_041721.tar.gz)拷贝到其他服务器,再执行安装操作,安装时请修改install.conf文件中的NODE_ID,保证编号唯一。

# 验证安装结果

浏览器输入http://{manager ip}:8000

DataMover登录图

默认用户名:datamover

默认密码:datamover@123

# 管理界面参数配置与说明

# 必填项

参数 描述 示例
LOCAL_IP 本机IP地址 192.168.228.146
DATAMOVER_HOME DataMover安装目录 /root/datamover
JDBC_HOST 元数据库IP地址 192.168.228.146
JDBC_PORT 数据库端口 3306
JDBC_DB_NAME 数据库名称 datamover7
JDBC_USER 数据库用户名 root
JDBC_PASSWORD 数据库密码(建议设置复杂密码) 123456

# 非必填项

参数 描述 示例
SERVER_PORT DataMover web服务端口,不要配置已使用的端口 8000
CONTEXT_PATH DataMover web服务上下文路径 /
JVM_OPTS_CUSTOM JVM堆大小配置 -Xms512m -Xmx2048m

# 工作节点参数配置与说明

# 需按实际情况修改项

参数 描述 示例
LOCAL_IP 本机IP地址 192.168.228.146
WEB_IP Manager IP地址 192.168.228.146
DATAMOVER_HOME DataMover安装目录 /root/datamover
JDBC_HOST 元数据库IP地址 192.168.228.146
JDBC_PORT 数据库端口 3306
JDBC_DB_NAME 数据库名称 datamover7
JDBC_USER 数据库用户名 root
JDBC_PASSWORD 数据库密码(建议设置复杂密码) 123456

# 非必要修改项

参数 描述 示例
SERVER_PORT 执行器服务端口,不要配置已使用的端口 8010
JVM_OPTS_CUSTOM JVM堆大小,生产环境Xms、Xmx设置相同大小,避免动态扩容 -Xms2048m -Xmx2048m
NODE_ID 节点唯一标识,同一集群不可重复,启用多个执行器需要修改默认值 3415533f-3d30-4b35-8fd1-ce342324917b
Last Updated: 2025/12/25 17:27:17