博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Loader 使用文档
阅读量:6265 次
发布时间:2019-06-22

本文共 715 字,大约阅读时间需要 2 分钟。

作者:申砾

Loader 是什么

Loader是由 PingCAP 开发的数据导入工具,可以用于向 TiDB 中导入数据,也可以用于向 MySQL 中导入数据。本篇文章将详细介绍 Loader 的使用方法。

为什么我们要做这个东西

当数据量比较大的时候,如果用 mysqldump 这样的工具迁移数据会比较慢。我们尝试了 Percona 的 mydumper/myloader 套件,能够多线程导出和导入数据。在使用过程中,mydumper 问题不大,但是 myloader 由于缺乏出错重试、断点续传这样的功能,使用起来很不方便。所以我们开发了 loader,能够读取 mydumper 的输出数据文件,通过 mysql protocol 向 TiDB/MySQL 中导入数据。

Loader 有哪些优点

多线程导入

支持 mydumper 数据格式
出错重试
断点续导
通过 system variable 优化 TiDB 导入数据速度

使用方法

参数说明

1.jpg-47.2kB

配置文件

除了使用命令行参数外,还可以使用配置文件来配置,配置文件的格式如下:

t2.jpg-27.3kB

使用示例

通过命令行参数:

./bin/loader -d ./test -h 127.0.0.1 -u root -P 4000

或者使用配置文件 "config.toml":

./bin/loader -c=config.toml

注意事项

如果使用默认的 checkpoint 文件,在导完一个 database 数据后,请删除 loader.checkpoint 后再开始导入下一个 database。推荐每个数据库导入的时候,明确指定 checkpoint 文件名。

源码地址:

转载地址:http://cfcpa.baihongyu.com/

你可能感兴趣的文章
brew-cask之本地安装应用
查看>>
MapReduce原理及其主要实现平台分析
查看>>
浅谈RSA加密算法
查看>>
一个简单的RMAN自动备份脚本
查看>>
转: 关于流量控制与令牌桶介绍
查看>>
Windows系统小知识
查看>>
变量使用self.foo还是_foo
查看>>
Codeforces Testing Round #12 B. Restaurant 贪心
查看>>
2015第47周五
查看>>
CSS-设置Footer始终在页面底部
查看>>
判断一个字符串同时出现几个字符的C#版本和JS版本
查看>>
asp.net获取客户端浏览器及主机信息
查看>>
jstack和线程dump分析
查看>>
如何使用Win8系统自带杀毒软件
查看>>
(转)No architectures to compile for (ONLY_ACTIVE_ARCH=YES, active arch=arm64, VA 解决办法
查看>>
GCD
查看>>
淘宝UWP--自定义图片缓存
查看>>
Javascript构造函数
查看>>
php--某个字符在字符串中的位置比较
查看>>
一个类有两个方法,其中一个是同步的,另一个是非同步的; 现在又两个线程A和B,请问:当线程A访问此类的同步方法时,线程B是否能访问此类的非同步方法?...
查看>>