Skip to content

Commit

Permalink
Merge branch 'lightningCompress' of https://github.com/lichunzhu/docs-cn
Browse files Browse the repository at this point in the history
 into pr/12083
  • Loading branch information
hfxsd committed Nov 30, 2022
2 parents bc6ee18 + d14e0aa commit 4efc87e
Show file tree
Hide file tree
Showing 3 changed files with 6 additions and 6 deletions.
8 changes: 4 additions & 4 deletions dumpling-overview.md
Original file line number Diff line number Diff line change
Expand Up @@ -102,9 +102,9 @@ dumpling -u root -P 4000 -h 127.0.0.1 --filetype sql -t 8 -o /tmp/test -r 200000

你可以使用 `--compress <format>` 压缩导出的 CSV、SQL 数据与表结构文件。该参数支持 `gzip``snappy``zstd` 压缩算法。默认不压缩。

- 该选项只能压缩每个数据与表结构文件,无法直接压缩整个文件夹生成单个压缩集合包。
- 该选项可以节省磁盘空间,但也会导致导出速度变慢并增加 CPU 消耗。对导出速度要求较高的场景需慎用。
- TiDB Lightning v6.5 及以上版本支持直接使用 Dumpling 压缩文件作为数据源导入,无需额外配置。
- 该选项只能压缩单个数据与表结构文件,无法直接压缩整个文件夹生成单个压缩集合包。
- 该选项可以节省磁盘空间,但也会导致导出速度变慢,并增加 CPU 消耗。对导出速度要求较高的场景需慎用。
- TiDB Lightning v6.5.0 及以上版本支持直接使用 Dumpling 压缩文件作为数据源导入,无需额外配置。

### 输出文件格式

Expand Down Expand Up @@ -354,4 +354,4 @@ SET GLOBAL tidb_gc_life_time = '10m';
| --status-addr | Dumpling 的服务地址,包含了 Prometheus 拉取 metrics 信息及 pprof 调试的地址 | ":8281" |
| --tidb-mem-quota-query | 单条 dumpling 命令导出 SQL 语句的内存限制,单位为 byte。对于 v4.0.10 或以上版本,若不设置该参数,默认使用 TiDB 中的 `mem-quota-query` 配置项值作为内存限制值。对于 v4.0.10 以下版本,该参数值默认为 32 GB | 34359738368 |
| --params | 为需导出的数据库连接指定 session 变量,可接受的格式: "character_set_client=latin1,character_set_connection=latin1" |
| -c 或 --compress | 压缩所有导出的数据文件为指定格式,支持 "gzip", "snappy", "zstd" | "" |
| -c 或 --compress | 压缩 Dumpling 导出的 CSV、SQL 数据与表结构文件为指定格式,支持 "gzip""snappy""zstd" 压缩算法 | "" |
2 changes: 1 addition & 1 deletion tidb-lightning/tidb-lightning-data-source.md
Original file line number Diff line number Diff line change
Expand Up @@ -293,7 +293,7 @@ TiDB Lightning 目前支持由 Dumpling 导出的压缩文件或满足符合上
> - 由于 TiDB Lightning 无法对单个大压缩文件进行并发解压,因此压缩文件的大小会直接影响导入速度。建议压缩数据文件解压后的源文件大小不超过 256 MiB。
> - TiDB Lightning 仅支持导入各自独立压缩的数据文件,不支持导入多个数据文件组成的单个压缩文件集合包。
> - TiDB Lightning 不支持二次压缩的 `parquet` 文件,例如 `db.table.parquet.snappy`。如需压缩 `parquet` 文件,你可以配置 `parquet` 文件数据存储的压缩格式。
> - TiDB v6.4 及之后版本的 TiDB Lightning 不支持带有非 `.bak` 后缀的数据文件并报错。你需要提前修改文件名,或将该类文件移出导入数据目录来避免此类错误。
> - TiDB v6.4.0 及之后版本的 TiDB Lightning 支持后缀为压缩算法 `gzip``snappy``zstd`,以及后缀名 `.bak` 的数据文件。其他后缀名会报错。你需要提前修改文件名,或将该类文件移出导入数据目录来避免此类错误。
## 自定义文件匹配

Expand Down
2 changes: 1 addition & 1 deletion tidb-lightning/troubleshoot-tidb-lightning.md
Original file line number Diff line number Diff line change
Expand Up @@ -213,4 +213,4 @@ header = false
### `invalid compression type ...`
TiDB v6.4 及之后版本的 TiDB Lightning 不支持带有非 `.bak` 后缀的数据文件并报错。你需要提前修改文件名,或将该类文件移出导入数据目录来避免此类错误。更多详情请参考[压缩导出的数据文件](/tidb-lightning/tidb-lightning-data-source.md#压缩文件)。
TiDB v6.4.0 及之后版本的 TiDB Lightning 不支持带有非 `.bak` 后缀的数据文件并报错。你需要提前修改文件名,或将该类文件移出导入数据目录来避免此类错误。更多详情请参考[压缩导出的数据文件](/tidb-lightning/tidb-lightning-data-source.md#压缩文件)。

0 comments on commit 4efc87e

Please sign in to comment.