From 8cb07896b157c79d7d27fbb6050452c6bf967dc8 Mon Sep 17 00:00:00 2001 From: cooper-lzy <78672629+cooper-lzy@users.noreply.github.com> Date: Fri, 7 Jan 2022 10:59:03 +0800 Subject: [PATCH 1/2] key-value separation support of RocksDB --- .../1.configurations/4.storage-config.md | 21 +++++++++++++------ 1 file changed, 15 insertions(+), 6 deletions(-) diff --git a/docs-2.0/5.configurations-and-logs/1.configurations/4.storage-config.md b/docs-2.0/5.configurations-and-logs/1.configurations/4.storage-config.md index 9f33a87d814..9f2ac77a5c6 100644 --- a/docs-2.0/5.configurations-and-logs/1.configurations/4.storage-config.md +++ b/docs-2.0/5.configurations-and-logs/1.configurations/4.storage-config.md @@ -40,8 +40,8 @@ Storage 服务提供了两份初始配置文件`nebula-storaged.conf.default`和 | 名称 | 预设值 | 说明 | | :------------- | :------------------------ | :------------------------------------------------ | | `log_dir` | `logs` | 存放 Storage 服务日志的目录，建议和数据保存在不同硬盘。 | -| `minloglevel` | `0` | 最小日志级别，即不会记录低于这个级别的日志。可选值为`0`（INFO）、`1`（WARNING）、`2`（ERROR）、`3`（FATAL）。建议在调试时设置为`0`，生产环境中设置为`1`。如果设置为`4`，Nebula Graph 不会记录任何日志。 | -| `v` | `0` | 日志详细级别，值越大，日志记录越详细。可选值为`0`、`1`、`2`、`3`。 | +| `minloglevel` | `0` | 最小日志级别，即不会记录低于这个级别的日志。可选值：`0`（INFO）、`1`（WARNING）、`2`（ERROR）、`3`（FATAL）。建议在调试时设置为`0`，生产环境中设置为`1`。如果设置为`4`，Nebula Graph 不会记录任何日志。 | +| `v` | `0` | 日志详细级别，值越大，日志记录越详细。可选值：`0`、`1`、`2`、`3`。 | | `logbufsecs` | `0` | 缓冲日志的最大时间，超时后输出到日志文件。`0`表示实时输出。单位：秒。 | |`redirect_stdout`|`true` |是否将标准输出和标准错误重定向到单独的输出文件。 | |`stdout_log_file` |`storaged-stdout.log` | 标准输出日志文件名称。 | @@ -77,19 +77,28 @@ Storage 服务提供了两份初始配置文件`nebula-storaged.conf.default`和 | 名称 | 预设值 | 说明 | | :--------------------------| :-------------- | :------------------------ | |`data_path` | `data/storage` | 数据存储路径，多个路径用英文逗号（,）分隔。一个 RocksDB 实例对应一个路径。 | -|`minimum_reserved_bytes`|`268435456`|每个数据存储路径的剩余空间最小值，低于该值时，可能会导致集群数据写入失败。单位：字节。默认为`1073741824`，即 1GB。| +|`minimum_reserved_bytes`|`268435456`|每个数据存储路径的剩余空间最小值，低于该值时，可能会导致集群数据写入失败。单位：字节。| |`rocksdb_batch_size` | `4096` | 批量操作的缓存大小。单位：字节。 | |`rocksdb_block_cache` | `4` | BlockBasedTable 的默认块缓存大小。单位：兆（MB）。 | |`engine_type` | `rocksdb` | 存储引擎类型。 | -|`rocksdb_compression` | `lz4` | 压缩算法，可选值为`no`、`snappy`、`lz4`、`lz4hc`、`zlib`、`bzip2`和`zstd`。 | +|`rocksdb_compression` | `lz4` | 压缩算法，可选值：`no`、`snappy`、`lz4`、`lz4hc`、`zlib`、`bzip2`、`zstd`。 | |`rocksdb_compression_per_level` | - | 为不同级别设置不同的压缩算法。 | |`enable_rocksdb_statistics` | `false` | 是否启用 RocksDB 的数据统计。 | -|`rocksdb_stats_level` | `kExceptHistogramOrTimers` | RocksDB 的数据统计级别。可选值为`kExceptHistogramOrTimers`（禁用计时器统计，跳过柱状图统计）、`kExceptTimers`（跳过计时器统计）、`kExceptDetailedTimers`（收集除互斥锁和压缩花费时间之外的所有统计数据）、`kExceptTimeForMutex`收集除互斥锁花费时间之外的所有统计数据）和`kAll`（收集所有统计数据）。 | +|`rocksdb_stats_level` | `kExceptHistogramOrTimers` | RocksDB 的数据统计级别。可选值：`kExceptHistogramOrTimers`（禁用计时器统计，跳过柱状图统计）、`kExceptTimers`（跳过计时器统计）、`kExceptDetailedTimers`（收集除互斥锁和压缩花费时间之外的所有统计数据）、`kExceptTimeForMutex`收集除互斥锁花费时间之外的所有统计数据）、`kAll`（收集所有统计数据）。 | |`enable_rocksdb_prefix_filtering` | `true` | 是否启用 prefix bloom filter，启用时可以提升图遍历速度，但是会增加内存消耗。 | |`enable_rocksdb_whole_key_filtering` | `false` | 是否启用 whole key bloom filter。 | -|`rocksdb_filtering_prefix_length` | `12` | 每个 key 的 prefix 长度。可选值为`12`（分片 ID+点 ID）和`16`（分片 ID+点 ID+TagID/Edge typeID）。单位：字节。 | +|`rocksdb_filtering_prefix_length` | `12` | 每个 key 的 prefix 长度。可选值：`12`（分片 ID+点 ID）、`16`（分片 ID+点 ID+TagID/Edge typeID）。单位：字节。 | |`enable_partitioned_index_filter`|- |设置为`true`可以降低 bloom 过滤器占用的内存大小，但是在某些随机寻道（random-seek）的情况下，可能会降低读取性能。| +## Key-Value separation 配置 + +| 名称 | 预设值 | 说明 | +| :------------------| :------------------------| :------------------------------- | +| `rocksdb_enable_kv_separation` | `false` | 是否启用 BlobDB KV 分离存储功能。开启后可以提高查询性能。 | +| `rocksdb_kv_separation_threshold` | `100` | RocksDB KV 分离的阈值，在 flush 或 compaction 期间，大于或等于该阈值的值将被写入blob文件。请根据自身业务的数据分布情况进行设置。单位：字节。 | +| `rocksdb_blob_compression` | `lz4` | BlobDB 的压缩算法，可选值：`no`、`snappy`、`lz4`、`lz4hc`、`zlib`、`bzip2`、`zstd`。 | +| `rocksdb_enable_blob_garbage_collection` | `true` | 在 compaction 过程中是否对 BlobDB 进行垃圾收集。 | + ## misc 配置 !!! caution From 166c67039e3ad781f727c3208ea66ea6b62ed674 Mon Sep 17 00:00:00 2001 From: cooper-lzy <78672629+cooper-lzy@users.noreply.github.com> Date: Fri, 7 Jan 2022 13:42:48 +0800 Subject: [PATCH 2/2] Update 4.storage-config.md --- .../1.configurations/4.storage-config.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs-2.0/5.configurations-and-logs/1.configurations/4.storage-config.md b/docs-2.0/5.configurations-and-logs/1.configurations/4.storage-config.md index 9f2ac77a5c6..65092b71cdf 100644 --- a/docs-2.0/5.configurations-and-logs/1.configurations/4.storage-config.md +++ b/docs-2.0/5.configurations-and-logs/1.configurations/4.storage-config.md @@ -95,7 +95,7 @@ Storage 服务提供了两份初始配置文件`nebula-storaged.conf.default`和 | 名称 | 预设值 | 说明 | | :------------------| :------------------------| :------------------------------- | | `rocksdb_enable_kv_separation` | `false` | 是否启用 BlobDB KV 分离存储功能。开启后可以提高查询性能。 | -| `rocksdb_kv_separation_threshold` | `100` | RocksDB KV 分离的阈值，在 flush 或 compaction 期间，大于或等于该阈值的值将被写入blob文件。请根据自身业务的数据分布情况进行设置。单位：字节。 | +| `rocksdb_kv_separation_threshold` | `100` | RocksDB KV 分离的阈值，在 flush 或 compaction 期间，大于或等于该阈值的值将被写入blob文件。单位：字节。 | | `rocksdb_blob_compression` | `lz4` | BlobDB 的压缩算法，可选值：`no`、`snappy`、`lz4`、`lz4hc`、`zlib`、`bzip2`、`zstd`。 | | `rocksdb_enable_blob_garbage_collection` | `true` | 在 compaction 过程中是否对 BlobDB 进行垃圾收集。 |