Skip to content

Commit

Permalink
[FLINK-23462] [docs-zh] Translate the abfs documentation to chinese
Browse files Browse the repository at this point in the history
  • Loading branch information
LB-Yu committed Aug 15, 2021
1 parent f892879 commit 79c04bc
Show file tree
Hide file tree
Showing 2 changed files with 36 additions and 5 deletions.
39 changes: 35 additions & 4 deletions docs/content.zh/docs/deployment/filesystems/azure.md
Original file line number Diff line number Diff line change
Expand Up @@ -30,15 +30,28 @@ under the License.
[Azure Blob 存储](https://docs.microsoft.com/en-us/azure/storage/) 是一项由 Microsoft 管理的服务,能提供多种应用场景下的云存储。
Azure Blob 存储可与 Flink 一起使用以**读取****写入数据**,以及与[流 State Backend]({{< ref "docs/ops/state/state_backends" >}}) 结合使用。

Flink 支持使用 [wasb://](https://hadoop.apache.org/docs/stable/hadoop-azure/index.html)[abfs://](https://hadoop.apache.org/docs/stable/hadoop-azure/abfs.html) 访问 Azure Blob 存储。

{{< hint info >}} Azure 建议使用 abfs:// 访问 ADLS Gen2 存储帐户,尽管 wasb:// 通过向后兼容也可以工作。
{{< /hint >}}

{{< hint warning >}} abfs:// 只能用于访问 ADLS Gen2 存储帐户。 请访问Azure文档,了解如何识别 ADLS Gen2 存储帐户。
{{< /hint >}}

通过以下格式指定路径,Azure Blob 存储对象可类似于普通文件使用:

```plain
// WASB unencrypted access
wasb://<your-container>@$<your-azure-account>.blob.core.windows.net/<object-path>
// SSL 加密访问
// WASB SSL encrypted access
wasbs://<your-container>@$<your-azure-account>.blob.core.windows.net/<object-path>
// ABFS unecrypted access
abfs://<your-container>@$<your-azure-account>.dfs.core.windows.net/<object-path>
// ABFS SSL encrypted access
abfss://<your-container>@$<your-azure-account>.dfs.core.windows.net/<object-path>
```

参见以下代码了解如何在 Flink 作业中使用 Azure Blob 存储:
Expand All @@ -54,7 +67,7 @@ stream.writeAsText("wasb://<your-container>@$<your-azure-account>.blob.core.wind
env.setStateBackend(new FsStateBackend("wasb://<your-container>@$<your-azure-account>.blob.core.windows.net/<object-path>"));
```

### Shaded Hadoop Azure Blob 存储文件系统
## Shaded Hadoop Azure Blob 存储文件系统

为使用 flink-azure-fs-hadoop,在启动 Flink 之前,将对应的 JAR 文件从 opt 目录复制到 Flink 发行版中的 plugin 目录下的一个文件夹中,例如:

Expand All @@ -65,8 +78,11 @@ cp ./opt/flink-azure-fs-hadoop-{{< version >}}.jar ./plugins/azure-fs-hadoop/

`flink-azure-fs-hadoop` 为使用 *wasb://**wasbs://* (SSL 加密访问) 的 URI 注册了默认的文件系统包装器。

### 凭据配置
Hadoop 的 Azure 文件系统支持通过 Hadoop 配置来配置凭据,如 [Hadoop Azure Blob Storage 文档](https://hadoop.apache.org/docs/current/hadoop-azure/index.html#Configuring_Credentials) 所述。
## 凭据配置

### WASB

Hadoop 的 WASB Azure 文件系统支持通过 Hadoop 配置来配置凭据,如 [Hadoop Azure Blob Storage 文档](https://hadoop.apache.org/docs/current/hadoop-azure/index.html#Configuring_Credentials) 所述。
为方便起见,Flink 将所有的 Flink 配置添加 `fs.azure` 键前缀后转发至文件系统的 Hadoop 配置中。因此,可通过以下方法在 `flink-conf.yaml` 中配置 Azure Blob 存储密钥:

```yaml
Expand All @@ -79,4 +95,19 @@ fs.azure.account.key.<account_name>.blob.core.windows.net: <azure_storage_key>
fs.azure.account.keyprovider.<account_name>.blob.core.windows.net: org.apache.flink.fs.azurefs.EnvironmentVariableKeyProvider
```

### ABFS

Hadoop 的 ABFS Azure 文件系统支持多种配置身份验证的方法。关于如何配置,请访问[Hadoop ABFS文档](https://hadoop.apache.org/docs/stable/hadoop-azure/abfs.html#Authentication)。

{{< hint info >}}
Azure 推荐使用 Azure 托管身份来使用 abfs 访问 ADLS Gen2 存储帐户。关于如何做到这一点的细节超出了本文档的范围,更多细节请参阅 Azure 文档。
{{< /hint >}}

##### 使用存储密钥访问ABFS(不鼓励)
Azure blob 存储密钥可以通过以下方式在 `flink-conf.yaml` 中配置:

```yaml
fs.azure.account.key.<account_name>.dfs.core.windows.net: <azure_storage_key>
```

{{< top >}}
2 changes: 1 addition & 1 deletion docs/content.zh/docs/deployment/filesystems/overview.md
Original file line number Diff line number Diff line change
Expand Up @@ -49,7 +49,7 @@ Apache Flink 支持下列文件系统:

- **[阿里云对象存储]({{< ref "docs/deployment/filesystems/oss" >}})**`flink-oss-fs-hadoop` 支持,并通过 *oss://* URI scheme 使用。该实现基于 [Hadoop Project](https://hadoop.apache.org/),但其是独立的,没有依赖项。

- **[Azure Blob Storage]({{< ref "docs/deployment/filesystems/azure" >}})**`flink-azure-fs-hadoop` 支持,并通过 *wasb(s)://* URI scheme 使用。该实现基于 [Hadoop Project](https://hadoop.apache.org/),但其是独立的,没有依赖项。
- **[Azure Blob Storage]({{< ref "docs/deployment/filesystems/azure" >}})**`flink-azure-fs-hadoop` 支持,并通过 *abfs(s)://**wasb(s)://* URI scheme 使用。该实现基于 [Hadoop Project](https://hadoop.apache.org/),但其是独立的,没有依赖项。

- **[Google Cloud Storage]({{< ref "docs/deployment/filesystems/gcs" >}})**`gcs-connector` 支持,并通过 *gs://* URI scheme 使用。该实现基于 [Hadoop Project](https://hadoop.apache.org/),但其是独立的,没有依赖项。

Expand Down

0 comments on commit 79c04bc

Please sign in to comment.