Skip to content

Commit

Permalink
add error log of head bucket (#138)
Browse files Browse the repository at this point in the history
  • Loading branch information
vintmd authored Mar 25, 2024
1 parent 9144e0e commit a27efaa
Show file tree
Hide file tree
Showing 2 changed files with 8 additions and 5 deletions.
12 changes: 7 additions & 5 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -45,7 +45,7 @@ done

## 使用方法

### HADOOP配置
### HADOOP配置

修改 $HADOOP_HOME/etc/hadoop/core-site.xml,增加 COS 相关用户和实现类信息,例如:

Expand Down Expand Up @@ -329,13 +329,15 @@ File System Counters
```

### Bucket独立配置
背景: 跨园区访问不同的bucket,每个bucket的配置项不同,为此支持了一次配置,访问多个bucket的需求
核心: 单独设置bucket维度的配置优先走独立配置项,没有设置独立配置项的走原配置,原配置没有设置的走默认配置

背景: 跨园区访问不同的bucket,每个bucket的配置项不同,为此支持了一次配置,访问多个bucket的需求。
核心: 单独设置bucket维度的配置优先走独立配置项,没有设置独立配置项的走原配置,原配置没有设置的走默认配置。
例如: fs.cosn.upload.buffer的subkey(trim fs.cosn. prefix)是 upload.buffer.
如果bucket-appid是 test-123456, 那么bucket的独立配置项就是fs.cosn.bucket.test-123456.upload.buffer
(格式fs.cosn.bucket.{bucket-appid}.{subkey})
使用: hadoop fs -ls cosn://test-123456/
注意:

1) 如果设置了fs.cosn.userinfo.appid则可以通过设置fs.cosn.bucket.{bucket}.{subkey}
使用方式hadoop fs -ls cosn://test/
2) 如果使用了元数据加速桶,想使用hadoop fs -ls cosn//test/方式访问
Expand All @@ -354,10 +356,10 @@ fs.cosn.bucket.test.<other config> *

### 插件配置优先级说明
插件配置优先级:Bucket独立配置项大于元数据加速桶配置项(fs.cosn.trsf.*) 大于默认配置。

插件配置转化顺序: Bucket独立配置项-> 显式配置fs.cosn.trsf.* 相关配置则不进行转换-> 没有显式配置fs.cosn.trsf.* 的则会自动转换,例如如下配置项:

1. fs.cosn.userinfo.appid
2. fs.cosn.bucket.region
3. fs.cosn.userinfo.region
4. fs.cosn.server-side-encryption.algorithm
5. fs.cosn.server-side-encryption.context
5. fs.cosn.server-side-encryption.context
Original file line number Diff line number Diff line change
Expand Up @@ -455,6 +455,7 @@ public HeadBucketResult headBucket(String bucketName) throws IOException {
} catch (Exception e) {
String errMsg = String.format("head bucket [%s] occurs an exception: %s.",
bucketName, e);
LOG.error(errMsg, e);
handleException(new Exception(errMsg), bucketName);
}
return null; // never will get here
Expand Down

0 comments on commit a27efaa

Please sign in to comment.