v1.0.0

[weizijun]

版本介绍

镜像地址：registry.cn-hangzhou.aliyuncs.com/havenask/fed:1.0.0

havenask-federation（简称fed）1.0.0版本是fed发布的第一个release版本，包含如下highlight特性：

• 支持fed完整的分布式功能，具备高可用、高可靠、弹性伸缩能力。可以创建多shard、多replica索引
• 支持分布式版havenask引擎
• peer-recovery（从远端节点恢复数据）支持恢复havenask索引
• 支持自定义havenask引擎配置
• 若干功能、性能优化，包括支持自定义分片路由字段，加速索引stats信息查询等

具体见：https://github.com/alibaba/havenask-federation/wiki/v1.0.0-release-notes

更新内容

• peer-recovery优化空目录的size，返回0，在checksum记录文件类型 by @weizijun in peer-recovery优化空目录的size，返回0，在checksum记录文件类型 #326
• 记录havenask engine写入的完整耗时 by @weizijun in 记录havenask engine写入的完整耗时 #328
• 重新支持多shard索引 by @weizijun in 重新支持多shard索引 #330
• partition编号根据索引shard数量和编号计算出来 by @weizijun in partition编号根据索引shard数量和编号计算出来 #329
• 修复传递_source为false时仍然返回source的问题 by @Huaixinww in 修复传递_source为false时仍然返回source的问题 #332
• 内部表in0默认创建2个partition，支持searcher创建随机partition数量的表 by @weizijun in 内部表in0默认创建2个partition，支持searcher创建随机partition数量的表 #333
• 支持havenask索引使用havenask的路由算法分配shard by @weizijun in 支持havenask索引使用havenask的路由算法分配shard #334
• qrs调整为协调节点的部署方面适配 by @Huaixinww in qrs调整为协调节点的部署方面适配 #335
• 异步清理删除索引后runtimedata相关的数据信息，加锁解决反复创建删除索引导致的并发问题 by @Huaixinww in 异步清理删除索引后runtimedata相关的数据信息，加锁解决反复创建删除索引导致的并发问题 #327
• 修复havenask启动脚本获取partition count异常 by @weizijun in 修复havenask启动脚本获取partition count异常 #336
• qrs启动时不load target，交给fed的元数据同步模块来完成 by @weizijun in qrs启动时不load target，交给fed的元数据同步模块来完成 #337
• get方法，查询count支持根据按partition id查询 by @weizijun in get方法，查询count支持根据按partition id查询 #338
• 修改havenask port的setting名称，以node.attr.开头，可以通过DiscoveryNode在节点间传递 by @weizijun in 修改havenask port的setting名称，以node.attr.开头，可以通过DiscoveryNode在节点间传递 #341
• search接口在查询到havenask索引时，将请求转发到havenask search模块中 by @weizijun in search接口在查询到havenask索引时，将请求转发到havenask search模块中 #340
• qrs由datanode调整为协调节点，元数据同步模块适配 by @Huaixinww in qrs由datanode调整为协调节点，元数据同步模块适配 #339
• 使用havenask支持分布式功能的最新镜像，并进行相关适配 by @weizijun in 使用havenask支持分布式功能的最新镜像，并进行相关适配 #342
• 修复search接口查询havenask索引时转发到havenask search模块的索引类型判断异常 by @Huaixinww in 修复search接口查询havenask索引时转发到havenask search模块的索引类型判断异常 #344
• 优化shard级别变更时更新qrs的判断逻辑 by @Huaixinww in 优化shard级别变更时更新qrs的判断逻辑 #349
• search接口对分布式的适配 by @Huaixinww in search接口对分布式的适配 #348
• 增加merge参数，可以支持merge存量的segment by @weizijun in 增加merge参数，可以支持merge存量的segment #350
• 更新havenask支持分布式的镜像到0.3版本 by @weizijun in 更新havenask支持分布式的镜像到0.3版本 #351
• Engine层直接查qrs，改成查询fed sql接口 by @weizijun in Engine层直接查qrs，改成查询fed sql接口 #352
• cache doc stats，解决shard太多，stats接口的性能问题 by @weizijun in cache doc stats，解决shard太多，stats接口的性能问题 #353
• store stat为-1会报错，修改为0 by @weizijun in store stat为-1会报错，修改为0 #355
• 优化segment文件目录检测，包含version文件的目录无需初始化 by @weizijun in 优化segment文件目录检测，包含version文件的目录无需初始化 #356
• search接口不传递size、from时，默认值设置为10 by @Huaixinww in search接口不传递size、from时，默认值设置为10 #358
• 增加index.havenask.write.queue.size参数，可以自定义设置索引的queue size by @weizijun in 增加index.havenask.write.queue.size参数，可以自定义设置索引的queue size #359
• 更新havenask支持分布式的镜像到0.4版本，修复多partition写入异常 by @weizijun in 更新havenask支持分布式的镜像到0.4版本，修复多partition写入异常 #361
• 修改totalHits值的获取，当from太大导致fetch结果为0时将totalHits置为0 by @Huaixinww in 修改totalHits值的获取，当from太大导致fetch结果为0时将totalHits置为0 #362
• sleep抛出的异常时，直接抛出方法能处理的异常 by @weizijun in sleep抛出的异常时，直接抛出方法能处理的异常 #360
• 修复havenask config配置schema异常问题 by @weizijun in 修复havenask config配置schema异常问题 #363
• 修复反复创建删除相同索引时没有正确加锁的问题 by @Huaixinww in 修复反复创建删除相同索引时没有正确加锁的问题 #357
• 支持searcher启动时不加载target，由fed加载 by @weizijun in 支持searcher启动时不加载target，由fed加载 #365
• 支持调用searcher的queryTable接口查询shard内的主键数据 by @weizijun in 支持调用searcher的queryTable接口查询shard内的主键数据 #367
• havenask action接口名称的优化，更好适配security特性 by @weizijun in havenask action接口名称的优化，更好适配security特性 #368
• 在写入retry时，记录retry的原因 by @weizijun in 在写入retry时，记录retry的原因 #373
• 优化locator的logger，logger.trace打印updateHeartbeatTarget请求的耗时 by @Huaixinww in 优化locator的logger，logger.trace打印updateHeartbeatTarget请求的耗时 #372
• deleteShardDirectoryUnderLock方法增加判断是否是havenask索引 by @Huaixinww in deleteShardDirectoryUnderLock方法增加判断是否是havenask索引 #374
• qrs target的随机version改为每次增大随机值 by @weizijun in qrs target的随机version改为每次增大随机值 #377
• searcher的client从节点级别调整为shard级别 by @weizijun in searcher的client从节点级别调整为shard级别 #376
• 解决security权限问题导致的get count结果不对问题 by @weizijun in 解决security权限问题导致的get count结果不对问题 #375
• 支持index routing功能，可以根据source中字段进行数据分片 by @weizijun in 支持index routing功能，可以根据source中字段进行数据分片 #378
• 增加index.havenask.hash.field参数，支持配置havenask的hash field by @weizijun in 增加index.havenask.hash.field参数，支持配置havenask的hash field #379
• 修复索引名中含有中划线时，sql会报错的问题 by @Huaixinww in 修复索引名中含有中划线时，sql会报错的问题 #382
• Update README.md，修改fed镜像版本 by @weizijun in Update README.md，修改fed镜像版本 #383
• searcher arpc接口retry时记录最终的返回结果 by @weizijun in searcher arpc接口retry时记录最终的返回结果 #384
• docsStatsCache优化，在获取doc count异常时，可以使用之前的doc count by @weizijun in docsStatsCache优化，在获取doc count异常时，可以使用之前的doc count #386
• version.publish文件一直在增加，在refresh时定期清理version.public文件 by @weizijun in version.publish文件一直在增加，在refresh时定期清理version.public文件 #387
• schema的一些默认参数优化 by @weizijun in schema的一些默认参数优化 #390
• get count查询的sql，支持中划线 by @weizijun in get count查询的sql，支持中划线 #391
• 更新向量索引适配v2参数的unit test by @Huaixinww in 更新向量索引适配v2参数的unit test #392
• 优化删除索引时，checkShardIsDeletedInSearcher的逻辑 by @Huaixinww in 优化删除索引时，checkShardIsDeletedInSearcher的逻辑 #393
• searcher中添加table group信息，并使用havenask最新镜像 by @weizijun in searcher中添加table group信息，并使用havenask最新镜像 #394
• 修复testCleanVersionPublishFiles偶尔失败的case by @weizijun in 修复testCleanVersionPublishFiles偶尔失败的case #396
• 修复havenask配置partCount不准的问题 by @weizijun in 修复havenask配置partCount不准的问题 #397
• 优化MetaDataSyncer.getIndexNames方法 by @Huaixinww in 优化MetaDataSyncer.getIndexNames方法 #399
• 增加单节点havenask索引shard数量的限制 by @Huaixinww in 增加单节点havenask索引shard数量的限制 #400
• 修复字段名中含有中划线时，sql会报错的问题 by @Huaixinww in 修复字段名中含有中划线时，sql会报错的问题 #401
• havenask镜像更新为table_group2版本 by @weizijun in havenask镜像更新为table_group2版本 #403
• 修复search接口查询不到Object对象的子fieldname的问题 by @Huaixinww in 修复search接口查询不到Object对象的子fieldname的问题 #405
• 修复ingest转发的节点列表不更新问题 by @weizijun in 修复ingest转发的节点列表不更新问题 #406
• 查询doc count时如果返回空行，则返回docCount为0 by @weizijun in 查询doc count时如果返回空行，则返回docCount为0 #407
• 修改main接口，适配esrally压测 by @weizijun in 修改main接口，适配esrally压测 #408
• 适配分布式相关的javaRestTest by @Huaixinww in 适配分布式相关的javaRestTest #409
• 增加分片路由相关的javaRestTest by @Huaixinww in 增加分片路由相关的javaRestTest #410
• 优化search接口对于object对象fieldname的解析 by @Huaixinww in 优化search接口对于object对象fieldname的解析 #411
• 适配之前分布式架构在多节点情况下的search接口 by @Huaixinww in 适配之前分布式架构在多节点情况下的search接口 #413
• 优化term、match查询对object对象fieldname的解析 by @Huaixinww in 优化term、match查询对object对象fieldname的解析 #415
• 支持table group配置unpublish_part_ids by @weizijun in 支持table group配置unpublish_part_ids #414
• 优化doc stats的缓存机制 by @weizijun in 优化doc stats的缓存机制 #416
• MetaDataSyncerTests增加对table group配置unpublish_part_ids的测试 by @Huaixinww in MetaDataSyncerTests增加对table group配置unpublish_part_ids的测试 #417
• 完善SearchIT相关内容 by @Huaixinww in 完善SearchIT相关内容 #418
• havenask表参数优化 by @weizijun in havenask表参数优化 #419
• 使用havenask for fed的public的镜像 by @weizijun in 使用havenask for fed的public的镜像 #420
• Update README.md, 使用1.0.0.beta1镜像 by @weizijun in Update README.md, 使用1.0.0.beta1镜像 #422
• 由于文件可能被havenask修改，增加重试来防止文件异常 by @weizijun in 由于文件可能被havenask修改，增加重试来防止文件异常 #424
• javaRestTest适配havenask表参数优化 by @Huaixinww in javaRestTest适配havenask表参数优化 #425
• 更新havenask镜像，解决target更新慢问题，以及修复反复打印thread pool [SuezDp] is full问题 by @weizijun in 更新havenask镜像，解决target更新慢问题，以及修复反复打印thread pool [SuezDp] is full问题 #426
• 修复解析entry_table可能存在的bad case by @Huaixinww in 修复解析entry_table可能存在的bad case #427
• 去掉keep_version_hour参数，解决压测时version文件过多问题 by @weizijun in 去掉keep_version_hour参数，解决压测时version文件过多问题 #428
• 优化recovery流程，去掉directory的listall，防止其他地方调用性能差 by @weizijun in 优化recovery流程，去掉directory的listall，防止其他地方调用性能差 #429
• match query默认使用or作为term逻辑运算符 by @weizijun in match query默认使用or作为term逻辑运算符 #430
• 访问havenask http接口超时时间由默认的10s改为120s by @weizijun in 访问havenask http接口超时时间由默认的10s改为120s #432
• fed分布式适配kill havenask searcher的rest接口 by @Huaixinww in fed分布式适配kill havenask searcher的rest接口 #431
• Update README.md，更新群二维码图片大小 by @weizijun in Update README.md，更新群二维码图片大小 #433
• 增加创建havenask索引时支持配置havenask参数的REST接口 by @Huaixinww in 增加创建havenask索引时支持配置havenask参数的REST接口 #434
• 支持esrally pmc、http_logs查询集相关的query dsl转成havenask sql by @weizijun in 支持esrally pmc、http_logs查询集相关的query dsl转成havenask sql #435
• _havenask/create接口增加对cluster.json的校验和默认值的设置 by @Huaixinww in _havenask/create接口增加对cluster.json的校验和默认值的设置 #436
• 修复MetaDataSyncer获取Partition的incVersion时可能存在的npe问题 by @Huaixinww in 修复MetaDataSyncer获取Partition的incVersion时可能存在的npe问题 #441
• 支持用户传入自定义的schema.json代替mappings by @Huaixinww in 支持用户传入自定义的schema.json代替mappings #442
• 创建索引时，如果_source设置了enabled为false，则fetch阶段不查询_source by @Huaixinww in 创建索引时，如果_source设置了enabled为false，则fetch阶段不查询_source #443
• 优化term查询的sql语句 by @Huaixinww in 优化term查询的sql语句 #444
• 访问qrs的同步调用从transport_worker线程改为search线程 by @Huaixinww in 访问qrs的同步调用从transport_worker线程改为search线程 #445
• 增加对schema.json, data_table.json的校验与默认值配置 by @Huaixinww in 增加对schema.json, data_table.json的校验与默认值配置 #446
• 减少保存的version数量，并用version_hour控制只保存一个小时 by @weizijun in 减少保存的version数量，并用version_hour控制只保存一个小时 #448
• 获取索引shard的size，从du命令获取整个目录的容量改为获取当前version对应的所有segment相关文件的size by @weizijun in 获取索引shard的size，从du命令获取整个目录的容量改为获取当前version对应的所有segment相关文件的size #447
• 升级havenask镜像版本到1.1.4 by @weizijun in 升级havenask镜像版本到1.1.4 #449

Full Changelog: v0.5.0...v1.0.0

---

This discussion was created from the release v1.0.0.