v1.0.0

版本介绍

镜像地址：registry.cn-hangzhou.aliyuncs.com/havenask/fed:1.0.0

havenask-federation（简称fed）1.0.0版本是fed发布的第一个release版本，包含如下highlight特性：

• 支持fed完整的分布式功能，具备高可用、高可靠、弹性伸缩能力。可以创建多shard、多replica索引
• 支持分布式版havenask引擎
• peer-recovery（从远端节点恢复数据）支持恢复havenask索引
• 支持自定义havenask引擎配置
• 若干功能、性能优化，包括支持自定义分片路由字段，加速索引stats信息查询等

具体见：https://github.com/alibaba/havenask-federation/wiki/v1.0.0-release-notes

更新内容

• peer-recovery优化空目录的size，返回0，在checksum记录文件类型 by @weizijun in #326
• 记录havenask engine写入的完整耗时 by @weizijun in #328
• 重新支持多shard索引 by @weizijun in #330
• partition编号根据索引shard数量和编号计算出来 by @weizijun in #329
• 修复传递_source为false时仍然返回source的问题 by @Huaixinww in #332
• 内部表in0默认创建2个partition，支持searcher创建随机partition数量的表 by @weizijun in #333
• 支持havenask索引使用havenask的路由算法分配shard by @weizijun in #334
• qrs调整为协调节点的部署方面适配 by @Huaixinww in #335
• 异步清理删除索引后runtimedata相关的数据信息，加锁解决反复创建删除索引导致的并发问题 by @Huaixinww in #327
• 修复havenask启动脚本获取partition count异常 by @weizijun in #336
• qrs启动时不load target，交给fed的元数据同步模块来完成 by @weizijun in #337
• get方法，查询count支持根据按partition id查询 by @weizijun in #338
• 修改havenask port的setting名称，以node.attr.开头，可以通过DiscoveryNode在节点间传递 by @weizijun in #341
• search接口在查询到havenask索引时，将请求转发到havenask search模块中 by @weizijun in #340
• qrs由datanode调整为协调节点，元数据同步模块适配 by @Huaixinww in #339
• 使用havenask支持分布式功能的最新镜像，并进行相关适配 by @weizijun in #342
• 修复search接口查询havenask索引时转发到havenask search模块的索引类型判断异常 by @Huaixinww in #344
• 优化shard级别变更时更新qrs的判断逻辑 by @Huaixinww in #349
• search接口对分布式的适配 by @Huaixinww in #348
• 增加merge参数，可以支持merge存量的segment by @weizijun in #350
• 更新havenask支持分布式的镜像到0.3版本 by @weizijun in #351
• Engine层直接查qrs，改成查询fed sql接口 by @weizijun in #352
• cache doc stats，解决shard太多，stats接口的性能问题 by @weizijun in #353
• store stat为-1会报错，修改为0 by @weizijun in #355
• 优化segment文件目录检测，包含version文件的目录无需初始化 by @weizijun in #356
• search接口不传递size、from时，默认值设置为10 by @Huaixinww in #358
• 增加index.havenask.write.queue.size参数，可以自定义设置索引的queue size by @weizijun in #359
• 更新havenask支持分布式的镜像到0.4版本，修复多partition写入异常 by @weizijun in #361
• 修改totalHits值的获取，当from太大导致fetch结果为0时将totalHits置为0 by @Huaixinww in #362
• sleep抛出的异常时，直接抛出方法能处理的异常 by @weizijun in #360
• 修复havenask config配置schema异常问题 by @weizijun in #363
• 修复反复创建删除相同索引时没有正确加锁的问题 by @Huaixinww in #357
• 支持searcher启动时不加载target，由fed加载 by @weizijun in #365
• 支持调用searcher的queryTable接口查询shard内的主键数据 by @weizijun in #367
• havenask action接口名称的优化，更好适配security特性 by @weizijun in #368
• 在写入retry时，记录retry的原因 by @weizijun in #373
• 优化locator的logger，logger.trace打印updateHeartbeatTarget请求的耗时 by @Huaixinww in #372
• deleteShardDirectoryUnderLock方法增加判断是否是havenask索引 by @Huaixinww in #374
• qrs target的随机version改为每次增大随机值 by @weizijun in #377
• searcher的client从节点级别调整为shard级别 by @weizijun in #376
• 解决security权限问题导致的get count结果不对问题 by @weizijun in #375
• 支持index routing功能，可以根据source中字段进行数据分片 by @weizijun in #378
• 增加index.havenask.hash.field参数，支持配置havenask的hash field by @weizijun in #379
• 修复索引名中含有中划线时，sql会报错的问题 by @Huaixinww in #382
• Update README.md，修改fed镜像版本 by @weizijun in #383
• searcher arpc接口retry时记录最终的返回结果 by @weizijun in #384
• docsStatsCache优化，在获取doc count异常时，可以使用之前的doc count by @weizijun in #386
• version.publish文件一直在增加，在refresh时定期清理version.public文件 by @weizijun in #387
• schema的一些默认参数优化 by @weizijun in #390
• get count查询的sql，支持中划线 by @weizijun in #391
• 更新向量索引适配v2参数的unit test by @Huaixinww in #392
• 优化删除索引时，checkShardIsDeletedInSearcher的逻辑 by @Huaixinww in #393
• searcher中添加table group信息，并使用havenask最新镜像 by @weizijun in #394
• 修复testCleanVersionPublishFiles偶尔失败的case by @weizijun in #396
• 修复havenask配置partCount不准的问题 by @weizijun in #397
• 优化MetaDataSyncer.getIndexNames方法 by @Huaixinww in #399
• 增加单节点havenask索引shard数量的限制 by @Huaixinww in #400
• 修复字段名中含有中划线时，sql会报错的问题 by @Huaixinww in #401
• havenask镜像更新为table_group2版本 by @weizijun in #403
• 修复search接口查询不到Object对象的子fieldname的问题 by @Huaixinww in #405
• 修复ingest转发的节点列表不更新问题 by @weizijun in #406
• 查询doc count时如果返回空行，则返回docCount为0 by @weizijun in #407
• 修改main接口，适配esrally压测 by @weizijun in #408
• 适配分布式相关的javaRestTest by @Huaixinww in #409
• 增加分片路由相关的javaRestTest by @Huaixinww in #410
• 优化search接口对于object对象fieldname的解析 by @Huaixinww in #411
• 适配之前分布式架构在多节点情况下的search接口 by @Huaixinww in #413
• 优化term、match查询对object对象fieldname的解析 by @Huaixinww in #415
• 支持table group配置unpublish_part_ids by @weizijun in #414
• 优化doc stats的缓存机制 by @weizijun in #416
• MetaDataSyncerTests增加对table group配置unpublish_part_ids的测试 by @Huaixinww in #417
• 完善SearchIT相关内容 by @Huaixinww in #418
• havenask表参数优化 by @weizijun in #419
• 使用havenask for fed的public的镜像 by @weizijun in #420
• Update README.md, 使用1.0.0.beta1镜像 by @weizijun in #422
• 由于文件可能被havenask修改，增加重试来防止文件异常 by @weizijun in #424
• javaRestTest适配havenask表参数优化 by @Huaixinww in #425
• 更新havenask镜像，解决target更新慢问题，以及修复反复打印thread pool [SuezDp] is full问题 by @weizijun in #426
• 修复解析entry_table可能存在的bad case by @Huaixinww in #427
• 去掉keep_version_hour参数，解决压测时version文件过多问题 by @weizijun in #428
• 优化recovery流程，去掉directory的listall，防止其他地方调用性能差 by @weizijun in #429
• match query默认使用or作为term逻辑运算符 by @weizijun in #430
• 访问havenask http接口超时时间由默认的10s改为120s by @weizijun in #432
• fed分布式适配kill havenask searcher的rest接口 by @Huaixinww in #431
• Update README.md，更新群二维码图片大小 by @weizijun in #433
• 增加创建havenask索引时支持配置havenask参数的REST接口 by @Huaixinww in #434
• 支持esrally pmc、http_logs查询集相关的query dsl转成havenask sql by @weizijun in #435
• _havenask/create接口增加对cluster.json的校验和默认值的设置 by @Huaixinww in #436
• 修复MetaDataSyncer获取Partition的incVersion时可能存在的npe问题 by @Huaixinww in #441
• 支持用户传入自定义的schema.json代替mappings by @Huaixinww in #442
• 创建索引时，如果_source设置了enabled为false，则fetch阶段不查询_source by @Huaixinww in #443
• 优化term查询的sql语句 by @Huaixinww in #444
• 访问qrs的同步调用从transport_worker线程改为search线程 by @Huaixinww in #445
• 增加对schema.json, data_table.json的校验与默认值配置 by @Huaixinww in #446
• 减少保存的version数量，并用version_hour控制只保存一个小时 by @weizijun in #448
• 获取索引shard的size，从du命令获取整个目录的容量改为获取当前version对应的所有segment相关文件的size by @weizijun in #447
• 升级havenask镜像版本到1.1.4 by @weizijun in #449

Full Changelog: v0.5.0...v1.0.0