fed对havenask向量索引的支持

[weizijun]

fed对havenask向量索引的支持

havenask向量索引功能介绍文档：向量索引

目前fed的mapping中无法进行向量字段类型的配置，本issue计划在fed的mapping中添加向量字段，支持配置havenask向量索引。

fed的向量字段类型使用兼容ES的方式，ES向量字段类型使用参见：https://www.elastic.co/guide/en/elasticsearch/reference/current/dense-vector.html

使用示例：

PUT vector_index
{
  "settings": {
    "index.engine": "havenask"
  },
  "mappings": {
    "properties": {
      "vector_field": {
        "type": "dense_vector",
        "dims": 2
      }
    }
  }
}

但是ES只支持hnsw算法，havenask支持更多能力，所以在兼容ES配置字段的情况下，fed扩展了更多字段来支持havenask向量索引的完整能力。

dense_vector支持以下参数：

参数名称	是否必须	字段类型	默认值	参数说明	havenask对应字段
type	是	String		向量索引type设置为dense_vector
dims	是	Integer		向量的维度	dimension
similarity	否	String	l2_norm	向量相似度参数，支持l2_norm（欧式距离）、dot_product（内积）	build_metric_type和search_metric_type
index_options	否	Map		向量索引的自定义参数

index_options参数说明

参数名称	是否必须	字段类型	默认值	参数说明
type	是	String	hnsw	向量索引类型，包括hnsw、linear、hc

linear类型

linear类型没有其他额外的index_options参数

hc类型

hc（分层聚类）类型的index_options参数

参数名称	是否必须	字段类型	默认值	参数说明
proxima.hc.builder.num_in_level_1	否	Integer		目前插件中层次聚类的层次设置为2, num_in_level_1代表第一层的中心点数量。
proxima.hc.builder.num_in_level_2	否	Integer		代表第二层的中心点数量。
proxima.hc.common.leaf_centroid_num	否	Integer		叶子中心点数据, 必须设定为num_in_level_1 和num_in_level_2的乘积值。
proxima.general.builder.train_sample_count	否	Integer		模型训练时的采样绝对数量, 默认不采样。
proxima.general.builder.train_sample_ratio	否	Double		模型训练时的采样比例，默认不采样。在设定了该参数和前一个参数后，会选择较大值，进行采样训练。例如，总的document数量为10000, train_sample_count为200, train_sample_ratio为0.1, 那么最终的采样数量为max(10000 * 0.1, 200), 即200。
proxima.hc.searcher.scan_num_in_level_1	否	Integer	60	遍历第一层中心点的数量，默认为"60", 注意该值必须小于proxima.hc.builder.num_in_level_1
proxima.hc.searcher.scan_num_in_level_2	否	Integer		遍历第二层中心点的数量，必须设定为scan_num_in_level_1 和 proxima.hc.builder.num_in_level_2的乘积值。
proxima.hc.searcher.max_scan_num	否	Integer	50000	在线查找文档截断数, 默认为50000。
use_linear_threshold	否	Integer	0	当文档数据少于该阈值时，使用FLAT方法构建索引，减少内存开销。建议在多类目构建索引的情况下，开启该选项，默认use_linear_threshold为0。
use_dynamic_params	否	Integer		根据数据集的规模，动态设定参数proxima.hc.builder.num_in_level_1、proxima.hc.builder.num_in_level_2、proxima.hc.searcher.scan_num_in_level_1和proxima.hc.searcher.max_scan_num的参数。默认不开启。开启时，设定参数为"1"。 开启时的默认参数为： #文档个数:proxima.hc.builder.num_in_level_1,proxima.hc.builder.num_in_level_2,proxima.hc.searcher.scan_num_in_level_1,proxima.hc.searcher.scan_num_in_level_2 50000:10,100,10,10000; 100000:20,100,20,10000; 150000:30,100,30,10000; 200000:40,100,40,10000; 250000:50,100,50,10000; 300000:60,100,60,20000; 400000:80,100,60,20000; 500000:100,100,60,20000; 1000000:400,100,60,50000; 2000000:1000,100,60,50000;

hnsw类型

hnsw类型的index_options参数

参数名称	是否必须	字段类型	默认值	参数说明
proxima.graph.common.graph_type	否	String		默认为hnsw
proxima.graph.common.max_doc_cnt	否	Integer		索引可存储的最大文档数。
proxima.graph.common.max_scan_num	否	Integer		用于控制构图过程中的近邻考察范围，保证最坏情况的性能。
proxima.general.builder.memory_quota	否	Integer	0	提供的用于构建索引的内存，单位字节。0表示不对内存进行检验，构建索引环境内存由用户自行保证。
proxima.hnsw.builder.efconstruction	否	Integer	400	控制图构建过程中近邻扫描区域大小，该值越大，离线构图质量越好，索引构建越慢，默认值为400。
proxima.hnsw.builder.max_level	否	Integer		hnsw总层数，包含0层图和上层图。该值对效果影响不大，一般建议初始配置6。
proxima.hnsw.builder.scaling_factor	否	Integer	50	下层图是上层图数据的多少倍，指数关系。通常设置10-100之间。scaling_factor越大，实际生成的图层数越低，默认值为50。
proxima.hnsw.searcher.ef	否	Integer	500	用于控制在线检索时考察的子图范围大小。该值越大，召回越高，性能越差，默认值为500，建议取值[100,1000]。
proxima.hnsw.searcher.max_scan_cnt	否	Integer		最大截断数，保证最坏情况的性能。