任务历史支持IP过滤

[Xmandon]

支持通过多个IP搜索任务历史

[neko12583]

方案

接口

查询任务列表：api/job/job_list/

增加参数 inner_ip，为列表类型：

inner_ip = ["127.0.0.1", "::1"]

针对 ip 进行筛选

如果携带 inner_ip 参数

在该接口原查询逻辑结束、分页前，对 node_man_job 表数据中所有 task_id_list 提取为 all_task_id_list，同时构建字典用于后面查询：

{
    "job_id": [task_id_list]
}

判断每个 ip 是 IPv4 还是 IPv6 分开组合成查询 node_man_host 条件

从 node_man_host 查出 IPv4 in inner_ip 、IPv6 in inner_ipv6 的 bk_host_id、bk_cloud_id

根据信息生成 instance_id 查询范围 instance_id_list，两种形式：host|instance|host|{bk_host_id}、host|instance|host|{ip}-{bk_cloud_id}-{constants.DEFAULT_SUPPLIER_ID=0}

从 node_man_subscriptioninstancerecord 中查询 task_id in all_task_id_list、 instance_id in instance_id_list

其他

在联调环境：https://paas-dev.bktencent.com/ 中，node_man_subscriptioninstancerecord 表数据量为：15461906

直接查询 instance_id 字段值模糊搜索包含指定 ip 耗时为：15s

查询时指定 instance_id 字段区间耗时为：0.03s

查询时同时指定 instance_id 字段区间与 task_id 区间耗时为：0.01s

[neko12583]

方案更改

在 node_man_subscriptioninstancerecord 表中根据 instance_id in instance_id_list 以及 create_time > start_time 两个条件进行筛选

理由

在 node_man_subscriptioninstancerecord 表中有 1546w 条数据

大致估算 node_man_job 表每月新增 3w 条数据

分别以 task_id & instance_id 与 create_time & instance_id 两种方式进行查询，对比时间消耗

方式 1：task_id & instance_id

from apps.node_man import models
task_id = models.SubscriptionInstanceRecord.objects.filter(id__lt=120000).values_list("task_id", flat=True)
task_id = list(set(task_id))
print(len(task_id))

import time
def test_time(params):
    print(time.time())
    data = models.SubscriptionInstanceRecord.objects.filter(**params)
    print(time.time())
    print(len(data))
    return data

params = {"task_id__in": task_id, "instance_id": "host|instance|host|10.0.1.59-0-0"}
data = test_time(params)

多组数据平均时间为 0.06s

方式 2：create_time & instance_id

target_date = datetime(2023, 6, 10)
params = {"create_time__gt": target_date, "instance_id": "host|instance|host|10.0.1.59-0-0"}
data = test_time(params)

多组数据平均时间接近 0.001s

[neko12583]

自测截图

1、页面显示 ip 搜索条件

2、查询指定 ip 任务

3、单个 ip 的任务

4、 多个 ip 的任务

5、job 表5000条数据时，且4900都有指定 ip 时，查询shi时间

[neko12583]

问题修复

问题复现

当用户不具备全部业务、查询所有业务的历史任务时，会出现报错：

问题修复