diff --git a/queries/dbt_project.yml b/queries/dbt_project.yml index 4ae666c1..252004f7 100644 --- a/queries/dbt_project.yml +++ b/queries/dbt_project.yml @@ -186,10 +186,10 @@ models: rj_smtr: projeto_subsidio_sppo: +materialized: view - +schema: projeto_subsidio_sppo + +schema: SMTR202404004977_reprocessamento_projeto_subsidio_sppo deprecated: +materialized: view - +schema: projeto_subsidio_sppo + +schema: SMTR202404004977_reprocessamento_projeto_subsidio_sppo br_rj_riodejaneiro_sigmob: +materialized: view +schema: br_rj_riodejaneiro_sigmob @@ -207,16 +207,16 @@ models: +schema: br_rj_riodejaneiro_veiculos dashboard_subsidio_sppo: +materialized: view - +schema: dashboard_subsidio_sppo + +schema: SMTR202404004977_reprocessamento_dashboard_subsidio_sppo dashboard_subsidio_sppo_staging: +materialized: view - +schema: dashboard_subsidio_sppo_staging + +schema: SMTR202404004977_reprocessamento_dashboard_subsidio_sppo_staging veiculo: +materialized: view - +schema: veiculo + +schema: SMTR202404004977_reprocessamento_veiculo staging: +materialized: view - +schema: veiculo_staging + +schema: SMTR202404004977_reprocessamento_veiculo_staging br_rj_riodejaneiro_rdo: +materialized: view +schema: br_rj_riodejaneiro_rdo diff --git a/queries/models/dashboard_subsidio_sppo/sumario_dia.sql b/queries/models/dashboard_subsidio_sppo/sumario_dia.sql index 0992db19..a03d3b4e 100644 --- a/queries/models/dashboard_subsidio_sppo/sumario_dia.sql +++ b/queries/models/dashboard_subsidio_sppo/sumario_dia.sql @@ -98,7 +98,8 @@ WITH SELECT * FROM - {{ ref("subsidio_data_versao_efetiva") }} -- `rj-smtr`.`projeto_subsidio_sppo`.`subsidio_data_versao_efetiva` + -- {{ ref("subsidio_data_versao_efetiva") }} + `rj-smtr`.`projeto_subsidio_sppo`.`subsidio_data_versao_efetiva` WHERE data >= "2022-06-01" AND data < DATE( "{{ var("DATA_SUBSIDIO_V2_INICIO") }}" )) AS v diff --git a/queries/models/dashboard_subsidio_sppo/sumario_servico_dia_historico.sql b/queries/models/dashboard_subsidio_sppo/sumario_servico_dia_historico.sql index 886e4132..9b435aa6 100644 --- a/queries/models/dashboard_subsidio_sppo/sumario_servico_dia_historico.sql +++ b/queries/models/dashboard_subsidio_sppo/sumario_servico_dia_historico.sql @@ -17,13 +17,13 @@ WITH {{ ref("viagem_planejada") }} AS v -- `rj-smtr`.`projeto_subsidio_sppo`.`viagem_planejada` AS v LEFT JOIN - {{ ref("subsidio_data_versao_efetiva") }} - -- rj-smtr.projeto_subsidio_sppo.subsidio_data_versao_efetiva + -- {{ ref("subsidio_data_versao_efetiva") }} + `rj-smtr.projeto_subsidio_sppo.subsidio_data_versao_efetiva` USING (data) LEFT JOIN - {{ ref("ordem_servico_gtfs") }} AS o - -- rj-smtr.gtfs.ordem_servico AS o + -- {{ ref("ordem_servico_gtfs") }} AS o + `rj-smtr.gtfs.ordem_servico` AS o USING (feed_start_date, servico, tipo_os) WHERE diff --git a/queries/models/dashboard_subsidio_sppo/viagens_remuneradas.sql b/queries/models/dashboard_subsidio_sppo/viagens_remuneradas.sql index 9d64f5bc..8c8b4c25 100644 --- a/queries/models/dashboard_subsidio_sppo/viagens_remuneradas.sql +++ b/queries/models/dashboard_subsidio_sppo/viagens_remuneradas.sql @@ -8,7 +8,7 @@ }} {%- if execute %} - {% set query = "SELECT DISTINCT COALESCE(feed_start_date, data_versao_trips, data_versao_shapes, data_versao_frequencies) FROM " ~ ref('subsidio_data_versao_efetiva') ~ " WHERE data BETWEEN DATE('" ~ var('start_date') ~ "') AND DATE('" ~ var("end_date") ~ "')"%} + {% set query = "SELECT DISTINCT COALESCE(feed_start_date, data_versao_trips, data_versao_shapes, data_versao_frequencies) FROM rj-smtr.projeto_subsidio_sppo.subsidio_data_versao_efetiva WHERE data BETWEEN DATE('" ~ var('start_date') ~ "') AND DATE('" ~ var("end_date") ~ "')"%} {{- log(query, info=True) -}} {% set feed_start_dates = run_query(query).columns[0].values() %} {{- log(feed_start_dates, info=True) -}} @@ -44,8 +44,8 @@ WITH partidas_volta, tipo_os, FROM - {{ ref("ordem_servico_gtfs") }} - -- rj-smtr.gtfs.ordem_servico + -- {{ ref("ordem_servico_gtfs") }} + `rj-smtr.gtfs.ordem_servico` WHERE feed_start_date IN ('{{ feed_start_dates|join("', '") }}') ), @@ -56,8 +56,8 @@ WITH tipo_os, COALESCE(feed_start_date, data_versao_trips, data_versao_shapes, data_versao_frequencies) AS feed_start_date FROM - {{ ref("subsidio_data_versao_efetiva") }} - -- rj-smtr.projeto_subsidio_sppo.subsidio_data_versao_efetiva (alterar também query no bloco execute) + -- {{ ref("subsidio_data_versao_efetiva") }} + `rj-smtr.projeto_subsidio_sppo.subsidio_data_versao_efetiva` -- (alterar também query no bloco execute) WHERE data BETWEEN DATE("{{ var("start_date") }}") AND DATE( "{{ var("end_date") }}" ) diff --git a/queries/models/projeto_subsidio_sppo/deprecated/subsidio_shapes_geom.sql b/queries/models/projeto_subsidio_sppo/deprecated/subsidio_shapes_geom.sql index 7c5a17be..3013113f 100644 --- a/queries/models/projeto_subsidio_sppo/deprecated/subsidio_shapes_geom.sql +++ b/queries/models/projeto_subsidio_sppo/deprecated/subsidio_shapes_geom.sql @@ -26,10 +26,10 @@ contents as ( DATE(data_versao) AS data_versao FROM {{ var("subsidio_shapes") }} s - {% if is_incremental() %} + WHERE data_versao in (select data_versao_shapes from data_versao) - {% endif %} + ), pts as ( select diff --git a/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql b/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql index 5674df59..cea4021a 100644 --- a/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql +++ b/queries/models/projeto_subsidio_sppo/subsidio_data_versao_efetiva.sql @@ -363,7 +363,8 @@ WITH FROM dates AS d LEFT JOIN - {{ ref('feed_info_gtfs') }} AS i + -- {{ ref('feed_info_gtfs') }} AS i + `rj-smtr.gtfs.feed_info` USING (feed_version) WHERE @@ -387,7 +388,8 @@ SELECT FROM data_versao_efetiva_manual AS d LEFT JOIN - {{ ref('feed_info_gtfs') }} AS i + -- {{ ref('feed_info_gtfs') }} AS i + `rj-smtr.gtfs.feed_info` ON (data BETWEEN i.feed_start_date AND i.feed_end_date OR (data >= i.feed_start_date AND i.feed_end_date IS NULL)) diff --git a/queries/models/projeto_subsidio_sppo/viagem_planejada.sql b/queries/models/projeto_subsidio_sppo/viagem_planejada.sql index d47c52bc..aabba379 100644 --- a/queries/models/projeto_subsidio_sppo/viagem_planejada.sql +++ b/queries/models/projeto_subsidio_sppo/viagem_planejada.sql @@ -277,7 +277,8 @@ SELECT FROM data_versao_efetiva AS d LEFT JOIN - {{ ref("ordem_servico_trips_shapes_gtfs") }} AS o +-- {{ ref("ordem_servico_trips_shapes_gtfs") }} AS o + `rj-smtr.gtfs.ordem_servico_trips_shapes` USING (feed_start_date, feed_version, diff --git a/queries/models/sources.yml b/queries/models/sources.yml index c42edaae..ed1edf61 100644 --- a/queries/models/sources.yml +++ b/queries/models/sources.yml @@ -107,6 +107,7 @@ sources: - name: sppo_licenciamento_solicitacao - name: sppo_licenciamento - name: sppo_licenciamento_stu + # - name: sppo_vistoria_tr_subtt_cmo_recurso_SMTR202404004977 - name: dashboard_subsidio_sppo_staging database: rj-smtr-staging diff --git a/queries/models/veiculo/sppo_veiculo_dia.sql b/queries/models/veiculo/sppo_veiculo_dia.sql index d05e761e..076f65b0 100644 --- a/queries/models/veiculo/sppo_veiculo_dia.sql +++ b/queries/models/veiculo/sppo_veiculo_dia.sql @@ -37,7 +37,8 @@ WITH DISTINCT data, id_veiculo FROM - {{ ref("gps_sppo") }} -- `rj-smtr.br_rj_riodejaneiro_veiculos.gps_sppo` + -- {{ ref("gps_sppo") }} + `rj-smtr.br_rj_riodejaneiro_veiculos.gps_sppo` WHERE data = DATE("{{ var('run_date') }}") ), autuacoes AS ( @@ -60,7 +61,8 @@ WITH id_veiculo, TRUE AS indicador_registro_agente_verao_ar_condicionado FROM - {{ ref("sppo_registro_agente_verao") }} + -- {{ ref("sppo_registro_agente_verao") }} + `rj-smtr.veiculo.sppo_registro_agente_verao` WHERE data = DATE("{{ var('run_date') }}") ), autuacao_ar_condicionado AS ( diff --git a/queries/models/veiculo/staging/aux_sppo_licenciamento_vistoria_atualizada.sql b/queries/models/veiculo/staging/aux_sppo_licenciamento_vistoria_atualizada.sql index 3231d632..9cd97de8 100644 --- a/queries/models/veiculo/staging/aux_sppo_licenciamento_vistoria_atualizada.sql +++ b/queries/models/veiculo/staging/aux_sppo_licenciamento_vistoria_atualizada.sql @@ -37,6 +37,14 @@ FROM ano_ultima_vistoria, FROM {{ ref("sppo_vistoria_tr_subtt_cglf_pendentes_2024_staging") }} + UNION ALL + SELECT + data, + id_veiculo, + placa, + ano_ultima_vistoria, + FROM + {{ ref("sppo_vistoria_tr_subtt_cmo_recurso_SMTR202404004977_staging") }} ) GROUP BY 1, diff --git a/queries/models/veiculo/staging/sppo_vistoria_tr_subtt_cmo_recurso_SMTR202404004977_staging.sql b/queries/models/veiculo/staging/sppo_vistoria_tr_subtt_cmo_recurso_SMTR202404004977_staging.sql new file mode 100644 index 00000000..d844d026 --- /dev/null +++ b/queries/models/veiculo/staging/sppo_vistoria_tr_subtt_cmo_recurso_SMTR202404004977_staging.sql @@ -0,0 +1,9 @@ + +SELECT + SAFE_CAST(data AS DATE) AS data, + SAFE_CAST(id_veiculo AS STRING) AS id_veiculo, + SAFE_CAST(placa AS STRING) AS placa, + SAFE_CAST(empresa AS STRING) AS empresa, + SAFE_CAST(ano_ultima_vistoria AS INT64) AS ano_ultima_vistoria, +FROM + `rj-smtr-dev.veiculo_staging.sppo_vistoria_tr_subtt_cmo_recurso_SMTR202404004977` \ No newline at end of file