diff --git a/dbt_project.yml b/dbt_project.yml index 97933eb0..02b848a5 100644 --- a/dbt_project.yml +++ b/dbt_project.yml @@ -1,409 +1,412 @@ ---- -# Name your project! Project names should contain only lowercase characters -# and underscores. A good package name should reflect your organization's -# name or the intended use of these models -name: basedosdados -version: 1.0.0 -config-version: 2 - -# This setting configures which "profile" dbt uses for this project. -profile: default -# Options to disable elementary models -vars: - disable_run_results: false - disable_tests_results: false - disable_dbt_artifacts_autoupload: true - disable_dbt_invocation_autoupload: true -# These configurations specify where dbt should look for different types of files. -# The `source-paths` config, for example, states that models in this project can be -# found in the "models/" directory. You probably won't need to change these! -model-paths: [models] -analysis-paths: [analysis] -test-paths: [tests] -seed-paths: [data] -macro-paths: [macros] -snapshot-paths: [snapshots] -target-path: target # directory which will store compiled SQL files -clean-targets: # directories to be removed by `dbt clean` - - target - - dbt_modules -# Grant acess -# bq data control: https://cloud.google.com/bigquery/docs/reference/standard-sql/data-control-language -# dbt grant statements use https://discourse.getdbt.com/t/the-exact-grant-statements-we-use-in-a-dbt-project/430 -# Configuring models -# Full documentation: https://docs.getdbt.com/docs/configuring-models -# In this example config, we tell dbt to build all models in the example/ directory -# as tables. These settings can be overridden in the individual model files -# using the `{{ config(...) }}` macro. -models: - +post-hook: GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "specialGroup:allUsers" - +persist_docs: - relation: true - columns: true - basedosdados: - # Config indicated by + and applies to all files under models/example/ - br_anatel_banda_larga_fixa: - +materialized: table - +schema: br_anatel_banda_larga_fixa - br_anatel_telefonia_movel: - +materialized: table # Materialization type (table, view or incremental) - +schema: br_anatel_telefonia_movel - br_anp_precos_combustiveis: - +materialized: table - +schema: br_anp_precos_combustiveis - br_ans_beneficiario: - +materialized: incremental - +schema: br_ans_beneficiario - br_b3_cotacoes: - +materialized: table - +schema: br_b3_cotacoes - br_bcb_agencia: - +materialized: table - +schema: br_bcb_agencia - br_bcb_estban: - +materialized: table - +schema: br_bcb_estban - br_bcb_sicor: - +materialized: table - +schema: br_bcb_sicor - br_bcb_taxa_cambio: - +materialized: table - +schema: br_bcb_taxa_cambio - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_bcb_taxa_selic: - +materialized: table - +schema: br_bcb_taxa_selic - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_bd_diretorios_brasil: - +materialized: table - +schema: br_bd_diretorios_brasil - br_bd_diretorios_mundo: - +materialized: table - +schema: br_bd_diretorios_mundo - br_bd_indicadores: - +materialized: table - +schema: br_bd_indicadores - br_bd_metadados: - +materialized: table - +schema: br_bd_metadados - br_bd_siga_o_dinheiro: - +materialized: table - +schema: br_bd_siga_o_dinheiro - br_camara_dados_abertos: - +materialized: table - +schema: br_camara_dados_abertos - br_ce_fortaleza_sefin_iptu: - +materialized: table - +schema: br_ce_fortaleza_sefin_iptu - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_cgu_beneficios_cidadao: - +materialized: table - +schema: br_cgu_beneficios_cidadao - br_cgu_cartao_pagamento: - +materialized: table - +schema: br_cgu_cartao_pagamento - br_cgu_dados_abertos: - +materialized: table - +schema: br_cgu_dados_abertos - br_cgu_emendas_parlamentares: - +materialized: table - +schema: br_cgu_emendas_parlamentares - br_cgu_pessoal_executivo_federal: - +materialized: table - +schema: br_cgu_pessoal_executivo_federal - br_cgu_servidores_executivo_federal: - +materialized: table - +schema: br_cgu_servidores_executivo_federal - br_cnj_improbidade_administrativa: - +materialized: table - +schema: br_cnj_improbidade_administrativa - br_cnpq_bolsas: - +materialized: table - +schema: br_cnpq_bolsas - br_cvm_administradores_carteira: - +materialized: table - +schema: br_cvm_administradores_carteira - br_cvm_fi: - +materialized: table - +schema: br_cvm_fi - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_cvm_oferta_publica_distribuicao: - +materialized: table - +schema: br_cvm_oferta_publica_distribuicao - br_datahackers_state_data: - +materialized: table - +schema: br_datahackers_state_data - br_denatran_frota: - +materialized: table - +schema: br_denatran_frota - br_fbsp_absp: - +materialized: table - +schema: br_fbsp_absp - br_fgv_igp: - +materialized: table - +schema: br_fgv_igp - br_geobr_mapas: - +materialized: table - +schema: br_geobr_mapas - br_ibge_censo_2022: - +materialized: table - +schema: br_ibge_censo_2022 - br_ibge_censo_demografico: - +materialized: table - +schema: br_ibge_censo_demografico - br_ibge_estadic: - +materialized: table - +schema: br_ibge_estadic - br_ibge_inpc: - +materialized: table - +schema: br_ibge_inpc - br_ibge_ipca: - +materialized: table - +schema: br_ibge_ipca - br_ibge_ipca15: - +materialized: table - +schema: br_ibge_ipca15 - br_ibge_pam: - +materialized: table - +schema: br_ibge_pam - br_ibge_pevs: - +materialized: table - +schema: br_ibge_pevs - br_ibge_pib: - +materialized: table - +schema: br_ibge_pib - br_ibge_pnad: - +materialized: table - +schema: br_ibge_pnad - br_ibge_pnad_covid: - +materialized: table - +schema: br_ibge_pnad_covid - br_ibge_pnadc: - +materialized: table - +schema: br_ibge_pnadc - br_ibge_pof: - +materialized: table - +schema: br_ibge_pof - br_ibge_ppm: - +materialized: table - +schema: br_ibge_ppm - br_inep_ana: - +materialized: table - +schema: br_inep_ana - br_inep_censo_educacao_superior: - +materialized: table - +schema: br_inep_censo_educacao_superior - br_inep_censo_escolar: - +materialized: table - +schema: br_inep_censo_escolar - br_inep_educacao_especial: - +materialized: table - +schema: br_inep_educacao_especial - br_inep_enem: - +materialized: table - +schema: br_inep_enem - br_inep_formacao_docente: - +materialized: table - +schema: br_inep_formacao_docente - br_inep_ideb: - +materialized: table - +schema: br_inep_ideb - br_inep_indicador_nivel_socioeconomico: - +materialized: table - +schema: br_inep_indicador_nivel_socioeconomico - br_inep_indicadores_educacionais: - +materialized: table - +schema: br_inep_indicadores_educacionais - br_inep_saeb: - +materialized: table - +schema: br_inep_saeb - br_inep_sinopse_estatistica_educacao_basica: - +materialized: table - +schema: br_inep_sinopse_estatistica_educacao_basica - br_inmet_bdmep: - +materialized: table - +schema: br_inmet_bdmep - br_inpe_prodes: - +materialized: table - +schema: br_inpe_prodes - br_inpe_queimadas: - +materialized: table - +schema: br_inpe_queimadas - br_inpe_sisam: - +materialized: table - +schema: br_inpe_sisam - br_ipea_avs: - +materialized: table - +schema: br_ipea_avs - br_jota: - +materialized: table - +schema: br_jota - br_mdr_snis: - +materialized: table - +schema: br_mdr_snis - br_me_caged: - +materialized: table - +schema: br_me_caged - br_me_cno: - +materialized: table - +schema: br_me_cno - br_me_cnpj: - +materialized: table - +schema: br_me_cnpj - br_me_comex_stat: - +materialized: table - +schema: br_me_comex_stat - br_me_rais: - +materialized: table - +schema: br_me_rais - br_me_sic: - +materialized: table - +schema: br_me_sic - br_me_siconfi: - +materialized: table - +schema: br_me_siconfi - br_mec_prouni: - +materialized: table - +schema: br_mec_prouni - br_mec_sisu: - +materialized: table - +schema: br_mec_sisu - br_mercadolivre_ofertas: - +materialized: table - +schema: br_mercadolivre_ofertas - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_mg_belohorizonte_smfa_iptu: - +materialized: table - +schema: br_mg_belohorizonte_smfa_iptu - br_mme_consumo_energia_eletrica: - +materialized: table - +schema: br_mme_consumo_energia_eletrica - br_mp_pep: - +materialized: table - +schema: br_mp_pep - br_ms_cnes: - +materialized: table - +schema: br_ms_cnes - br_ms_pns: - +materialized: table - +schema: br_ms_pns - br_ms_sia: - +materialized: table - +schema: br_ms_sia - br_ms_sih: - +materialized: table - +schema: br_ms_sih - br_ms_sim: - +materialized: table - +schema: br_ms_sim - br_ms_sinan: - +materialized: table - +schema: br_ms_sinan - br_ms_sinasc: - +materialized: table - +schema: br_ms_sinasc - br_ms_sisvan: - +materialized: table - +schema: br_ms_sisvan - br_ms_vacinacao_covid19: - +materialized: table - +schema: br_ms_vacinacao_covid19 - br_ons_avaliacao_operacao: - +materialized: table - +schema: br_ons_avaliacao_operacao - br_ons_estimativa_custos: - +materialized: table - +schema: br_ons_estimativa_custos - br_poder360_pesquisas: - +materialized: table - +schema: br_poder360_pesquisas - br_rf_arrecadacao: - +materialized: table - +schema: br_rf_arrecadacao - br_rf_cafir: - +materialized: table - +schema: br_rf_cafir - br_rf_cno: - +materialized: table - +schema: br_rf_cno - br_rj_isp_estatisticas_seguranca: - +materialized: table - +schema: br_rj_isp_estatisticas_seguranca - br_sfb_sicar: - +materialized: table - +schema: br_sfb_sicar - br_sp_saopaulo_dieese_icv: - +materialized: table - +schema: br_sp_saopaulo_dieese_icv - br_sp_saopaulo_geosampa_iptu: - +materialized: table - +schema: br_sp_saopaulo_geosampa_iptu - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_stf_corte_aberta: - +materialized: table - +schema: br_stf_corte_aberta - br_trase_supply_chain: - +materialized: table - +schema: br_trase_supply_chain - br_tse_eleicoes: - +materialized: table - +schema: br_tse_eleicoes - br_tse_eleicoes_2022: - +materialized: table - +schema: br_tse_eleicoes_2022 - br_tse_filiacao_partidaria: - +materialized: table - +schema: br_tse_filiacao_partidaria - example: - +materialized: table # Materialization type (table, table or incremental) - +schema: example # Overrides the default schema (defaults to what is set on profiles.yml) - fundacao_lemann: - +materialized: table - +schema: fundacao_lemann - mundo_bm_wdi: - +materialized: table - +schema: mundo_bm_wdi - mundo_transfermarkt_competicoes: - +materialized: table - +schema: mundo_transfermarkt_competicoes - mundo_transfermarkt_competicoes_internacionais: - +materialized: table - +schema: mundo_transfermarkt_competicoes_internacionais - test_dataset: - +materialized: table - +schema: test_dataset - world_ampas_oscar: - +materialized: table - +schema: world_ampas_oscar - world_iea_pirls: - +materialized: table - +schema: world_iea_pirls - world_oceanos_mapeamento: - +materialized: table - +schema: world_oceanos_mapeamento - world_oecd_public_finance: - +materialized: table - +schema: world_oecd_public_finance - world_olympedia_olympics: - +materialized: table - +schema: world_olympedia_olympics - world_wb_mides: - +materialized: table - +schema: world_wb_mides - world_wwf_hydrosheds: - +materialized: table - +schema: world_wwf_hydrosheds - elementary: - +schema: elementary +--- +# Name your project! Project names should contain only lowercase characters +# and underscores. A good package name should reflect your organization's +# name or the intended use of these models +name: basedosdados +version: 1.0.0 +config-version: 2 + +# This setting configures which "profile" dbt uses for this project. +profile: default +# Options to disable elementary models +vars: + disable_run_results: false + disable_tests_results: false + disable_dbt_artifacts_autoupload: true + disable_dbt_invocation_autoupload: true +# These configurations specify where dbt should look for different types of files. +# The `source-paths` config, for example, states that models in this project can be +# found in the "models/" directory. You probably won't need to change these! +model-paths: [models] +analysis-paths: [analysis] +test-paths: [tests] +seed-paths: [data] +macro-paths: [macros] +snapshot-paths: [snapshots] +target-path: target # directory which will store compiled SQL files +clean-targets: # directories to be removed by `dbt clean` + - target + - dbt_modules +# Grant acess +# bq data control: https://cloud.google.com/bigquery/docs/reference/standard-sql/data-control-language +# dbt grant statements use https://discourse.getdbt.com/t/the-exact-grant-statements-we-use-in-a-dbt-project/430 +# Configuring models +# Full documentation: https://docs.getdbt.com/docs/configuring-models +# In this example config, we tell dbt to build all models in the example/ directory +# as tables. These settings can be overridden in the individual model files +# using the `{{ config(...) }}` macro. +models: + +post-hook: GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "specialGroup:allUsers" + +persist_docs: + relation: true + columns: true + basedosdados: + # Config indicated by + and applies to all files under models/example/ + br_anatel_banda_larga_fixa: + +materialized: table + +schema: br_anatel_banda_larga_fixa + br_anatel_telefonia_movel: + +materialized: table # Materialization type (table, view or incremental) + +schema: br_anatel_telefonia_movel + br_anp_precos_combustiveis: + +materialized: table + +schema: br_anp_precos_combustiveis + br_ans_beneficiario: + +materialized: incremental + +schema: br_ans_beneficiario + br_b3_cotacoes: + +materialized: table + +schema: br_b3_cotacoes + br_bcb_agencia: + +materialized: table + +schema: br_bcb_agencia + br_bcb_estban: + +materialized: table + +schema: br_bcb_estban + br_bcb_sicor: + +materialized: table + +schema: br_bcb_sicor + br_bcb_taxa_cambio: + +materialized: table + +schema: br_bcb_taxa_cambio + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_bcb_taxa_selic: + +materialized: table + +schema: br_bcb_taxa_selic + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_bd_diretorios_brasil: + +materialized: table + +schema: br_bd_diretorios_brasil + br_bd_diretorios_mundo: + +materialized: table + +schema: br_bd_diretorios_mundo + br_bd_indicadores: + +materialized: table + +schema: br_bd_indicadores + br_bd_metadados: + +materialized: table + +schema: br_bd_metadados + br_bd_siga_o_dinheiro: + +materialized: table + +schema: br_bd_siga_o_dinheiro + br_camara_dados_abertos: + +materialized: table + +schema: br_camara_dados_abertos + br_ce_fortaleza_sefin_iptu: + +materialized: table + +schema: br_ce_fortaleza_sefin_iptu + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_cgu_beneficios_cidadao: + +materialized: table + +schema: br_cgu_beneficios_cidadao + br_cgu_cartao_pagamento: + +materialized: table + +schema: br_cgu_cartao_pagamento + br_cgu_dados_abertos: + +materialized: table + +schema: br_cgu_dados_abertos + br_cgu_emendas_parlamentares: + +materialized: table + +schema: br_cgu_emendas_parlamentares + br_cgu_pessoal_executivo_federal: + +materialized: table + +schema: br_cgu_pessoal_executivo_federal + br_cgu_servidores_executivo_federal: + +materialized: table + +schema: br_cgu_servidores_executivo_federal + br_cnj_improbidade_administrativa: + +materialized: table + +schema: br_cnj_improbidade_administrativa + br_cnpq_bolsas: + +materialized: table + +schema: br_cnpq_bolsas + br_cvm_administradores_carteira: + +materialized: table + +schema: br_cvm_administradores_carteira + br_cvm_fi: + +materialized: table + +schema: br_cvm_fi + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_cvm_oferta_publica_distribuicao: + +materialized: table + +schema: br_cvm_oferta_publica_distribuicao + br_datahackers_state_data: + +materialized: table + +schema: br_datahackers_state_data + br_denatran_frota: + +materialized: table + +schema: br_denatran_frota + br_fbsp_absp: + +materialized: table + +schema: br_fbsp_absp + br_fgv_igp: + +materialized: table + +schema: br_fgv_igp + br_geobr_mapas: + +materialized: table + +schema: br_geobr_mapas + br_ibge_censo_2022: + +materialized: table + +schema: br_ibge_censo_2022 + br_ibge_censo_demografico: + +materialized: table + +schema: br_ibge_censo_demografico + br_ibge_estadic: + +materialized: table + +schema: br_ibge_estadic + br_ibge_inpc: + +materialized: table + +schema: br_ibge_inpc + br_ibge_ipca: + +materialized: table + +schema: br_ibge_ipca + br_ibge_ipca15: + +materialized: table + +schema: br_ibge_ipca15 + br_ibge_pam: + +materialized: table + +schema: br_ibge_pam + br_ibge_pevs: + +materialized: table + +schema: br_ibge_pevs + br_ibge_pib: + +materialized: table + +schema: br_ibge_pib + br_ibge_pnad: + +materialized: table + +schema: br_ibge_pnad + br_ibge_pnad_covid: + +materialized: table + +schema: br_ibge_pnad_covid + br_ibge_pnadc: + +materialized: table + +schema: br_ibge_pnadc + br_ibge_pof: + +materialized: table + +schema: br_ibge_pof + br_ibge_ppm: + +materialized: table + +schema: br_ibge_ppm + br_inep_ana: + +materialized: table + +schema: br_inep_ana + br_inep_censo_educacao_superior: + +materialized: table + +schema: br_inep_censo_educacao_superior + br_inep_censo_escolar: + +materialized: table + +schema: br_inep_censo_escolar + br_inep_educacao_especial: + +materialized: table + +schema: br_inep_educacao_especial + br_inep_enem: + +materialized: table + +schema: br_inep_enem + br_inep_formacao_docente: + +materialized: table + +schema: br_inep_formacao_docente + br_inep_ideb: + +materialized: table + +schema: br_inep_ideb + br_inep_indicador_nivel_socioeconomico: + +materialized: table + +schema: br_inep_indicador_nivel_socioeconomico + br_inep_indicadores_educacionais: + +materialized: table + +schema: br_inep_indicadores_educacionais + br_inep_saeb: + +materialized: table + +schema: br_inep_saeb + br_inep_sinopse_estatistica_educacao_basica: + +materialized: table + +schema: br_inep_sinopse_estatistica_educacao_basica + br_inmet_bdmep: + +materialized: table + +schema: br_inmet_bdmep + br_inpe_prodes: + +materialized: table + +schema: br_inpe_prodes + br_inpe_queimadas: + +materialized: table + +schema: br_inpe_queimadas + br_inpe_sisam: + +materialized: table + +schema: br_inpe_sisam + br_ipea_avs: + +materialized: table + +schema: br_ipea_avs + br_jota: + +materialized: table + +schema: br_jota + br_mdr_snis: + +materialized: table + +schema: br_mdr_snis + br_me_caged: + +materialized: table + +schema: br_me_caged + br_me_cno: + +materialized: table + +schema: br_me_cno + br_me_cnpj: + +materialized: table + +schema: br_me_cnpj + br_me_comex_stat: + +materialized: table + +schema: br_me_comex_stat + br_me_rais: + +materialized: table + +schema: br_me_rais + br_me_sic: + +materialized: table + +schema: br_me_sic + br_me_siconfi: + +materialized: table + +schema: br_me_siconfi + br_mec_prouni: + +materialized: table + +schema: br_mec_prouni + br_mec_sisu: + +materialized: table + +schema: br_mec_sisu + br_mercadolivre_ofertas: + +materialized: table + +schema: br_mercadolivre_ofertas + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_mg_belohorizonte_smfa_iptu: + +materialized: table + +schema: br_mg_belohorizonte_smfa_iptu + br_mme_consumo_energia_eletrica: + +materialized: table + +schema: br_mme_consumo_energia_eletrica + br_mp_pep: + +materialized: table + +schema: br_mp_pep + br_ms_cnes: + +materialized: table + +schema: br_ms_cnes + br_ms_pns: + +materialized: table + +schema: br_ms_pns + br_ms_sia: + +materialized: table + +schema: br_ms_sia + br_ms_sih: + +materialized: table + +schema: br_ms_sih + br_ms_sim: + +materialized: table + +schema: br_ms_sim + br_ms_sinan: + +materialized: table + +schema: br_ms_sinan + br_ms_sinasc: + +materialized: table + +schema: br_ms_sinasc + br_ms_sisvan: + +materialized: table + +schema: br_ms_sisvan + br_ms_vacinacao_covid19: + +materialized: table + +schema: br_ms_vacinacao_covid19 + br_ons_avaliacao_operacao: + +materialized: table + +schema: br_ons_avaliacao_operacao + br_ons_estimativa_custos: + +materialized: table + +schema: br_ons_estimativa_custos + br_poder360_pesquisas: + +materialized: table + +schema: br_poder360_pesquisas + br_rf_arrecadacao: + +materialized: table + +schema: br_rf_arrecadacao + br_rf_cafir: + +materialized: table + +schema: br_rf_cafir + br_rf_cno: + +materialized: table + +schema: br_rf_cno + br_rj_isp_estatisticas_seguranca: + +materialized: table + +schema: br_rj_isp_estatisticas_seguranca + br_sfb_sicar: + +materialized: table + +schema: br_sfb_sicar + br_simet_educacao_conectada: + +materialized: table + +schema: br_simet_educacao_conectada + br_sp_saopaulo_dieese_icv: + +materialized: table + +schema: br_sp_saopaulo_dieese_icv + br_sp_saopaulo_geosampa_iptu: + +materialized: table + +schema: br_sp_saopaulo_geosampa_iptu + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_stf_corte_aberta: + +materialized: table + +schema: br_stf_corte_aberta + br_trase_supply_chain: + +materialized: table + +schema: br_trase_supply_chain + br_tse_eleicoes: + +materialized: table + +schema: br_tse_eleicoes + br_tse_eleicoes_2022: + +materialized: table + +schema: br_tse_eleicoes_2022 + br_tse_filiacao_partidaria: + +materialized: table + +schema: br_tse_filiacao_partidaria + example: + +materialized: table # Materialization type (table, table or incremental) + +schema: example # Overrides the default schema (defaults to what is set on profiles.yml) + fundacao_lemann: + +materialized: table + +schema: fundacao_lemann + mundo_bm_wdi: + +materialized: table + +schema: mundo_bm_wdi + mundo_transfermarkt_competicoes: + +materialized: table + +schema: mundo_transfermarkt_competicoes + mundo_transfermarkt_competicoes_internacionais: + +materialized: table + +schema: mundo_transfermarkt_competicoes_internacionais + test_dataset: + +materialized: table + +schema: test_dataset + world_ampas_oscar: + +materialized: table + +schema: world_ampas_oscar + world_iea_pirls: + +materialized: table + +schema: world_iea_pirls + world_oceanos_mapeamento: + +materialized: table + +schema: world_oceanos_mapeamento + world_oecd_public_finance: + +materialized: table + +schema: world_oecd_public_finance + world_olympedia_olympics: + +materialized: table + +schema: world_olympedia_olympics + world_wb_mides: + +materialized: table + +schema: world_wb_mides + world_wwf_hydrosheds: + +materialized: table + +schema: world_wwf_hydrosheds + elementary: + +schema: elementary diff --git a/models/br_simet_educacao_conectada/br_simet_educacao_conectada__escola.sql b/models/br_simet_educacao_conectada/br_simet_educacao_conectada__escola.sql new file mode 100644 index 00000000..b68103ef --- /dev/null +++ b/models/br_simet_educacao_conectada/br_simet_educacao_conectada__escola.sql @@ -0,0 +1,69 @@ +{{ + config( + alias="escola", + schema="br_simet_educacao_conectada", + materialized="table", + ) +}} + +select + safe_cast(ano_censo as int64) ano_censo, + safe_cast(sigla_uf as string) sigla_uf, + safe_cast(id_municipio as string) id_municipio, + safe_cast(id_escola as string) id_escola, + safe_cast(id_setor as string) id_setor, + safe_cast(rede as string) rede, + safe_cast(localizacao as string) localizacao, + safe_cast(porte_escola as string) porte_escola, + safe_cast(tipo_rede_local as string) tipo_rede_local, + safe_cast(tipo_energia as string) tipo_energia, + safe_cast(tipo_tecnologia as string) tipo_tecnologia, + safe_cast(tipo_recurso_recebido as string) tipo_recurso_recebido, + safe_cast(faixa_velocidade as string) faixa_velocidade, + safe_cast(nome_empresa_provedora_1 as string) nome_empresa_provedora_1, + safe_cast(nome_empresa_provedora_2 as string) nome_empresa_provedora_2, + safe_cast(nome_simet_asn as string) nome_simet_asn, + safe_cast( + indicador_laboratorio_informatica as bool + ) indicador_laboratorio_informatica, + safe_cast(indicador_internet as bool) indicador_internet, + safe_cast(indicador_internet_alunos as bool) indicador_internet_alunos, + safe_cast(indicador_internet_aprendizagem as bool) indicador_internet_aprendizagem, + safe_cast(indicador_satelite_mec as bool) indicador_satelite_mec, + safe_cast(razao_desktop_aluno as float64) razao_desktop_aluno, + safe_cast(razao_comp_portatil_aluno as float64) razao_comp_portatil_aluno, + safe_cast(razao_tablet_aluno as float64) razao_tablet_aluno, + safe_cast(quantidade_matricula as int64) quantidade_matricula, + safe_cast( + quantidade_matricula_maior_turno as int64 + ) quantidade_matricula_maior_turno, + safe_cast(quantidade_turma as int64) quantidade_turma, + safe_cast(quantidade_medicao as int64) quantidade_medicao, + safe_cast(quantidade_medicoes_entorno as int64) quantidade_medicoes_entorno, + safe_cast(quantidade_ipv6 as int64) quantidade_ipv6, + safe_cast(quantidade_asn as int64) quantidade_asn, + safe_cast(media_tcp_download_mbps as float64) media_tcp_download_mbps, + safe_cast(media_tcp_upload_mbps as float64) media_tcp_upload_mbps, + safe_cast(media_latencia_ms as float64) media_latencia_ms, + safe_cast(media_perda_pacote as float64) media_perda_pacote, + safe_cast(media_jitter_download_ms as float64) media_jitter_download_ms, + safe_cast(media_jitter_upload_ms as float64) media_jitter_upload_ms, + safe_cast(media_download_entorno as float64) media_download_entorno, + safe_cast(media_upload_entorno as float64) media_upload_entorno, + safe_cast(media_latencia_entorno as float64) media_latencia_entorno, + safe_cast(media_pacotes_entorno as float64) media_pacotes_entorno, + safe_cast(media_jitter_upload_entorno as float64) media_jitter_upload_entorno, + safe_cast(media_jitter_download_entorno as float64) media_jitter_download_entorno, + safe_cast(comparador_empresas as string) comparador_empresas, + safe_cast(comparativo_download_entorno as string) comparativo_download_entorno, + safe_cast(comparativo_upload_entorno as string) comparativo_upload_entorno, + safe_cast(comparativo_latencia_entorno as string) comparativo_latencia_entorno, + safe_cast( + velocidade_download_necessaria_mbit as float64 + ) velocidade_download_necessaria_mbit, + safe_cast(razao_download_por_aluno_kbps as float64) razao_download_por_aluno_kbps, + safe_cast(tipo_download_por_aluno_kbit as string) tipo_download_por_aluno_kbit, + safe_cast(latitude as float64) latitude, + safe_cast(longitude as float64) longitude + +from `basedosdados-staging.br_simet_educacao_conectada_staging.escola` as t diff --git a/models/br_simet_educacao_conectada/schema.yml b/models/br_simet_educacao_conectada/schema.yml new file mode 100644 index 00000000..6f812ffe --- /dev/null +++ b/models/br_simet_educacao_conectada/schema.yml @@ -0,0 +1,138 @@ +--- +version: 2 +models: + - name: escola + description: Dados sobre conectividade e infraestrutura de Internet nas escolas + brasileiras. + columns: + - name: ano_censo + description: Ano do Censo Escolar utilizado + - name: sigla_uf + description: Sigla da Unidade da Federação + - name: id_municipio + description: ID Município - IBGE 7 Dígitos + - name: id_escola + description: Código INEP da escola + - name: id_setor + description: Setor censitário da escola + - name: rede + description: Tipo de rede que a escola pertence (estadual ou municipal) + - name: localizacao + description: Se a localização da escola é rural ou urbana. + - name: porte_escola + description: Indica o tamanho da escola, classificado com base no número de + estudantes. + - name: tipo_rede_local + description: Se a escola possui rede interna de distribuição de Internet + - name: tipo_energia + description: Fonte de energia elétrica que a escola recebe + - name: tipo_tecnologia + description: Tipo de conexão da escola de acordo com o Censo Escolar 2020 + - name: tipo_recurso_recebido + description: Recursos financeiros destinados à conectividade recebidos pela + escola. + - name: faixa_velocidade + description: Indica a classificação da velocidade de download da Internet, + permitindo identificar a qualidade da conexão. + - name: nome_empresa_provedora_1 + description: Empresa que atende a escola baseado nas medições SIMET. + - name: nome_empresa_provedora_2 + description: Para aquelas escolas com mais de uma empresa, a segunda empresa + que atende a escola baseado nas medições SIMET. + - name: nome_simet_asn + description: Quais ASN (identificador de provedores) tiveram medições no entorno + da escola. + - name: indicador_laboratorio_informatica + description: Se a escola possui laboratório de informática + - name: indicador_internet + description: Se a escola possui conexão com Internet + - name: indicador_internet_alunos + description: Se a escola possui conexão com Internet para os alunos + - name: indicador_internet_aprendizagem + description: Se a escola possui conexão com Internet para uso pedagógico + - name: indicador_satelite_mec + description: Se a escola tem conectividade via Satélite de acordo com os dados + do MEC. + - name: razao_desktop_aluno + description: Número de computadores desktop por aluno + - name: razao_comp_portatil_aluno + description: Número de computadores portáteis por aluno + - name: razao_tablet_aluno + description: Número de computadores tablet por aluno + - name: quantidade_matricula + description: Número de matrículas na escola. Dado extraído diretamente do + Censo Escolar. + - name: quantidade_matricula_maior_turno + description: Número de matrículas na escola no maior turno. Ou seja, número + máximo esperado para frequentar a escola ao mesmo tempo. + - name: quantidade_turma + description: Número de turmas na escola + - name: quantidade_medicao + description: Número de medições via SIMET nos últimos 6 meses + - name: quantidade_medicoes_entorno + description: Número de medições no entorno da escola para comparação. + - name: quantidade_ipv6 + description: Quantas medições no entorno foram realizadas utilizando IPv6 + no entorno da escola. + - name: quantidade_asn + description: Número de provedores tiveram medições no entorno da escola. + - name: media_tcp_download_mbps + description: Valor relacionado ao desempenho da rede usando o protocolo TCP, + especificamente medindo a velocidade média de download dos últimos 6 meses + em megabits por segundo (Mbps). + - name: media_tcp_upload_mbps + description: Valor relacionado ao desempenho da rede usando o protocolo TCP, + especificamente medindo a velocidade média de upload dos últimos 6 meses + em megabits por segundo (Mbps). + - name: media_latencia_ms + description: Média da latência em milissegundos(ms) dos últimos 6 meses + - name: media_perda_pacote + description: Média da perda de pacotes dos últimos 6 meses + - name: media_jitter_download_ms + description: Média do jitter de download em milissegundos(ms) dos últimos + 6 meses. + - name: media_jitter_upload_ms + description: Média do jitter de upload em milissegundos(ms) dos últimos 6 + meses. + - name: media_download_entorno + description: Média de download no entorno nos últimos 6 meses + - name: media_upload_entorno + description: Média de upload no entorno nos últimos 6 meses + - name: media_latencia_entorno + description: Média de latencia no entorno nos últimos 6 meses + - name: media_pacotes_entorno + description: Média de perda de pacotes no entorno nos últimos 6 meses + - name: media_jitter_upload_entorno + description: Média de jitter de upload no entorno nos últimos 6 meses + - name: media_jitter_download_entorno + description: Média de jitter de download no entorno nos últimos 6 meses + - name: comparador_empresas + description: Quais operadoras provedoras de Internet oferecem serviços no + município da escola de acordo com base de dados do comparador de preços + da anatel. Dados defazados, de 08/2020. + - name: comparativo_download_entorno + description: Comparativo da velocidade de download da escola em relação ao + seu entorno. + - name: comparativo_upload_entorno + description: Comparativo da velocidade de upload da escola em relação ao seu + entorno + - name: comparativo_latencia_entorno + description: Comparativo da velocidade de latência da escola em relação ao + seu entorno + - name: velocidade_download_necessaria_mbit + description: Velocidade necessária para 50% da escola possa ver um vídeo ao + mesmo tempo. + - name: razao_download_por_aluno_kbps + description: Velocidade em mbit por segundo de download medida pelo SIMET + dividido pelo número máximo de alunos em um determinado turno. + - name: tipo_download_por_aluno_kbit + description: Categorização da velocidade de download medida pelo SIMET dividido + pelo número máximo de alunos em um determinado turno. + - name: latitude + description: Latitude de acordo com todos os esforços de geolocalização. Quando + não foi possível geolocalizar a escola, foi ultilizado o centróide do distrito + onde ela está. + - name: longitude + description: Longitude de acordo com todos os esforços de geolocalização. + Quando não foi possível geolocalizar a escola, foi ultilizado o centróide + do distrito onde ela está.