Erros que estão ocorrendo ao executar as Dags pelo airflow

[fabio1079]

Ao executar os comandos dos arquivo "update_leggo_data.sh" porem convertidos para o airflow, alguns erros estão ocorrendo, percebi que esses erros também ocorrem ao executar o update_leggo_data.sh. Da forma que ta o airflow, ele interrompe a execução quando há algum erro, então esses erros listados abaixo acabam por parar a execução das Dags no airflow.

process-pressao

Baixando dados de Twitter por proposição e semana...
INFO [2021-12-22 17:29:25] Baixando dados de tweets sobre proposições entre 2021-09-22 e 2021-12-22
Error: lexical error: invalid char in json text.

(right here) ------^
Execution halted
ERROR # 1 : Não foi possível baixar dados de pressão pelo Twitter.

update-pautas

Obtendo pautas para a semana: 06/12/2021 - 10/12/2021
Error : lexical error: invalid char in json text.
Novo endereço >> agenda de reu
(right here) ------^

process-leggo-twitter development

Iniciando processamento de parlamentares...
Baixando dados...
Error in function (type, msg, asError = TRUE) :
Failed to connect to api.leggo.org.br port 443: Connection refused
Calls: source ... eval -> -> curlPerform -> -> fun
Execution halted

run-basic-pipeline

[1] "Baixando proposições mais comentadas da agenda direitos-humanos..."
Error: lexical error: invalid char in json text.

(right here) ------^
In addition: Warning message:
In max(popularity) : no non-missing arguments to max; returning -Inf
Execution halted
ERROR # 1 : Não foi possível processar os dados de criterios de destaque

run-pipeline-twitter development

Iniciando processamento de parlamentares...
Baixando dados...
Error in function (type, msg, asError = TRUE) :
Failed to connect to api.leggo.org.br port 443: Connection refused
Calls: source ... eval -> -> curlPerform -> -> fun
Execution halted

[danielhmarinho]

@fabio1079 como comentei contigo, só pra gente deixar fixado. Da uma olhada novamente nos procedimentos do repositório leggo-geral pra confirmar os passos. Você também pode olhar a estrutura atual de prod com o acesso que te dei (cuidado para não mexer em nada dos diretórios). Lembra de rodar o pipeline no forma atual para comparar se os erros são do pipe ou de alguma alteração que você fez para adaptar ao airflow.