Merge pull request #69 from analytics-ufcg/dev

Dev

.gitignore

@@ -16,3 +16,5 @@ fetcher/credenciais/config
 fetcher/credenciais/id_rsa
 fetcher/credenciais/id_rsa.pub
 fetcher/credenciais/known_hosts
+
+

Makefile

@@ -14,11 +14,22 @@ help:
 	@echo "\tenter-transformer-container \tAbre cli do container transformador"
 	@echo "\ttransform-data\t\t\tTraduz e transforma os dados colhidos"
 	@echo "\tenter-feed-al-container\t\tAbre cli do container feed-al"
+	@echo ""
 	@echo "\tfeed-al-create\t\t\tCria as tabelas do Banco de Dados Analytics"
-	@echo "\tfeed-al-import\t\t\tImporta dados para as tabelas do \n\t\t\t\t\tBanco de Dados Analytics"
-	@echo "\tfeed-al-clean\t\t\tDropa as tabelas do Banco de Dados \n\t\t\t\t\tAnalytics"
+	@echo "\tfeed-al-import\t\t\tImporta dados para as tabelas do Banco de Dados Analytics"
+	@echo "\tfeed-al-clean\t\t\tDropa as tabelas do Banco de Dados Analytics"
 	@echo "\tfeed-al-shell\t\t\tAcessa terminal do Banco de Dados Analytics"
-	@echo "\tgera-tipologias \t\tGera as tipologias de contratos"
+	@echo ""
+	@echo "\tfeed-mc-clean\t\t\tDropa as tabelas do banco de dados Monitor Cidadão"
+	@echo "\tfeed-mc-create\t\t\tCria as tabelas do banco de dados Monitor Cidadão"
+	@echo "\tfeed-mc-import-feature\t\t\tImporta features para o Banco de dados Monitor Cidadão"
+	@echo "\tfeed-mc-import-feature-set\t\t\tImporta features set para o Banco de dados Monitor Cidadão"
+	@echo "\tfeed-mc-import-experimento\t\t\tImporta experimento para o Banco de dados Monitor Cidadão"
+	@echo "\tfeed-mc-shell\t\t\tAcessa terminal do banco de dados Monitor Cidadão"
+	@echo ""
+	@echo "\tgera-feature vigencia=<encerrados, vigentes e todos> data_range_inicio=<2012-01-01> data_range_fim=<2018-01-01>\t\tGera features"
+	@echo "\tgera-feature-set tipo_construcao_features=<recentes>\t\tGera conjunto de features"
+	@echo "\tgera-experimento tipo_contrucao_feature_set=<recentes>\t\tGera previsão de risco"
 
 .PHONY: help
 build:
@@ -60,6 +71,33 @@ feed-al-clean:
 feed-al-shell:
 	docker exec -it feed-al sh -c "Rscript feed-al/DAO.R -f shell"
 .PHONY: feed-al-shell
-gera-tipologias:
-	docker exec -it fetcher sh -c "Rscript tipologias/scripts/gera_tipologias.R"
-.PHONY: gera-tipologias
+gera-feature:
+	docker exec -it tipologias sh -c "Rscript scripts/gera_feature.R --vigencia $(vigencia) --data_range_inicio $(data_range_inicio) --data_range_fim $(data_range_fim)"
+.PHONY: gera-feature
+gera-feature-set:
+	docker exec -it tipologias sh -c "Rscript scripts/gera_feature_set.R --tipo_construcao_features $(tipo_construcao_features)"
+.PHONY: gera-feature-set
+gera-experimento:
+	docker exec -it tipologias sh -c "Rscript scripts/gera_experimento.R --tipo_contrucao_feature_set $(tipo_contrucao_feature_set)"
+.PHONY: gera-experimento
+enter-feed-mc-container:
+	sudo docker exec -it feed-mc sh
+.PHONY: enter-feed-mc-container
+feed-mc-create:
+	docker exec -it feed-mc sh -c "Rscript feed-mc/DAO.R -f create"
+.PHONY: feed-mc-create
+feed-mc-import-feature:
+	docker exec -it feed-mc sh -c "Rscript feed-mc/DAO.R -f import_feature"
+.PHONY: feed-mc-import-feature
+feed-mc-import-feature-set:
+	docker exec -it feed-mc sh -c "Rscript feed-mc/DAO.R -f import_feature_set"
+.PHONY: feed-mc-import-feature-set
+feed-mc-import-experimento:
+	docker exec -it feed-mc sh -c "Rscript feed-mc/DAO.R -f import_experimento"
+.PHONY: feed-mc-import-experimento
+feed-mc-clean:
+	docker exec -it feed-mc sh -c "Rscript feed-mc/DAO.R -f clean"
+.PHONY: feed-mc-clean
+feed-mc-shell:
+	docker exec -it feed-mc sh -c "Rscript feed-mc/DAO.R -f shell"
+.PHONY: feed-mc-shell

README.md

@@ -31,16 +31,36 @@ Adicione os seguintes arquivos com variáveis de ambiente e credenciais:
 
 
 ## Como usar?
-Nesta camada o make é utilizado como facilitador para execução. Abaixo estão descritos os passos necessários para importar os dados para o banco de dados Analytics (também chamado de AL_DB):
+Nesta camada o make é utilizado como facilitador para execução. Abaixo estão descritos os passos necessários para importar os dados para o banco de dados Analytics (também chamado de AL_DB) e Monitor Cidadão (também chamado de MC_DB):
+
+<b> Passos comuns a ambos os bancos:</b>
 
  1. Faça o build das imagens necessárias com `sudo make build`;
  2. Crie e inicie os containers do docker com `sudo make up`;
  3. Obtenha os dados através do `sudo make fetch-data`. Nesta etapa você também pode testar a integridade dos dados obtidos utilizando os testes unitários de cada tabela com `sudo docker exec -it fetcher sh -c "Rscript tests/<nome-da-tabela>.R"`;
  4. Traduza e transforme os dados colhidos `sudo make transform-data`;
+
+<b> Para o AL_DB: </b>
+
  5. Crie as tabelas no banco AL_DB com `sudo make feed-al-create`;
  6. Agora importe os dados para as tabelas do banco com `sudo make feed-al-import`;
  7. Você pode verificar se a(s) tabela(s) estão no banco com `sudo make feed-al-shell` e `\dt`.
 
+<b> Geração das previsões: </b>
+
+ 8. Gere as features da previsão com `sudo make gera-feature vigencia=<encerrados, vigentes e todos> data_range_inicio=<2012-01-01> data_range_fim=<2018-01-01>`;
+ 9. Gere o feature set da previsão com `sudo make gera-feature-set tipo_construcao_features=<recentes>`;
+ 10. Gere o experimento com as informações do risco com `sudo make gera-experimento tipo_contrucao_feature_set=<recentes>`.
+
+<b> Para o MC_DB: </b>
+
+ 11. Crie as tabelas no banco MC_DB com `sudo make feed-mc-create`;
+ 12. Importe os dados das features para as tabelas do banco com `sudo make feed-mc-import-feature`;
+ 13. Importe os dados do features set para as tabelas do banco com `sudo make feed-mc-import-feature-set`;
+ 14. Agora importe os dados do experimento para as tabelas do banco com `sudo make feed-mc-import-experimento`;
+ 15. Você pode verificar se a(s) tabela(s) estão no banco com `sudo make feed-mc-shell` e `\dt`.
+
+
 Caso você queira executar os comandos docker diretamente, confira o código correspondente a seu comando no arquivo  `Makefile`. Abaixo estão todos os comandos disponíveis para serem executados com `sudo make <Comando>`:
 Comando | Descrição
 ------------ | -------------
@@ -58,7 +78,16 @@ feed-al-create | Cria as tabelas do Banco de Dados Analytics
 feed-al-import | Importa dados para as tabelas do Banco de Dados Analytics
 feed-al-clean | Dropa as tabelas do Banco de Dados Analytics
 feed-al-shell | Acessa terminal do Banco de Dados Analytics
-
+gera-feature | Gera features
+gera-feature-set | Gera conjunto de features
+gera-experimento | Gera previsão de risco
+enter-feed-mc-container | Abre cli do container feed-mc
+feed-mc-create | Cria as tabelas do Banco de Dados Monitor Cidadão
+feed-mc-import-feature | Importa features para o Banco de dados Monitor Cidadão
+feed-mc-import-feature-set | Importa features set para o Banco de dados Monitor Cidadão
+feed-mc-import-experimento | Importa experimento para o Banco de dados Monitor Cidadão
+feed-mc-clean | Dropa as tabelas do Banco de Dados Monitor Cidadão
+feed-mc-shell | Acessa terminal do Banco de Dados Monitor Cidadão
 
 ## License