API de dados de endereços e CEP's do BrBr.

[PauloLuan]

Cara, estou com um dump da base dos correios de 2011 com os endereços e CEP's do Brasil inteiro, queria colocar isso no databr.

Coloquei num CSV aqui como você acha que é a melhor forma de importarmos pra lá? Criando um bot?

É que essa informação teoricamente não vai ser mais atualizada por lá. Queria colocar uma vez e depois podemos pensar em uma forma de atualizar essas informações.

[dukex]

Estava pensando em ter um repo databr/data com arquivos em csv, o nome do arquivo é o endpoint do resource, no caso, um ceps.csv criaria http://api.databr.io/ceps

[Gutem]

Porque não scrapear o resultado do Correios?
A URL é essa:

http://www.buscacep.correios.com.br/servicos/dnec/consultaLogradouroAction.do?TipoConsulta=relaxation&Metodo=listaLogradouro&relaxation=76872862&StartRow=1&EndRow=10

só mudar o parametro 'relaxation' para o CEP desejado e fazer o scrap da página.
Sugestão do JSON a retornar:

{
    bairro: "Setor Institucional"
    cep: "76872862"
    cidade: "Ariquemes"
    estado: "RO"
    logradouro: "Rio Madeira "
    tipodelogradouro: "Rua"
}

[PauloLuan]

Então @Gutem depende, pra qual caso você iria querer usar a API dos Correios?

Minha intenção seria criar dois tipos de acesso, de forma a ser mais aberto o acesso a essa informação.

Fora que é muito provável que a API dos correios limitem o tanto de requests.

O que eu queria de verdade é um meio de fazer com que seja possível baixar um dump inteiro da base (que é o que o correios não permite...)

Complementos pro brainstorm:

Artigos:
http://codigourbano.org/por-que-o-cep-deve-ser-tratado-como-informacao-publica/
http://codigourbano.org/raspador-de-dados-facilita-acesso-para-consultas-ao-cep/
http://marlon.silvacarvalho.net/?p=446

Respositórios:
https://github.com/codigourbano/cep-scraper
https://github.com/codigourbano/cep
https://github.com/transparenciasjc/CEPS_Brasil/

[Gutem]

@PauloLuan Não permite por eles oferecem isso como um serviço pago e seria crime o que você quer fazer...
Mas scrapeando a página deles seria possivel construir uma API para Consulta qu retorne um JSON e não um HTML, aí quem quiser vai lá e cria um script que fica dando query na API e incrementando os numeros de um a um... O cara tem o dump e ninguem é responsabilizado por nenhum crime.

[dukex]

Tem duas coisas ai:

1. API que podemos fazer com uma raspagem em tempo real(já discuti isso com @PauloLuan e acho que seria um bom caso de teste desse tipo de endpoint)
2. E o dump dos dados

Essa API deve guardar os resultados para não ficar indo no site todas as vezes, podemos ter um endpoint que faz dump dos nossos dados

[PauloLuan]

@Gutem não tinha visto por esse lado... inclusive acho que até vou apagar o repo com o CSV.

Sobre o scrap aqueles links que mandei acima já fazem isso, um scrap do cep e retorna o json.

[dukex]

Acho que, por hora, não deveríamos se preocupar se é crime ou não,
vou ver se começo o endpoint de cep(usando algum dos projetos citados) e o do dump