Sistema web em PHP usando o usando o Adianti FrameWork para consultar os Dados públicos CNPJ fornecidos pela Receita Federal do Brasil.
A Versão 2.0.0 contem as alterações do modelo de dados de 21/03/2021 feito pela RFB.
Agradecimento para todas as pessoas que contribuíram de forma direta ou indireta para o projeto. Abaixo alguns nomes de destaque, pois o sistema de consulta foi baseado nos scripts de carga de dados das pessoas abaixo. Sem essas pessoas o trabalho seria bem mais difícil:
- Versão 2.0.0 ou superior, Aphonso Henrique do Amaral Rafael - https://github.com/aphonsoar/Receita_Federal_do_Brasil_-_Dados_Publicos_CNPJ
- Até a versão 1.2.0, Fabio Serpa - https://github.com/fabioserpa/CNPJ-full
O processo de instalação é simples para a parte PHP. Porém a carga do banco de dados pode ser complicada e muito demorada, levando algumas horas até dias dependendo do seu hardware.
- PHP 7.4 ou superior, a versão 2.1.0 ou superior funciona no PHP 8.1
- Banco de Dados Relacional, com a carga dos dados conforme modelo. Funciona nos bancos PostgreSQL, MySQL, MariaDB, SQLite !
- Linux (Debian 10), pode funcionar no Windows porém não foi testado
- Aproximadamente 50 GB de espaço livre em disco para a instalação:
- 5 GB arquivos zip da Receita Federal, que pode ser liberado depois da instalação.
- 18 GB para arquivos texto descompactados, que pode ser liberado depois da instalação
- 18 GB para banco de dados. Considerando o PostgreSQL.
Tabela | Quantidade de linhas | Tamanho em MB |
---|---|---|
empresa | 45.811.638 | |
estabelecimento | 48.421.619 | |
socios | 20.426.417 | |
simples | 27.893.923 | |
Total | 142.553.597 |
- Ter um servidor PHP 7.4 ou superior. Com o drive PDO do banco relacional desejado e para o SqLite
- Configura o PHP conforme orientações do Adianti FrameWork 7.3.0
- Copie o conteudo da pasta
www/cnjrfb
do projeto para o seu servidor PHP. - Verifique se tudo dentro de
<caminho servidor>/cnjrfb/
tem permissão de execução do servidor web. Se for Linux (Debian/Ubuntu) com Apache pode executarsudo chown -R www-data:www-data
- Abra o sistema em um navegador e verifique se os sistema está funcionando. Existe um pequeno banco em SqLite para demonstrar o funcionamento.
ATENÇÃO!! a função de gerar grafo foi removida temporarimente da versão 2.
Agora vem parte demorada !
- Baixe todos os arquivos do site de receita federal. Para quem está usando Linux tem um script para essa parta
projeto/dados_receita/output_files/download_files.sh
- Se conhece python e deseja usar o PostgreSQL faça os procedimentos https://github.com/aphonsoar/Receita_Federal_do_Brasil_-_Dados_Publicos_CNPJ
- Se não conhece python pode usar o script PHP para carga no banco
- na pasta
projeto/modelo_banco/
vai encontrar os scripts criação do banco de dados, para os SGBD's: SqLite, MySql, MariaDB e PostgreSQL. Se precisar de um MER tem na pastaprojeto/modelo_banco/mysql
- Altere o arquivo de configuração
projeto/www/cargabd/config.php
- rode o script em modo terminal
projeto/www/cargabd/index.php
- vá descençar !! o processo todo em desktop no win10, i5, 16 ram, PHP 7.4 no wamp com config padrão levaria mais de 30 horas.
- na pasta
ATENÇÃO!! devido o volume de dados crie índices, nas colunas que pretender ter o maior volume de pesquisa. Recomendo criar na coluna cnpj_basico em todas as tabelas
- altera o arquivo
<caminho servidor>/cnjrfb/app/config/maindatabase.php
para apontar para o novo banco de dados. Veja como em Adianti FrameWork 7.3.0 - PARA quem criu o banco o DATABASE_SCHEMA altere o arquivo
<caminho servidor>/cnjrfb/init.php
na linha 33 alterando o valor da constantedefine('DATABASE_SCHEMA','');
para o valor desjado usando o PONTO para separar SCHEMA.TABELA
Abaixo um breve tutorial para quem deseja rodar dentro do VirtualBox.
- Instalar o VirtualBox
- Baixa o ISO do Debian 10 https://www.debian.org/releases/buster/debian-installer/
- Instarlar o Debian 10
- Instale virtual guest additional https://averagelinuxuser.com/virtualbox-shared-folder/
- montar CD do Virtual Box
- logar como root
- coloque o usuário principal no sudores
/sbin/usermod -aG sudo <NOME_USUARIO>
- executar
apt-get update; apt-get -y install build-essential dkms linux-headers-$(uname -r)
- rodar
sh /media/cdrom/VBoxLinuxAdditions.sh
- reiniciar a VM
- colocar usuário no grupo virtual box
/sbin/usermod -aG vboxsf <NOME_USUARIO>
- reiniciar a VM
- Se for usar pasta compatilhada no VirtualBox faça o mapeamento
- copiar
<projeto>/www/
para/var/www/html/
- copiar
<projeto>/dados_receita/
para/var/opt/dados_receita/
- copiar
- Se for clonar ou baixar esse projeto
- copiar a pasta
dados_receita
para/var/opt/dados_receita/
- copiar
www/cnpjrfb
para/var/www/httpd/cnpjrfb/
- copiar a pasta
- rodar o script
vbox_environment_1.sh
- rodar o script
vbox_environment_2.sh
Existem alguns arquivos em Docker-compose para criar todo o ambiente necessários para rodar tudo que é necessário. A ideia é com um comando o usuário consiga ter tudo funcionando sem muito esforço.
- Instale o Docker e Docker-compose
- clone o projeto
- Abriu um terminal na raiz do projeto
- Execute o comando
docker-compose build
para gerar todo o ambiente. - Execute o comando
docker-compose -f docker-compose.yml up -d
para rodar o ambiente já configurado. O Docker pretender resolver apenas Parte 1 - PHP e a Parte 2 - Python. - Verificando se a instalação está correta: Abra o sistema em um navegador e verifique se os 3 menus dentre home está funcionando: Empresa, Sócios e CNEA.