Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Retrive heards data from consulta licitações page #3 #17

Merged
merged 1 commit into from
May 21, 2018
Merged

Retrive heards data from consulta licitações page #3 #17

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
6 changes: 4 additions & 2 deletions comprasnet/__init__.py
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -149,7 +149,6 @@ def scrap_search_page(self, data):
page_results = []

bs_object = BeautifulSoup(data, "html.parser")
header = []
for form in bs_object.find_all('form'):
if 'Form' not in form.attrs['name']:
continue
Expand All @@ -166,12 +165,15 @@ def scrap_search_page(self, data):
current_result['cidade'] = cidade
current_result['uf'] = uf

headers = str(td.b).split('<b>')[1].split('<br/>')[:-2]
headers = [header.strip() for header in headers]

for line in str(td).split("<br/>"):

if 'digo da UASG' in line:

try:
current_result['cabecalho'] = header
current_result['cabecalho'] = headers
codigo_da_uasg_chave = line.split(":")[0]
codigo_da_uasg_chave = slugify(codigo_da_uasg_chave)
codigo_da_uasg_valor = line.split("digo da UASG: ")[-1].strip()
Expand Down
200 changes: 199 additions & 1 deletion tests/unit/test_class_searchauctions.py
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -63,4 +63,202 @@ def test_method_get_search_page_data():


def test_method_scrap_search_page():
assert False
filename = os.path.join(os.path.dirname(os.path.abspath(__file__)),
'../assets/result_page_sample.html')
with codecs.open(filename, 'r', 'iso-8859-1') as handle:
page_result_content = handle.read()

search_auctions = SearchAuctions(day=date(day=11, month=5, year=2018))
results = search_auctions.scrap_search_page(page_result_content)

output = [{'abertura-da-proposta': date(2018, 5, 14),
'abertura-da-proposta-str': '14/05/2018',
'cabecalho': ['MINISTÉRIO DA DEFESA',
'Comando do Exército',
'Comando Militar do Sul',
'1º Batalhão Ferroviário'],
'cidade': 'Lages',
'codigo-da-uasg': '160447',
'edital-a-partir-de': date(2018, 5, 2),
'edital-a-partir-de-str': '02/05/2018',
'endereco': ' Rua 2.batalhao Rodoviario,sn * - Conta Dinheiro - Lages (SC)',
'entrega-da-proposta': date(2018, 5, 2),
'entrega-da-proposta-str': '02/05/2018',
'fax': '(49)',
'objeto': 'Pregão Eletrônico - Eventual aquisição de materiais de '
'construção, para utilização na Obra da Construção da Ferrovia das '
'Bromélias, Revitalização da Estrada de Acesso ao Destacamento de '
'Controle de Espaço Aéreo do Morro da Igreja, Obra da SC 114 '
'(antiga SC-430), e Sede da OM - manutenção de PNRs e Instalações '
'internas do Batalhão.',
'pregao-eletronico': '122018',
'telefone': '(49) 32519515',
'uf': 'SC'},
{'abertura-da-proposta': date(2018, 5, 14),
'abertura-da-proposta-str': '14/05/2018',
'cabecalho': ['MINISTÉRIO DA DEFESA',
'Comando do Exército',
'Comando Militar do Sul',
'5ª Região Militar',
'15ªBrigada de Infantaria Mecanizada',
'26ºGrupo de Artilharia de Campanha'],
'cidade': 'Guarapuava',
'codigo-da-uasg': '160228',
'edital-a-partir-de': date(2018, 5, 2),
'edital-a-partir-de-str': '02/05/2018',
'endereco': ' Av Manoel Ribas, 2286 - Centro - Centro - Guarapuava (PR)',
'entrega-da-proposta': date(2018, 5, 2),
'entrega-da-proposta-str': '02/05/2018',
'fax': '(42)',
'objeto': 'Pregão Eletrônico - Aquisição de Material de Acondicionamento e '
'Embalagens',
'pregao-eletronico': '112018',
'telefone': '(42) 31419115',
'uf': 'PR'},
{'abertura-da-proposta': date(2018, 5, 14),
'abertura-da-proposta-str': '14/05/2018',
'cabecalho': ['MINISTÉRIO DA DEFESA',
'Comando do Exército',
'Comando Militar do Nordeste',
'7ª Região Militar/7ª Divisão de Exército',
'10ªBrigada de Infantaria Motorizada',
'72ºBatalhão de Infantaria Motorizado'],
'cidade': 'Petrolina',
'codigo-da-uasg': '160183',
'edital-a-partir-de': date(2018, 5, 2),
'edital-a-partir-de-str': '02/05/2018',
'endereco': ' Av. Cardoso de Sa, S/n - Vila Eduardo - Vila Eduardo - '
'Petrolina (PE)',
'entrega-da-proposta': date(2018, 5, 2),
'entrega-da-proposta-str': '02/05/2018',
'fax': '',
'objeto': 'Pregão Eletrônico - Registro de preços para eventual contratação '
'de serviços de gerenciamento, controle e fornecimento de '
'combustível por meio de sistema informatizado e utilização de '
'cartão eletrônico ou magnético.',
'pregao-eletronico': '22018',
'telefone': '',
'uf': 'PE'},
{'abertura-da-proposta': date(2018, 5, 14),
'abertura-da-proposta-str': '14/05/2018',
'cabecalho': ['MINISTÉRIO DA DEFESA',
'Comando do Exército',
'Comando Militar do Sul',
'6ªDivisão de Exército',
'8ªBrigada de Infantaria Motorizada',
'9ºBatalhão de Infantaria Motorizado'],
'cidade': 'Pelotas',
'codigo-da-uasg': '160379',
'edital-a-partir-de': date(2018, 5, 2),
'edital-a-partir-de-str': '02/05/2018',
'endereco': ' Av Duque de Caxias, 344 - Bairro Fragata - Fragata - Pelotas '
'(RS)',
'entrega-da-proposta': date(2018, 5, 2),
'entrega-da-proposta-str': '02/05/2018',
'fax': '(53)',
'objeto': 'Pregão Eletrônico - Serviço Comum de Engenharia - Adequação da '
'Rede Elétrica do 9º Batalhão de Infantaria Motorizado (9º BIMtz).',
'pregao-eletronico': '22018',
'telefone': '(53) 33034044',
'uf': 'RS'},
{'abertura-da-proposta': date(2018, 5, 15),
'abertura-da-proposta-str': '15/05/2018',
'cabecalho': ['Agência de Modernização da Gestão de Processos'],
'cidade': 'Maceió',
'codigo-da-uasg': '925998',
'edital-a-partir-de': date(2018, 5, 2),
'edital-a-partir-de-str': '02/05/2018',
'endereco': ' Rua Manoel Nobre, No 281, Farol - - Maceió (AL)',
'entrega-da-proposta': date(2018, 5, 2),
'entrega-da-proposta-str': '02/05/2018',
'fax': '',
'objeto': 'Pregão Eletrônico - Aquisição de Materiais Elétricos. ATENÇÃO: '
'Srs. Licitantes, ao cadastrar a proposta no sistema ComprasNet, '
'considerar somente a descrição dos itens contidos no Termo de '
'Referência do Edital, sob pena de desclassificação.',
'pregao-eletronico': '112982017',
'telefone': '',
'uf': 'AL'},
{'abertura-da-proposta': date(2018, 5, 17),
'abertura-da-proposta-str': '17/05/2018',
'cabecalho': ['Agência de Modernização da Gestão de Processos'],
'cidade': 'Maceió',
'codigo-da-uasg': '925998',
'edital-a-partir-de': date(2018, 5, 2),
'edital-a-partir-de-str': '02/05/2018',
'endereco': ' Rua Manoel Nobre, No 281, Farol - - Maceió (AL)',
'entrega-da-proposta': date(2018, 5, 2),
'entrega-da-proposta-str': '02/05/2018',
'fax': '(82)',
'objeto': 'Pregão Eletrônico - A presente licitação objetiva o registro de '
'preços para a AQUISIÇÃO DE MEDICAMENTOS (ANTI-INFLAMATÓRIOS E '
'ANALGÉSICOS) PLS Nº 028/2018',
'pregao-eletronico': '102792018',
'telefone': '(82) 33153092',
'uf': 'AL'},
{'abertura-da-proposta': date(2018, 5, 17),
'abertura-da-proposta-str': '17/05/2018',
'cabecalho': ['Agência de Modernização da Gestão de Processos'],
'cidade': 'Maceió',
'codigo-da-uasg': '925998',
'edital-a-partir-de': date(2018, 5, 2),
'edital-a-partir-de-str': '02/05/2018',
'endereco': ' Rua Manoel Nobre, No 281, Farol - - Maceió (AL)',
'entrega-da-proposta': date(2018, 5, 2),
'entrega-da-proposta-str': '02/05/2018',
'fax': '(82)',
'objeto': 'Pregão Eletrônico - A presente licitação tem por objeto a '
'AQUISIÇÃO DE GÊNEROS ALIMENTÍCIOS (MOLHOS E CONDIMENTOS) PLS '
'Nº 054/2017',
'pregao-eletronico': '102772018',
'telefone': '(82) 99181712',
'uf': 'AL'},
{'abertura-da-proposta': date(2018, 5, 16),
'abertura-da-proposta-str': '16/05/2018',
'cabecalho': ['Agência de Modernização da Gestão de Processos'],
'cidade': 'Maceió',
'codigo-da-uasg': '925998',
'edital-a-partir-de': date(2018, 5, 2),
'edital-a-partir-de-str': '02/05/2018',
'endereco': ' Rua Manoel Nobre, No 281, Farol - - Maceió (AL)',
'entrega-da-proposta': date(2018, 5, 2),
'entrega-da-proposta-str': '02/05/2018',
'fax': '',
'objeto': 'Pregão Eletrônico - A presente licitação objetiva o registro de '
'preços para a AQUISIÇÃO DE EMBALAGEM DE ALUMÍNIO - PLS N¨ '
'026-2016 EXCLUSIVO',
'pregao-eletronico': '102752018',
'telefone': '',
'uf': 'AL'},
{'abertura-da-proposta': date(2018, 5, 15),
'abertura-da-proposta-str': '15/05/2018',
'cabecalho': ['Agência de Modernização da Gestão de Processos'],
'cidade': 'Maceió',
'codigo-da-uasg': '925998',
'edital-a-partir-de': date(2018, 5, 2),
'edital-a-partir-de-str': '02/05/2018',
'endereco': ' Rua Manoel Nobre, No 281, Farol - - Maceió (AL)',
'entrega-da-proposta': date(2018, 5, 2),
'entrega-da-proposta-str': '02/05/2018',
'fax': '',
'objeto': 'Pregão Eletrônico - Aquisição de materiais de consumo para '
'utilização no Laboratório de Microbiologia e Tuberculose.',
'pregao-eletronico': '102692018',
'telefone': '',
'uf': 'AL'},
{'abertura-da-proposta': date(2018, 5, 15),
'abertura-da-proposta-str': '15/05/2018',
'cabecalho': ['Agência de Modernização da Gestão de Processos'],
'cidade': 'Maceió',
'codigo-da-uasg': '925998',
'edital-a-partir-de': date(2018, 5, 2),
'edital-a-partir-de-str': '02/05/2018',
'endereco': ' Rua Manoel Nobre, No 281, Farol - - Maceió (AL)',
'entrega-da-proposta': date(2018, 5, 2),
'entrega-da-proposta-str': '02/05/2018',
'fax': '',
'objeto': 'Pregão Eletrônico - Aquisição de equipamento médico hospitalares',
'pregao-eletronico': '102662018',
'telefone': '',
'uf': 'AL'}]
assert output == results