add support for major interpellations, remove no longer needed tests

robbi5 · Jan 27, 2019 · 09d59d9 · 09d59d9
1 parent e9f666b
commit 09d59d9
Show file tree

Hide file tree

Showing 5 changed files with 485 additions and 150 deletions.
diff --git a/app/scrapers/baden_wuerttemberg_landtag_scraper.rb b/app/scrapers/baden_wuerttemberg_landtag_scraper.rb
@@ -84,7 +84,11 @@ def self.extract_from_originators(originators_line)
     return nil if match_result.nil?
     doctype = extract_doctype(match_result[1])
     names = match_result[2].gsub(/\s+(?:u.a.|u.u.)/, '').strip
-    originators = NamePartyExtractor.new(names, NamePartyExtractor::NAME_BRACKET_PARTY).extract
+    if doctype == Paper::DOCTYPE_MAJOR_INTERPELLATION and names.include? 'Fraktion'
+      originators = NamePartyExtractor.new(names, NamePartyExtractor::FRACTION).extract
+    else
+      originators = NamePartyExtractor.new(names, NamePartyExtractor::NAME_BRACKET_PARTY).extract
+    end
     ministries = [match_result[4].strip]
 
     answerers = nil

diff --git a/test/fixtures/bw/detail_page_major.html b/test/fixtures/bw/detail_page_major.html
@@ -1,45 +1,74 @@
-<!DOCTYPE html>
-<html xmlns="http://www.w3.org/1999/xhtml" lang="de" xml:lang="de">
-<head>
- <link rel="shortcut icon" href="OPAL.ico" type="image/ico" />
- <title>Parlamentsdokumentation - Vorgänge</title>
- <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
- <meta http-equiv="Content-Language" content="de" />
- <meta http-equiv="Copyright" content="Landtag von Baden-Württemberg" />
- <meta name="author" content="Landtag von Baden-Württemberg" />
- <meta name="publisher" content="Statistisches Landesamt Baden-Württemberg" />
- <meta name="MSSmartTagsPreventParsing" content="true" />
- <meta name="robots" content="noindex,nofollow" />
- <link rel="stylesheet" type="text/css" href="style.css" />
-</head>
-<body>
-<div class="Kopf">
- <a href="http://www.landtag-bw.de"><img src="Landtag.png" title="Landtag von Baden-Württemberg" /></a>
- <h1>Parlamentsdokumentation</h1>
- <a href="/"><img src="StaLa.png" title="Statistisches Landesamt Baden-Württemberg" /></a>
+
+<!-- Anfang: suchergebnis-dokumentnummer.tt.html  -->
+
+<div id="results-container">
+  <div class="column" id="div-suchmaske">
+    <div id="div-suchergebnis" class="dokumentations-seite">
+      <section>
+        <h2> Dokument</h2>
+
+
+
+
+        <span class="dokumentLink">
+
+  <a class="fundstellenLinks" href="https://www.landtag-bw.de/files/live/sites/LTBW/files/dokumente/WP16/Drucksachen/4000/16%5F4581%5FD.pdf" target="_blank" title="In einem neuen Fenster öffnen">Drucksache 16/4581  09.08.2018 (26 S.)</a>
+
+</span>
+<span class="pdf-size">
+
+    PDF
+
+
+    (0.28 MB)
+
+</span>
+
+        <!-- oWBD02 = recn, oWBD03 = = dart; /parlis/dataEntry/erfassungDokument.thtm?de-recn= ?copy=true --> 
+
+
+        <h2>Vorgänge</h2>
+
+
+        <div class="efxRecordRepeater well" data-efx-rec="5c345378f45bc144956f6cd1">
+          <button name="5c345378f45bc144956f6cd1" class="partitalPrinter btn fundstelle-right" style="display:none; height: 30px; width:35px;"> <span class="glyphicon glyphicon-print" aria-hidden="true" style="font-size:12px; margin-left: -1px;"> </span> </button>
+          <button class="btn pull-right refresh" style ="display:none; margin-top: 20px; height: 30px; width:35px;" data-toggle="tooltip" data-original-title="Der Datensatz wurde möglicherweise aktualisiert. Datensatz in neuem Tab anzeigen." onclick="Javascript:window.open('/parlisa/browse.tt.html?type=&action=qlink&q=BAFO=BASIS AND VID=V-122550','_blank');"> <span class="glyphicon glyphicon-refresh" aria-hidden="true" style="font-size: 12px; margin-left: -1px;"> </span> </button>
+
+
+          <div class="drucksache-liste-betreff"> <a data-toggle="tab" href="#detailTab-5c345378f45bc144956f6cd1" id="5c345378f45bc144956f6cd1" class="efxZoomTabVorgang"> Nachhaltiger Tourismus in Baden-Württemberg </a> </div>
+          <div id="short-5c345378f45bc144956f6cd1">
+            <div class="drucksache-liste-urheber"> <span class="typ">Große Anfrage Fraktion GRÜNE 09.08.2018 und Antwort Landesregierung  </span> <span class="urheber"></span> <span class="datum"></span> </div>
+
+
+
+
+            <span class="dokumentLink">
+
+  <a class="fundstellenLinks" href="https://www.landtag-bw.de/files/live/sites/LTBW/files/dokumente/WP16/Drucksachen/4000/16%5F4581%5FD.pdf" target="_blank" title="In einem neuen Fenster öffnen">Drucksache 16/4581 (26 S.)</a>
+
+</span>
+<span class="pdf-size">
+
+    PDF
+
+
+    (0.28 MB)
+
+</span>
+ </div>
+          <div class="tab-content">
+            <div class="tab-pane fade efxZoomVorgang" id="detailTab-5c345378f45bc144956f6cd1" ></div>
+          </div>
+        </div>
+
+         </section>
+    </div>
+  </div>
 </div>
-<hr />
-<h3>15. Wahlperiode</h3>
-<h2>Gefundene Vorgänge</h2>
-<table>
- <!-- Anfang -->
- <tr><td><strong>Schlagwort:</strong></td><td><strong>Demografie</strong></td></tr>
- <tr><td><strong>Vorgang:</strong></td><td>01608  </td></tr>
- <tr><td><strong>Betreff:</strong></td><td>Demografische Entwicklung im ländlichen Raum</td></tr>
- <tr><td><strong>Kurzreferat:</strong></td><td> Entwicklung seit Erteilung der Empfehlungen der Demografie-Enquete auf Drs 13/4900; Maßnahmen und Programme zur Gewährleistung der Gleichwertigkeit der Lebensverhältnisse zwischen ländlichen und urbanen Räumen, insbes im Bereich der öffentlichen Daseinsvorsorge und interkommunalen Zusammenarbeit, beim ÖPNV und Individualverkehr, den Schulen und Hochschulen, kleinen und mittleren Unternehmen, der Energiewirtschaft, Landwirtschaft und beim Tourismus; Förderung der Attraktivität durch Programme zur Dorfentwicklung, kulturelle Angebote, Nahversorgung im Einzelhandel und Stärkung der politischen Beteiligungsmöglichkeiten </td></tr>
- <tr><td><strong>Behandlung:</strong></td><td>
- <a href="http://suche.landtag-bw.de/redirect.itl?WP=15&DRS=1608" target="_blank">
- GrAnfr FDP/DVP 25.04.2012 und Antw LReg Drs 15/1608 (33 S.)</a><br />
- <a href="http://www.landtag-bw.de/files/live/sites/LTBW/files/dokumente/WP15/Plp/15_0047_11102012.pdf" target="_blank">
- PlPr 15/47 11.10.2012 S. 2674-2682</a></td></tr>
- <!-- Ende -->
- <tr><td colspan=2><hr></td></tr>
- <form action="./"><tr>
-  <td><input type="hidden" name="WP" value="15" />
-      <input type="submit" class="button" value="neue Suche" /></td>
-  <td width="95%">&nbsp;</td>
- </tr></form>
-</table>
-<hr />
-</body>
-</html>
+<script >
+  $(document).ready(function() {
+    $("#dokumentHits").html(1);
+  });
+</script> 
+<!-- Ende: suchergebnis-dokumentnummer.tt.html  -->
+
diff --git a/test/fixtures/bw/detail_page_unanswered.html b/test/fixtures/bw/detail_page_unanswered.html
@@ -0,0 +1,74 @@
+
+<!-- Anfang: suchergebnis-dokumentnummer.tt.html  -->
+
+<div id="results-container">
+  <div class="column" id="div-suchmaske">
+    <div id="div-suchergebnis" class="dokumentations-seite">
+      <section>
+        <h2> Dokument</h2>
+
+
+
+
+        <span class="dokumentLink">
+
+  <a class="fundstellenLinks" href="https://www.landtag-bw.de/files/live/sites/LTBW/files/dokumente/WP16/Drucksachen/5000/16%5F5359.pdf" target="_blank" title="In einem neuen Fenster öffnen">Drucksache 16/5359  10.12.2018</a>
+
+</span>
+<span class="pdf-size">
+
+    PDF
+
+
+    (0.18 MB)
+
+</span>
+
+        <!-- oWBD02 = recn, oWBD03 = = dart; /parlis/dataEntry/erfassungDokument.thtm?de-recn= ?copy=true --> 
+
+
+        <h2>Vorgänge</h2>
+
+
+        <div class="efxRecordRepeater well" data-efx-rec="5c345a4bf45bc15544615641">
+          <button name="5c345a4bf45bc15544615641" class="partitalPrinter btn fundstelle-right" style="display:none; height: 30px; width:35px;"> <span class="glyphicon glyphicon-print" aria-hidden="true" style="font-size:12px; margin-left: -1px;"> </span> </button>
+          <button class="btn pull-right refresh" style ="display:none; margin-top: 20px; height: 30px; width:35px;" data-toggle="tooltip" data-original-title="Der Datensatz wurde möglicherweise aktualisiert. Datensatz in neuem Tab anzeigen." onclick="Javascript:window.open('/parlisa/browse.tt.html?type=&action=qlink&q=BAFO=BASIS AND VID=V-125863','_blank');"> <span class="glyphicon glyphicon-refresh" aria-hidden="true" style="font-size: 12px; margin-left: -1px;"> </span> </button>
+
+
+          <div class="drucksache-liste-betreff"> <a data-toggle="tab" href="#detailTab-5c345a4bf45bc15544615641" id="5c345a4bf45bc15544615641" class="efxZoomTabVorgang"> Bau von Holzbrücken in Baden-Württemberg </a> </div>
+          <div id="short-5c345a4bf45bc15544615641">
+            <div class="drucksache-liste-urheber"> <span class="typ">Kleine Anfrage Klaus Hoher (FDP/DVP)  10.12.2018 </span> <span class="urheber"></span> <span class="datum"></span> </div>
+
+
+
+
+            <span class="dokumentLink">
+
+  <a class="fundstellenLinks" href="https://www.landtag-bw.de/files/live/sites/LTBW/files/dokumente/WP16/Drucksachen/5000/16%5F5359.pdf" target="_blank" title="In einem neuen Fenster öffnen">Drucksache 16/5359</a>
+
+</span>
+<span class="pdf-size">
+
+    PDF
+
+
+    (0.18 MB)
+
+</span>
+ </div>
+          <div class="tab-content">
+            <div class="tab-pane fade efxZoomVorgang" id="detailTab-5c345a4bf45bc15544615641" ></div>
+          </div>
+        </div>
+
+         </section>
+    </div>
+  </div>
+</div>
+<script >
+  $(document).ready(function() {
+    $("#dokumentHits").html(1);
+  });
+</script> 
+<!-- Ende: suchergebnis-dokumentnummer.tt.html  -->
+