자한당 (2).ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [
    {
     "ename": "OperationalError",
     "evalue": "database is locked",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mOperationalError\u001b[0m                          Traceback (most recent call last)",
      "\u001b[1;32m<ipython-input-76-8df83a6248ef>\u001b[0m in \u001b[0;36m<module>\u001b[1;34m\u001b[0m\n\u001b[0;32m     12\u001b[0m         \u001b[0mkeyword\u001b[0m \u001b[0mTEXT\u001b[0m \u001b[0mNOT\u001b[0m \u001b[0mNULL\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m     13\u001b[0m         );\n\u001b[1;32m---> 14\u001b[1;33m     \"\"\")\n\u001b[0m\u001b[0;32m     15\u001b[0m \u001b[0mcon\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mcommit\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;31mOperationalError\u001b[0m: database is locked"
     ]
    }
   ],
   "source": [
    "import sqlite3\n",
    "con = sqlite3.connect(\"libertykorea.db\")\n",
    "cur = con.cursor()\n",
    "\n",
    "cur.executescript(\"\"\"\n",
    "    DROP TABLE IF EXISTS table1;\n",
    "    CREATE TABLE table1(\n",
    "        id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL,\n",
    "        title TEXT NOT NULL,\n",
    "        date TEXT NOT NULL,\n",
    "        content TEXT NOT NULL,\n",
    "        keyword TEXT NOT NULL\n",
    "        );\n",
    "    \"\"\")\n",
    "con.commit()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "10\n",
      "1 th article: 경기도청의 아무말 대잔치 [장능인 상근부대변인 논평]\n",
      "2 th article: 현장 최고위원회의 주요내용[보도자료]\n",
      "3 th article: 문재인 정권은 일본의 수출규제 조치로 인한 기업 현장의 절규가 들리지도 않는가? [전희경 대변인 논평]\n",
      "4 th article: 당정청 회의, 대책회의가 아니라 결의 다지기였나 [민경욱 대변인 논평]\n",
      "5 th article: 조국 교수, 학생들의 바람대로 본인이 좋아하는 앙가주망‘만’ 하시라. [황규환 청년부대변인 논평]\n",
      "6 th article: 조은누리 양의 회복을 기원하며, 생명을 위한 값진 땀방울을 흘린 군인과 경찰, 소방대원에게 감사를 전한다 [장능인 상근부대변인 논평]\n",
      "7 th article: 제 자식은 ‘다양화’ ‘자유화’ 누리고 남의 자식에는 ‘일원화’ ‘평준화’ 강요하는 위선교육이 자사고 폐지 본질이다 [전희경 대변인 논평]\n",
      "8 th article: 다시는 일본에 지지 않겠다는 문재인 대통령, 사태의 조속한 해결을 위한 필사의 노력이 필요하다 [민경욱 대변인 논평]\n",
      "9 th article: 북핵 때문에 마음 편히 산다는 ‘가짜 진보’ 세력의 자작 테러에 대한 강력한 처벌을 촉구한다! [장능인 상근부대변인 논평]\n",
      "10 th article: 의원총회 주요내용[보도자료]\n",
      "_getList(2);return false; \n",
      "1 th article: 제11차 북핵외교안보특별위원회 회의 주요내용[보도자료]\n",
      "2 th article: 일본, 기어이 넘지 말아야 할 선을 넘었다 [민경욱 대변인 논평]\n",
      "3 th article: 일본수출규제대책특위 긴급회의 주요내용[보도자료]\n",
      "4 th article: 천덕꾸러기가 된 조국 교수, 페북 할 시간에 학생들의 미래나 걱정하라 [민경욱 대변인 논평]\n",
      "5 th article: 북한의 세 번째 도발, 한반도가 북한의 무기 성능 시험장이 된 것인가 [민경욱 대변인 논평]\n",
      "6 th article: 나경원 원내대표, 추경 관련 긴급 기자간담회 주요내용[보도자료]\n",
      "7 th article: 대학생진보연합은 젊음의 가치를 변질시키고 있다.[권수미 청년부대변인 논평]\n",
      "8 th article: 대학생진보연합은 ‘대학생’의 가면을 벗고, 국민 앞에 실체를 당당히 밝히라 [황규환 청년부대변인 논평]\n",
      "9 th article: 안보 의원총회 주요내용[보도자료]\n",
      "10 th article: 최고위원회의 주요내용[보도자료]\n",
      "_getList(3);return false; \n",
      "1 th article: 연일 사격해대는 북한, 전세계가 걱정하는데 우리는 언제까지 눈치볼것인가? [이선민 청년부대변인 논평]\n",
      "2 th article: 윤석열 검찰총장은 자신의 적폐부터 청산하라! [장능인 상근부대변인 논평]\n",
      "3 th article: 한·일 갈등에도 표 계산만 하는 민주연구원, 내년 선거밖에 보이지 않는가?[조지연 부대변인 논평]\n",
      "4 th article: 희극 같은 공기업 경영평가 방법 개선하고 ‘재정건전성’ 강화하라[김태연 청년부대변인 논평]\n",
      "5 th article: 김승환 전북교육감의 비뚤어진 부정(父情) [장능인 상근부대변인 논평]\n",
      "6 th article: 북한 미사일 발사관련, 국방·외통·정보위-원내부대표단 연석회의 주요내용[보도자료]\n",
      "7 th article: 일본 경제보복에 나라가 기울어도 총선에 이용해 먹으면 그뿐이라는 더불어민주당의 천인공노할 보고서 [전희경 대변인 논평]\n",
      "8 th article: 나경원 원내대표, 현안관련 긴급 브리핑 주요내용[보도자료]\n",
      "9 th article: 대학생진보연합은 더 이상 청년과 대학생의 이름을 더럽히지 말고, 이제라도 반성하고 수사에 성실히 응해야한다. [황규환 청년부대변인 논평]\n",
      "10 th article: ‘외교’ ‘안보’ ‘국익’ 걱정 앞에 ‘친일’ ‘반민족’ ‘전쟁세력’ 덧씌우는 문재인 정권의 프레임 망령 [전희경 대변인 논평]\n",
      "_getList(4);return false; \n",
      "1 th article: 세금 일자리 홍보에 열 올리는 문재인 정부에 청년들은 분노한다. [권현서 청년부대변인 논평]\n",
      "2 th article: 역대 최악의 영업이익 상황에 연례행사마냥 자리 잡은 파업문화? 현대차 노조 조합원들은 파업에 반대하라! [문성호 청년부대변인 논평]\n",
      "3 th article: 북한 동력선 이틀만에 돌려보낸 정부는 북한 대변인을 자임한 것인가? [장능인 상근부대변인 논평]\n",
      "4 th article: 더불어민주당 오거돈 부산시장의 입장문, 사과 없는 변명투성이다! [이준호 청년부대변인 논평]\n",
      "5 th article: 황교안 당대표, 일본수출규제대책특위 2차 회의 인사말씀[보도자료]\n",
      "6 th article: 원내대책회의 주요내용[보도자료]\n",
      "7 th article: 외교부의 ‘기강 참사’, 사면초가의 외교 난제를 풀어갈 의지가 있기는 한가? [조지연 부대변인 논평]\n",
      "8 th article: 문재인 정부 탈원전 정책으로 골병드는 한전. 정부와 한전은 전기요금 원가를 공개하고 양두구육 정책을 철회하라. [송재욱 부대변인 논평]\n",
      "9 th article: 민주당 이해찬 대표는 자유한국당의 정당한 항거를 비난하기 전에 국민을 적으로 간주한 품격 없는 발언부터 사과하라 [장능인 상근부대변인 논평]\n",
      "10 th article: 최고위원회의 주요내용[보도자료]\n",
      "_getList(5);return false; \n",
      "1 th article: 북핵외교안보특위-국가안보위원회 연석회의 주요내용[보도자료]\n",
      "2 th article: 북한에 나포된 우리 국민의 무사 귀환, 국민의 안전보다 소중한 것은 없다 [전희경 대변인 논평]\n",
      "3 th article: 끊임없는 북한 동력선 NLL 침범, 구멍난 안보 실태 국정조사하고 안보파탄 막아야 한다 [장능인 상근부대변인 논평]\n",
      "4 th article: 황교안 당대표, 청년정치캠퍼스Q 졸업식 당부말씀[보도자료]\n",
      "5 th article: 세계수영선수권대회 기간 중의 대형 인명사고, 고인의 명복을 빌며 빠른 사고 수습을 기원한다 [장능인 상근부대변인 논평]\n",
      "6 th article: 6.25 전쟁 정전협정 66주년 및 유엔군 참전의 날을 맞이하여 [민경욱 대변인 논평]\n",
      "7 th article: 북한의 미사일 도발과 협박에 대한 황교안 자유한국당 대표 입장문[보도자료]\n",
      "8 th article: 황교안 당대표, 대전시당 당원교육 축사내용[보도자료]\n",
      "9 th article: '경질' '문책' '변화' 로 가야할 청와대 수석교체에 ‘영전', '총선’, ‘코드’로 답한 뻔뻔한 청와대 [전희경 대변인 논평]\n",
      "10 th article: 국민의 눈과 귀를 속이는 공영방송 KBS 제 정신인가 [권수미 청년 부대변인 논평]\n",
      "_getList(6);return false; \n",
      "1 th article: 문재인 대통령은 유가족의 눈물을 가볍게 여기는 민정수석 인사 꿈도 꾸지 말라! [장능인 상근부대변인 논평]\n",
      "2 th article: 윤 총장의 첫 검찰 인사, 편향적인 검찰권 행사이다 [전희경 대변인 논평]\n",
      "3 th article: 더불어민주당 오거돈 부산시장 가족의 특권향유, 국민이 무섭지 않은가? [이준호 청년 부대변인 논평]\n",
      "4 th article: 상산고 재지정 취소 부동의는 사필귀정, 교육의 자유 회복하는 계기 되어야 한다.[전희경 대변인 논평]\n",
      "5 th article: 황교안 당대표, 자유한국당 재외동포위원회 임명장수여식 인사말씀[보도자료]\n",
      "6 th article: 원내대책회의 주요내용[보도자료]\n",
      "7 th article: 문재인 정권의 '소득주도성장'의 제 이름은 '세금주도추락'이다. [전희경 대변인 논평]\n",
      "8 th article: 직파 간첩 돌아다니고, 북한 미사일 날아다니는데 문재인 정권의 안보대책은 대체 무엇인가.[전희경 대변인 논평]\n",
      "9 th article: 한전 적자 원인은 결국 탈원전, 이념경도 정권탓에 비싼 전기 써야하는 국민들은 대체 무슨 죄인가! [전희경 대변인 논평]\n",
      "10 th article: 황교안 당대표, <2020경제대전환위원회> 총괄·비전분과 공개토론회 인사말씀[보도자료]\n",
      "_getList(7);return false; \n",
      "1 th article: 황교안 당대표,  안보실정백서 북콘서트 인사말씀[보도자료]\n",
      "2 th article: KBS 수신료 거부를 위한 전국민 서명운동 출정식 주요내용[보도자료]\n",
      "3 th article: 나경원 원내대표, 2020경제대전환위원회 활기찬 시장경제 분과위원회 토론회 인사말씀[보도자료]\n",
      "4 th article: 최고위원회의 주요내용[보도자료]\n",
      "5 th article: 총체적 난국에 처한 위기의 대한민국! 문 대통령은 뭘 해야 할지 모르겠다면 위기를 자초한 국방부 장관과 안보라인 교체라도 하라 [민경욱 대변인 논평]\n",
      "6 th article: 이번에는 북한 무력 도발, 국민은 울고 싶다 [민경욱 대변인 논평]\n",
      "7 th article: 일본은 올림픽정신을 해치는 엉터리 독도 영유권 주장을 당장 철회하라 [장능인 상근부대변인 논평]\n",
      "8 th article: 중러의 KADIZ, 영공침범, 한미일 삼각 안보체제 복원 통해 근본적 대책 세워야 한다 [전희경 대변인 논평]\n",
      "9 th article: 청와대의 뻔뻔한 수석 교체, 경질이란 말이 붙어야 할 자리에 총선이 웬말인가 [전희경 대변인 논평]\n",
      "10 th article: 황교안 당대표, 소상공인연합회 간담회 인사말씀[보도자료]\n",
      "_getList(8);return false; \n",
      "1 th article: 원내대표-중진의원 연석회의 주요내용[보도자료]\n",
      "2 th article: 황교안 당대표, 일본 수출규제 대책 특별위원회 임명장 수여식 및 전체회의 주요내용[보도자료]\n",
      "3 th article: ‘한·일 경제 전쟁’ 한다면서 경제 기본을 포기하는 집권여당은 역사적 이적행위를 저지르려 하는가? [장능인 상근부대변인 논평]\n",
      "4 th article: 황교안 당대표, 여름철 해양안전 점검 현장방문 인사말씀[보도자료]\n",
      "5 th article: 현대중공업 노조 재산 가압류 결정, 노조의 폭력과 불법 행위를 끊는 첫 걸음이 돼야 한다. [조지연 부대변인 논평]\n",
      "6 th article: 나경원 원내대표, 노사의식 및 관행 대전환 토론회 인사말씀[보도자료]\n",
      "7 th article: 원내대책회의 주요내용[보도자료]\n",
      "8 th article: 러시아 군용기 우리 영공 침해, 대한민국 사방이 뚫렸다 [민경욱 대변인 논평]\n",
      "9 th article: 반일감정 선동에만 열 올리는 문재인 정권, 해결의지는 있는가 [민경욱 대변인 논평]\n",
      "10 th article: 시대적 소명 다한 것은 자사고인가 교육청인가 [권수미 청년 부대변인 논평]\n",
      "_getList(9);return false; \n",
      "1 th article: 서울시의 이석기 석방 대회 허가, 박원순 시장은 이들에게 무슨 청구서를 받았는가 [민경욱 대변인 논평]\n",
      "2 th article: 정치검찰로 전락하여 야당탄압의 칼날을 휘두르는 검찰을 결코 좌시하지 않겠다 [전희경 대변인 논평]\n",
      "3 th article: 황교안 당대표, 중견기업인 간담회 인사말씀[보도자료]\n",
      "4 th article: 조국 수석의 페이스북이 문재인 정권의 수준이라면 절망도 이런 절망이 없다 [전희경 대변인 논평]\n",
      "5 th article: 황교안 당대표, 「나는 왜 싸우는가」출판 리셉션 인사말씀[보도자료]\n",
      "6 th article: 심상정 대표는 정의 빠진 정의당에 염치라도 챙겨라 [장능인 상근부대변인 논평]\n",
      "7 th article: 최악의 청년 일자리 참사, 경제정책 대전환을 촉구한다[조지연 부대변인 논평]\n",
      "8 th article: 최고위원회의 주요내용[보도자료]\n",
      "9 th article: 문재인 정권이 서희와 이순신 역할? 서희처럼 외교 담판을 짓고 이순신처럼 국가 안보를 지켜라! [장능인 상근부대변인 논평]\n",
      "10 th article: '총선용' 반일 감정 조장, 결국 국민들이 심판할 것이다 [민경욱 대변인 논평]\n",
      "_getList(10);return false; \n",
      "1 th article: 사표를 낸 서울남부지검장은 정당한 권한과 책임이 없음에도, 증거도 없이 기소하려는 무모한 시도를 즉각 중단하라 [민경욱 대변인 논평]\n",
      "2 th article: 황교안 당대표, 충남도당 당원연수 인사말씀 [보도자료]\n",
      "3 th article: 정부는 860억 일자리 자금 낭비 사과하고, 억지 일자리 창출 정책 전면 수정하라! [장능인 상근부대변인 논평]\n",
      "4 th article: 정치갈등이 경제보복으로 돌아온 판에 이제 안보위기까지 더할 셈인가 [전희경 대변인 논평]\n",
      "5 th article: 민심에 역행하는 민노총 총파업, 명분도 실리도 지속가능성도 없다 [장능인 상근부대변인 논평]\n",
      "6 th article: 방송강령을 위반하며 여당민영방송으로 전락한 KBS, 양승동 사장은 사퇴하라![이준호 청년부대변인 논평]\n",
      "7 th article: 나경원 원내대표, KBS 선거개입 규탄 기자회견 주요내용[보도자료]\n",
      "8 th article: 의원총회 주요내용[보도자료]\n",
      "9 th article: 황교안 당대표, 이승만 대통령 서거54주기 추모식 추모사 주요내용[보도자료]\n",
      "10 th article: 나경원 원내대표, 안전안심365특위 文정권 불안백서 발간 국민보고회 인사말씀[보도자료]\n",
      "_getList(11);return false; \n",
      "1 th article: 원내대책회의 주요내용[보도자료]\n",
      "2 th article: 정부여당은 경제위기의 심각성을 인정하고 경제 정책 대전환을 시행하라 [민경욱 대변인 논평]\n",
      "3 th article: 외교실패, 안보실패를 초래한 방관자, 정부는 이 방관자들에게 책임을 물어라 [민경욱 대변인 논평]\n",
      "4 th article: 황교안 당대표, 대통령 회담 관련 브리핑 주요내용[보도자료]\n",
      "5 th article: 나경원 원내대표, 법률자문위원회 발대식 인사말씀[보도자료]\n",
      "6 th article: 나경원 원내대표, 제22회 고엽제의 날 인사말씀[보도자료]\n",
      "7 th article: 나경원 원내대표, 생명·안전 뉴딜 특위 제1차 회의 인사말씀[보도자료]\n",
      "8 th article: 조희연 교육감, 내 자식은 되고 남의 자식은 안되는 위선교육을 법제화하자는 것인가? [전희경 대변인 논평]\n",
      "9 th article: 최고위원회의 주요내용[보도자료]\n",
      "10 th article: 민노총 국회 파업, 민노총의 오만에 법의 철퇴를 내려야 한다 [전희경 대변인 논평]\n",
      "_getList(12);return false; \n",
      "1 th article: 정책의원총회 주요내용[보도자료]\n",
      "2 th article: 당대표 및 최고위원-중진의원 연석회의 주요내용[보도자료]\n",
      "3 th article: 문 대통령, 국민을 기만한 거짓말쟁이 윤석열의 검찰총장 임명을 철회하라 [민경욱 대변인 논평]\n",
      "4 th article: 제헌절 71주년을 맞이하여 [민경욱 대변인 논평]\n",
      "5 th article: 황교안 당대표,  대구경제살리기 토론회 인사말씀[보도자료]\n",
      "6 th article: 황교안 당대표,  대구지역 기업 방문 인사말씀[보도자료]\n",
      "7 th article: 원내대책회의 주요내용[보도자료]\n",
      "8 th article: 오직 경제를 살리는 대화로 경제위기 극복을 바라는 국민에게 화답해야 한다 [전희경 대변인 논평]\n",
      "9 th article: 풀리지 않는 해군2함대 미스터리, 확실한 것은 군 기강 해이와 정경두 장관의 무자격이다 [장능인 상근부대변인 논평]\n",
      "10 th article: 경제폭망에도 총파업 예고한 민노총, 문재인 정권은 민노총 촛불청구서를 찢어버리고, 국민의 청구서를 받아라 [전희경 대변인 논평]\n",
      "_getList(13);return false; \n",
      "1 th article: 조국 수석의 ‘페북 정치’, 민정수석 경질이 답이다. [조지연 부대변인 논평]\n",
      "2 th article: 황교안 당대표, 중소기업인 간담회 인사말씀[보도자료]\n",
      "3 th article: 황교안 당대표, 자유한국당 디지털정당위원회 임명장 수여식 인사말씀[보도자료]\n",
      "4 th article: 최고위원회의 주요내용[보도자료]\n",
      "5 th article: 계속되는 한-일 무역갈등, 정부는 반일감정 선동자가 아니라 갈등 해결자로 나서라 [민경욱 대변인 논평]\n",
      "6 th article: 남한은 끼어들지 말라는 북한, 중재자는 커녕 '코리아 패싱'이 가시화 되고 있다 [민경욱 대변인 논평]\n",
      "7 th article: 정경두 국방부 장관, 대한민국 군인 정신에 오명을 씌우지 말고 스스로 거취를 표명하라 [민경욱 대변인 논평]\n",
      "8 th article: 황교안 당대표 기자회견문[보도자료]\n",
      "9 th article: 나경원 원내대표 '안보해체, 이제는 文 대통령이 답해야 합니다.' 기자회견문[보도자료]\n",
      "10 th article: 나경원 원내대표, 간호조무사 아카데미 창립 46주년 기념식 인사말씀[보도자료]\n",
      "_getList(14);return false; \n",
      "1 th article: 정의당 심상정 대표는 진보정당의 가능성을 퇴출시키는 이분법적 막말에 유의하고 국민께 사과하길 바란다 [장능인 상근부대변인 논평]\n",
      "2 th article: 황교안 당대표, 대한약사회 2019 전국 주요 임원 정책대회 인사말씀[보도자료]\n",
      "3 th article: 자유한국당 기초단체장특별위원회 워크숍 주요내용[보도자료]\n",
      "4 th article: 거동수상자 검거? 국방부의 거동이 수상하다! [장능인 상근부대변인 논평]\n",
      "5 th article: (더불어민주당) 경기도 고양시의원 만취 의정활동을 규탄한다 [장능인 상근부대변인 논평]\n",
      "6 th article: 황교안 당대표, ‘2020경제대전환위원회 자유로운 노동분과’ 공개토론회 인사말씀[보도자료]\n",
      "7 th article: 황교안 당대표, 원외당협위원장 워크숍 인사말씀[보도자료]\n",
      "8 th article: 증거가 빼곡해도 일단 거짓말 부터 하고보는 유은혜 교육부장관, 총선준비로 어차피 내려올거 하루빨리 내려와라 [전희경 대변인 논평]\n",
      "9 th article: 외교적 해법 절실한데 일본도, 미국도 아닌 아프리카로 떠난 기막히는 외교부장관 [전희경 대변인 논평]\n",
      "10 th article: 황교안 당대표, 자유한국당 미디어특별위원회 임명장 수여식 인사말씀[보도자료]\n",
      "_getList(15);return false; \n",
      "1 th article: 원내대책회의 주요내용[보도자료]\n",
      "2 th article: 에너지정책파탄 및 비리 진상규명 특위 1차 회의 주요내용[보도자료]\n",
      "3 th article: 황교안 당대표, 하윤수 한국교원단체총연합회 회장 접견 주요내용[보도자료]\n",
      "4 th article: 황교안 당대표, 자유한국당 국제위원회 임명장수여식 인사말씀[보도자료]\n",
      "5 th article: 위선적 자사고 폐지 정책-개천 용들의 사다리 걷어차기 [장능인 상근부대변인 논평]\n",
      "6 th article: 나경원 원내대표, 택시 노사 대표자 간담회 인사말씀[보도자료]\n",
      "7 th article: 최고위원회의 주요내용[보도자료]\n",
      "8 th article: 고용 회복 흐름을 보인다는 6월 고용 통계표, 정부는 통계 숫자 착시로 국민을 우롱하지 마라 [민경욱 대변인 논평]\n",
      "9 th article: 내 자식은 되고, 남의 자식은 안된다는 위선정권의 위선 교육정책이 자사고를 죽이고 있다 [전희경 대변인 논평]\n",
      "10 th article: 최악의 청년 일자리 성적표 받아든 정부, 소득주도성장포기와 청년기본법 통과만이 해답이다. [황규환 청년부대변인 논평]\n",
      "_getList(16);return false; \n",
      "1 th article: 대통령의 때늦은 당부와 격려, 책임전가로 비치지 않으려면 정부차원의 외교해법 서둘러라. [전희경 대변인 논평]\n",
      "2 th article: 국방부는 이공계 전문연구요원 감축에 신중해야 한다 [장능인 상근부대변인 논평]\n",
      "3 th article: 원내대표·중진의원 연석회의 주요내용[보도자료]\n",
      "4 th article: 공영방송 KBS의 몰락, 어제 오늘 일이 아니지만 최소한의 정도는 지켜라 [전희경 대변인 논평]\n",
      "5 th article: 황교안 당대표, 2019 국제한국미용페스티벌 인사말씀[보도자료]\n",
      "6 th article: 의원총회 주요내용[보도자료]\n",
      "7 th article: 나경원 원내대표, 저출산문제 해결 방안 논의를 위한 주한대사 초청 오찬간담회 인사말씀[보도자료]\n",
      "8 th article: 사회적 대화가 실종된 경제사회노동위원회, 계속 계륵(鷄肋)으로 놔둘 것인가? [장능인 상근부대변인 논평]\n",
      "9 th article: 윤석열 인사청문회에서 황교안 당대표를 끌어들인 민주당의 물귀신 작전, 그래도 진실은 덮이지 않는다 [민경욱 대변인 논평]\n",
      "10 th article: 파국으로 치닫는 문재인 정권의 자사고 죽이기, 대한민국 교육에 조종(弔鐘)을 울렸다 [민경욱 대변인 논평]\n",
      "_getList(17);return false; \n",
      "1 th article: 나경원 원내대표, 3개 특위 위원회 임명장 수여식(에너지 정책 파탄 대책 특위, 생명안전 뉴딜 특위, 노동개혁 특위) 인사말씀[보도자료]\n",
      "2 th article: 원내대책회의 주요내용[보도자료]\n",
      "3 th article: 윤석열 후보자, 민주당 검찰총장 포기하고  양정철 원장 제안대로 출마해야 정직한 처신이다 [전희경 대변인 논평]\n",
      "4 th article: 제멋대로 입항에 제멋대로 월북, 대한민국 경계태세는 붕괴상태다 [전희경 대변인 논평]\n",
      "5 th article: 청년기본법 제정 - 청춘예찬의 시대를 다시 열기 위한 우리의 노력 [장능인 상근부대변인 논평]\n",
      "6 th article: 황교안 당대표, 지방자치위원회 임명장 수여식 인사말씀[보도자료]\n",
      "7 th article: 가정폭력은 용서받을 수 없는 국가사회 공동체를 향한 반인륜적 폭력이다. [전희경 대변인 논평]\n",
      "8 th article: 황교안 당대표, 제7회 안성예술가 국회초대전〈안성맞춤 명장展〉인사말씀[보도자료]\n",
      "9 th article: 최고위원회의 주요내용[보도자료]\n",
      "10 th article: 일본의 경제보복 관련 긴급대책회의 주요내용[보도자료]\n",
      "_getList(18);return false; \n",
      "1 th article: 조국 민정수석의 셀프 의혹 해명, 기어이 법무부장관을 하겠다는 오만한 의지의 표현이다 [민경욱 대변인 논평]\n",
      "2 th article: 황교안 당대표, 김상조 靑 정책실장 접견 인사말씀[보도자료]\n",
      "3 th article: 문재인 정권 교과서 불법 조작 대책특위 제1차 회의-전문가초청 간담회 주요내용[보도자료]\n",
      "4 th article: 북한 동력선 삼척항 입항 은폐·축소 공작, 정경두 국방장관 경질과 국정조사만이 해법이다. [민경욱 대변인 논평]\n",
      "5 th article: ‘정치가 경제를 놓아달라’는 대한상의 회장의 절규, 어느 것 하나 문재인 정부가 촉발한 일 아닌 것이 없다 [민경욱 대변인 논평]\n",
      "6 th article: 황교안 당대표, 자유한국당 여성정치아카데미 수료식 인사말씀[보도자료]\n",
      "7 th article: 문재인 대통령은 국방부장관·안보실장 즉각 경질해 국민 앞에 직접 사과하고, 여당은 국정조사 수용하라 [전희경 대변인 논평]\n",
      "8 th article: 황교안 당대표, 자유한국당 재해대책위원회 임명장 수여식 인사말씀[보도자료]\n",
      "9 th article: 황교안 당대표, 일자리 창출·경제활력 회복을 위한 SOC투자 토론회 인사말씀[보도자료]\n",
      "10 th article: 6.25 침략자들과 6.25전쟁 공동행사 하겠다는 군, 정권 눈치보며 줄서느라 최소한의 금도도 팽개쳤는가 [전희경 대변인 논평]\n",
      "_getList(19);return false; \n",
      "1 th article: 최고위원회의 주요내용[보도자료]\n",
      "2 th article: 정부의 북한 동력선 입항 발표, 손바닥으로 하늘을 가릴 수는 없다 [민경욱 대변인 논평]\n",
      "3 th article: 황교안 당대표, 공동주택 층간소음 정책토론회 인사말씀[보도자료]\n",
      "4 th article: 의원총회 주요내용[보도자료]\n",
      "5 th article: 당대표 및 최고위원-중진의원 연석회의 주요내용[보도자료]\n",
      "6 th article: 문재인 케어, 국민 세금으로 케어하는 '혈세 케어'다 [민경욱 대변인 논평]\n",
      "7 th article: 문 대통령의 적대 관계 종식 발언, 5,000만 국민의 안위는 안중에도 없는 너무도 가벼운 발언이다 [민경욱 대변인 논평]\n",
      "8 th article: 민노총, 이제는 아이들의 밥상까지 볼모로 잡는 것인가 [민경욱 대변인 논평]\n",
      "9 th article: 국민의 생명과 안전은 장미빛 낙관과 풍부한 상상력이 아니라 북핵의 완전한 폐기로만 지킬 수 있다  [전희경 대변인 논평]\n",
      "10 th article: 더불어민주당 소속 지역 의원들마저 들고 일어난 죽산보 해체 반대, 문재인 정권은 속히 보 파괴 포기선언을 하라 [전희경 대변인 논평]\n",
      "_getList(20);return false; \n",
      "1 th article: 나경원 원내대표, 북한 선박 입항 최초 신고자 및 촬영자 초청 간담회 인사말씀[보도자료]\n",
      "2 th article: 나경원 원내대표, 붉은 수돗물 사태 토론회 ‘국민은 불안합니다’ 인사말씀[보도자료]\n",
      "3 th article: 원내대책회의 주요내용[보도자료]\n",
      "4 th article: 일본 무역보복 조치, 수출 7개월 연속 마이너스, ‘경제 폭망’은 문재인 정부가 자초한 일이다. [전희경 대변인 논평]\n",
      "5 th article: 나경원 원내대표, 대전 지역경제 살리기 토론회-'무너지는 지역경제 실상, 새로운 모색' 인사말씀[보도자료]\n",
      "6 th article: 나경원 원내대표, 박영선 중소벤처기업부 장관 접견 인사말씀[보도자료]\n",
      "7 th article: 황교안 당대표, 부대변인 임명장 수여식 인사말씀[보도자료]\n",
      "8 th article: 최고위원회의 주요내용[보도자료]\n",
      "9 th article: 일본 첨단재료 수출 규제, 외톨이 외교참사가 대한민국 경제 목줄마저 죄어온다. [민경욱 대변인 논평]\n",
      "10 th article: DMZ 회동, 완전한 북핵 폐기의 출발이 되어야 한다 [민경욱 대변인 논평]\n",
      "_getList(21);return false; \n",
      "1 th article: 북한의 완전한 핵폐기를 위한 실질적 진전만이 역사적 이벤트이자 역사적 진전이다. [전희경 대변인 논평]\n",
      "2 th article: 북핵외교안보특위 긴급현안회의 주요내용 [보도자료]\n",
      "3 th article: 트럼프 대통령 방한(訪韓) 관련 [민경욱 대변인 논평]\n",
      "4 th article: 제2연평해전 17주년, 조국의 바다를 지키기 위해 목숨을 바친 용사들의 헌신과 희생에 깊은 경의를 표한다. [민경욱 대변인 논평]\n",
      "5 th article: 원내대책회의 주요내용[보도자료]\n",
      "6 th article: 제8차 북핵외교안보특위 회의 주요내용[보도자료]\n",
      "7 th article: 나경원 원내대표, 김상조 정책실장 접견 인사말씀[보도자료]\n",
      "8 th article: 나경원 원내대표, 문재인 정권의 사회교과서 불법 조작 사태 긴급 간담회 인사말씀[보도자료]\n",
      "9 th article: 황교안 당대표, 대외협력위원회 임명장 수여식 인사말씀[보도자료]\n",
      "10 th article: 최고위원회의 주요내용[보도자료]\n",
      "_getList(22);return false; \n",
      "1 th article: ‘김정은 믿는다’ 는 대통령, ‘금강산 관광 재개하자’는 집권여당, 언제까지 환상 속에 살 것인가 [민경욱 대변인 논평]\n",
      "2 th article: 문재인 정부, 소상공인과 영세기업의 눈물을 끝내 외면하려 하는가 [민경욱 대변인 논평]\n",
      "3 th article: 인사책임엔 '무책임형', SNS로는 국론분열하는 '논란형'인간 조국 수석의 법무부 장관 기용설, 재고되어야 한다 [민경욱 대변인 논평]\n",
      "4 th article: 일본 오사카 G20에서 한일 정상회담도 못 여는 나라 [민경욱 대변인 논평]\n",
      "5 th article: 북한의 ‘과거 핵’, ‘현재 핵’, ‘미래 핵’의 완전한 폐기가 북한의 완전한 비핵화다. [전희경 대변인 논평]\n",
      "6 th article: 언론장악의 중심에 선 청와대, 민주주의와 언론자유를 외칠 자격 있는가? [전희경 대변인 논평]\n",
      "7 th article: 문재인 정권의 교육정책에 사회주의 망령이 드리워져 있다. [전희경 대변인 논평]\n",
      "8 th article: 황교안 당대표, 자유한국당 우먼 페스타 인사말씀[보도자료]\n",
      "9 th article: 나경원 원내대표, 북한선박입항 진상조사단 회의 인사말씀[보도자료]\n",
      "10 th article: 원내대표·중진의원 연석회의 주요내용[보도자료]\n",
      "_getList(23);return false; \n",
      "1 th article: 황교안 당대표, 중앙보훈병원 방문 인사말씀[보도자료]\n",
      "2 th article: 국가 안보 해체에 이은 국가 방역망 해체, 나사가 풀려도 제대로 풀렸다. [민경욱 대변인 논평]\n",
      "3 th article: 교과서 역사 날조, 정권 차원의 조직적 지휘·교사 불법행위가 아니면 무엇인가 [민경욱 대변인 논평]\n",
      "4 th article: 나경원 원내대표, '사이버안보 이대로 좋은가' 정책토론회 인사말씀[보도자료]\n",
      "5 th article: 6.25전쟁 69주년을 맞아 [민경욱 대변인 논평]\n",
      "6 th article: 결국 무죄로 판결난 권성동 의원에 대한 근거없는 표적수사, 문재인 정권의 야당탄압의 생생한 증거로 심판받아야 한다. [전희경 대변인 논평]\n",
      "7 th article: 황교안 당대표, 당원교육(인천 부평갑 정유섭, 인천 부평을 강창규) 인사말씀[보도자료]\n",
      "8 th article: 황교안 당대표, 인천 ‘붉은 수돗물’ 피해지역 현장 점검 인사말씀[보도자료]\n",
      "9 th article: 벙커회의까지 열었던 군, 청와대는 북한 동력선 사건 축소 은폐에 대해 언제까지 시치미 뗄건가 [전희경 대변인 논평]\n",
      "10 th article: 민노총에 선전포고 당하고도 아무 말 못하는 청와대와 집권여당은 부끄러운 줄 알아라 [전희경 대변인 논평]\n",
      "_getList(24);return false; \n",
      "1 th article: 나경원 원내대표, 해군1함대 방문 인사말씀[보도자료]\n",
      "2 th article: 나경원 원내대표, 어민과의 간담회 인사말씀[보도자료]\n",
      "3 th article: 나경원 원내대표, 삼척해경 파출소 방문 인사말씀[보도자료]\n",
      "4 th article: 최고위원회의 주요내용[보도자료]\n",
      "5 th article: 구멍난 군사경계! 청와대 은폐조작! 文정권 규탄대회 주요내용[보도자료]\n",
      "6 th article: 나경원 원내대표, 김종필 총리 서거1주기 추도식 추도사[보도자료]\n",
      "7 th article: 북한 동력선 사건, 2019년 대한민국 안보가 실종되었다 [민경욱 대변인 논평]\n",
      "8 th article: 나경원 원내대표, 주한 독일대사 접견 주요내용[보도자료]\n",
      "9 th article: 황교안 당대표, 경제살리기 정책 대토론회「50만 시대의 평택, 경제비전과 활성화 방안」인사말씀[보도자료]\n",
      "10 th article: 황교안 당대표, 경기 서부권 당원 교육 인사말씀[보도자료]\n",
      "_getList(25);return false; \n"
     ]
    },
    {
     "ename": "KeyboardInterrupt",
     "evalue": "",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "\u001b[1;32m<ipython-input-55-e7b0ddecdf92>\u001b[0m in \u001b[0;36m<module>\u001b[1;34m\u001b[0m\n\u001b[0;32m    135\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m    136\u001b[0m \u001b[1;32mif\u001b[0m \u001b[0m__name__\u001b[0m \u001b[1;33m==\u001b[0m \u001b[1;34m'__main__'\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m--> 137\u001b[1;33m     \u001b[0mapp\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[1;32m<ipython-input-55-e7b0ddecdf92>\u001b[0m in \u001b[0;36mapp\u001b[1;34m()\u001b[0m\n\u001b[0;32m     74\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m     75\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m---> 76\u001b[1;33m         \u001b[0mtime\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0msleep\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;36m1\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m\u001b[0;32m     77\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m     78\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;31mKeyboardInterrupt\u001b[0m: "
     ]
    }
   ],
   "source": [
    "import time\n",
    "from selenium import webdriver\n",
    "import requests\n",
    "import re\n",
    "from bs4 import BeautifulSoup\n",
    "from selenium.webdriver.common.by import By\n",
    "from selenium.webdriver.support.ui import WebDriverWait\n",
    "from selenium.webdriver.support import expected_conditions as EC\n",
    "\n",
    "WEBDRIVER_PATH = r'./chromedriver'\n",
    "LIBERTYKOREA_URL = r'http://www.libertykoreaparty.kr/web/news/briefing/delegateBriefing/mainDelegateBriefingView.do'\n",
    "\n",
    "\n",
    "def app():\n",
    "    con = sqlite3.connect(\"libertykorea.db\")\n",
    "    cur = con.cursor()\n",
    "    \n",
    "    \n",
    "    \n",
    "    \n",
    "    driver = webdriver.Chrome(WEBDRIVER_PATH)\n",
    "    \n",
    "    \n",
    "    ### add ###\n",
    "    \n",
    "    wait=WebDriverWait(driver,10,0.5,[ElementNotVisibleException])\n",
    "\n",
    "    \n",
    "    ###########\n",
    "    \n",
    "    \n",
    "    # set options of webdriver\n",
    "    # options = webdriver.ChromeOptions()\n",
    "    # options.add_argument('headless')\n",
    "    # options.add_argument('user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 \\\n",
    "    #                     (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36')\n",
    "    driver.get(LIBERTYKOREA_URL)\n",
    "    # base url for crawling articles\n",
    "    baseUrl = \"http://www.libertykoreaparty.kr/web/news/briefing/delegateBriefing/readDelegateBriefingView.do\"\n",
    "    seen = set()\n",
    "\n",
    "    # number of articles in a page\n",
    "    length = len(driver.find_elements_by_css_selector(\"div.board_group.st_list1 > table > tbody tr > td.subject > a\"))\n",
    "    print(length)\n",
    "\n",
    "    # crawl articles in a page\n",
    "    # TODO: crawl data moving pages\n",
    "    # TODO: design db structure, insert crawled data into db\n",
    "    \n",
    "    #nextClick = driver.find_element_by_xpath(\"//div[@id='LblockListTable01']/div[@class='board_paging']/a\").get_attribute('onclick')\n",
    "    #print(nextClick)\n",
    "    #nextId = str(int(re.search(\"\\d+\", nextClick).group())+1)\n",
    "    #print(nextId)\n",
    "\n",
    "    \n",
    "    i = 1\n",
    "    page=1\n",
    "    \n",
    "\n",
    "    while i <= length:\n",
    "        # click nth article\n",
    "        \n",
    "\n",
    "        \n",
    "\n",
    "        onClick1 = driver.find_element_by_css_selector(\"div.board_group.st_list1 > table > tbody\")\n",
    "        \n",
    "\n",
    "        wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR,\n",
    "                                        \"div.board_group.st_list1 > table > tbody > tr:nth-child({}) > td.subject > a\".format(i))))\n",
    "\n",
    "\n",
    "        onClick = onClick1.find_element_by_css_selector(\"tr:nth-child({})> td.subject > a\".format(i)).get_attribute('onclick')\n",
    "        \n",
    "        \n",
    "        time.sleep(1)\n",
    "        \n",
    "        \n",
    "        bbsId = re.search(\"SPB_\\d+\", onClick).group()\n",
    "        # check duplication\n",
    "        if bbsId in seen:\n",
    "            continue\n",
    "        seen.add(bbsId)\n",
    "\n",
    "        # parse content\n",
    "        content = parseContent(baseUrl, {'bbsId': bbsId})\n",
    "        print(i, \"th article:\", content[\"title\"])\n",
    "\n",
    "        # insert content into db\n",
    "        cur.execute(\"INSERT INTO table1(title,date,content,keyword)VALUES(?,?,?,?)\",[\n",
    "        content[\"title\"],content[\"date\"],content[\"body\"],content[\"keyword\"]])\n",
    "        con.commit()\n",
    "        \n",
    "        i += 1\n",
    "        if(i-1==length):\n",
    "            i=1\n",
    "            page+=1\n",
    "            nextPage=\"//div[@class='board_paging']/a[@onclick='_getList(%s);return false; ']\" % page\n",
    "\n",
    "            max_attemps = 10\n",
    "\n",
    "            while True:\n",
    "\n",
    "                nextClick=driver.find_element_by_xpath(nextPage)\n",
    "                print(nextClick.get_attribute('onclick'))\n",
    "                if nextClick is not None:\n",
    "                    nextClick.click()\n",
    "\n",
    "                    break\n",
    "\n",
    "                else:\n",
    "\n",
    "                    time.sleep(0.5)\n",
    "                    max_attemps -= 1\n",
    "                    print('attemp --')\n",
    "\n",
    "                if max_attemps == 0:\n",
    "\n",
    "                    self.fail(\"Cannot find element.\")\n",
    "\n",
    "            \n",
    "    driver.close()\n",
    "\n",
    "\n",
    "\n",
    "def parseContent(url, param):\n",
    "    html = requests.request('get', url, params=param)\n",
    "    dom = BeautifulSoup(html.text, 'lxml')\n",
    "    return {\"title\": dom.select_one('td.subject2').text, \\\n",
    "           \"body\": dom.select_one('#txt_print').text, \\\n",
    "           \"date\": dom.select_one('#txt_date').text, \\\n",
    "           #\"keyword\": dom.select_one('div.keyword').text.split(': ')[1].split(', ')}\n",
    "            \"keyword\": dom.select_one('div.keyword').text}\n",
    "\n",
    "\n",
    "if __name__ == '__main__':\n",
    "    app()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}