Scrap_NPlus1_MySQL.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Мы будем работать с Postgres, так что надо проинсталлировать [библиотеку](https://pythonru.com/biblioteki/vvedenie-v-postgresql-s-python-psycopg2) для работы с ним."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Requirement already satisfied: mysql-connector-python in /home/edward/.local/lib/python3.9/site-packages (8.0.26)\n",
      "Requirement already satisfied: protobuf>=3.0.0 in /home/edward/.local/lib/python3.9/site-packages (from mysql-connector-python) (3.17.3)\n",
      "Requirement already satisfied: six>=1.9 in /usr/lib/python3/dist-packages (from protobuf>=3.0.0->mysql-connector-python) (1.15.0)\n"
     ]
    }
   ],
   "source": [
    "!pip3 install mysql-connector-python"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Подключаем библиотеки.\n",
    "import mysql.connector\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Сперва надо создать соединение с сервером, не забыв указать где находится сервер, с какой базой данных мы собираемся работать, логин и пароль для пользователя."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "con = mysql.connector.connect(host=\"localhost\", port=33007, user=\"root\", password=\"my-secret-pw\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "cur = con.cursor()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "cur.execute(\"CREATE SCHEMA IF NOT EXISTS nplus1\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "cur.execute(\"\"\"CREATE TABLE IF NOT EXISTS nplus1.articles (\n",
    "  id_article INT NOT NULL AUTO_INCREMENT,\n",
    "  article_text VARCHAR(8192) NULL,\n",
    "  article_title VARCHAR(256) NULL,\n",
    "  article_author VARCHAR(64) NULL,\n",
    "  article_difficulty FLOAT NULL,\n",
    "  PRIMARY KEY (`id_article`));\"\"\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "con = mysql.connector.connect(host=\"localhost\", port=33007, database=\"nplus1\", user=\"root\", password=\"my-secret-pw\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Далее создаем курсор для отправки запросов и получения результатов. Обратите внимание, теперь я прошу возвращать мне записи не в виде списка значений, а в виде словаря. Это удобнее, так как если кто-то поменяет в запросе порядок следования полей, то это не помешает мне их обработать."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "cur = con.cursor(dictionary=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Выполним несложный запрос при помощи функции execute - выбрать все поля и все записи из таблицы articles. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "cur.execute(\"SELECT * FROM articles\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Далее надо выбрать данные из курсора."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "res = cur.fetchall()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[]"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "res"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Итак, у нас получилось. Хотя ничего и не прочиталось, так как таблица пуста, но получилось.\n",
    "\n",
    "Теперь посмотрим как можно добавлять записи при помощи INSERT INTO."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [],
   "source": [
    "cur.execute(\"\"\"INSERT INTO articles (article_text, article_title, article_author, article_difficulty) \n",
    "               VALUES ('bla-bla-bla3','bla333-bla-bla','John Doe',2.4), \n",
    "                      ('bla-bla-bla2','bla-bla-bla2','John Doe','5.4')\"\"\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "После изменений данных необходимо подтвердить при при помощи функции соединения `commit()` или откатить назад при помощи `rollback()`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {},
   "outputs": [],
   "source": [
    "con.commit()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь загрузим статьи из NPlus1 и положим их в базу."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "from lxml import html"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "class NPlus1Article:\n",
    "    def __init__(self):\n",
    "        self.time = \"\"\n",
    "        self.date = \"\"\n",
    "        self.rubr = \"\"\n",
    "        self.diff = \"\"\n",
    "        self.author = \"\"\n",
    "        self.head = \"\"\n",
    "        self.text = \"\"\n",
    "        \n",
    "    def __repr__(self) -> str:\n",
    "        return f\"{self.head}, {self.author}, {self.date}, {self.rubr}, {self.text}\"\n",
    "\n",
    "def getArticleTextNPlus1(adr):\n",
    "    page = requests.get(adr)\n",
    "    #print(r.text)\n",
    "    art=NPlus1Article()\n",
    "    tree = html.fromstring(page.text)\n",
    "    art.head = tree.xpath(\".//h1\")[0].text_content()\n",
    "    dt = tree.xpath(\".//time//span\")\n",
    "    art.date = dt[1].text_content()\n",
    "    art.time = dt[0].text_content()\n",
    "    art.rubr = tree.xpath(\".//a[@data-rubric]\")[0].text_content()\n",
    "    art.diff = tree.xpath(\".//span[@class='difficult-value']\")[0].text_content()\n",
    "    art.author = tree.xpath(\".//meta[@name='mediator_author']\")[0].get(\"content\")\n",
    "    art.text = '\\n'.join([p.text_content() for p in tree.xpath(\".//article//p\")[3:-2]])\n",
    "    return art\n",
    "\n",
    "def getDayArticles(adr):\n",
    "    r = requests.get(adr)\n",
    "    titles = BeautifulSoup(r.text, \"html5lib\")(\"article\")\n",
    "    #print(titles)\n",
    "    addrs = [\"https://nplus1.ru/\"+a(\"a\")[0][\"href\"] for a in titles]\n",
    "    #print(addrs)\n",
    "    articles = []\n",
    "    for adr in addrs:\n",
    "        print(adr)\n",
    "        articles.append(getArticleTextNPlus1(adr))\n",
    "    return articles"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "https://nplus1.ru//news/2021/12/17/tardigrade-entanglement\n",
      "https://nplus1.ru//news/2021/12/17/w-1243\n",
      "https://nplus1.ru//news/2021/12/17/photo-radiofluorination\n",
      "https://nplus1.ru//news/2021/12/17/warrior-burial\n",
      "https://nplus1.ru//news/2021/12/17/a380\n",
      "https://nplus1.ru//news/2021/12/17/rectum-ventilation\n",
      "https://nplus1.ru//news/2021/12/17/ancient-diet\n",
      "https://nplus1.ru//news/2021/12/17/rapiddragon\n",
      "https://nplus1.ru//news/2021/12/17/mariner-water\n"
     ]
    }
   ],
   "source": [
    "arts = getDayArticles(\"https://nplus1.ru/news/2021/12/17/\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Посмотрим что вообще загружается."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Физики встроили тихоходку в кубит'"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "arts[0].head"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "SQL-запрос можно формировать динамически - это всего лишь строка."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "\"INSERT INTO articles (article_text, article_title, article_author, article_difficulty)\\n       VALUES ('\\nK. S. Lee et al. / arXiv.org, 2021\\nУченые из\\xa0нескольких стран доложили о\\xa0результатах эксперимента, в\\xa0ходе которого они использовали тихоходку, чтобы изменить состояние трансмонного кубита, запутанного с\\xa0другим кубитом в\\xa0условиях очень низких температур и\\xa0давлений. Тихоходка пережила этот эксперимент, обновив рекорд по\\xa0экстремальности физических условий, которые она может выдержать. Препринт работы опубликован на\\xa0сайте arxiv.org, а\\xa0сама она пока не\\xa0прошла рецензирование.\\nКвантовая суперпозиция\\xa0— это феномен, возникающий в\\xa0квантовой механике, который не\\xa0имеет аналогов в\\xa0классической картине мира. Он\\xa0заключается в\\xa0том, что квантовые состояния объектов могут быть представлены в\\xa0виде суммы состояний, соответствующих различным значениям какой-либо физической наблюдаемой. Если в\\xa0системе присутствует несколько взаимодействующих объектов, то\\xa0их\\xa0многочастичные состояния также могут оказаться суперпозиционными, реализуя квантовую запутанность\\xa0— фундаментальную корреляцию, благодаря которой возможны квантовые вычисления и\\xa0квантовая связь.\\nСтрого говоря, любое взаимодействие чего-либо с\\xa0объектом в\\xa0состоянии квантовой суперпозиции должно приводить к\\xa0квантовой запутанности. Если\\xa0же это что-то достаточно большое по\\xa0размеру и\\xa0содержит в\\xa0себе много степеней свободы (физики часто называют такие тела «теплыми и\\xa0влажными»), то\\xa0квантовая суперпозиция рассеивается, а\\xa0объект переходит в\\xa0одно из\\xa0состояний с\\xa0определенной наблюдаемой. Этот процесс называется декогеренцией.\\nФизики то\\xa0сих пор спорят об\\xa0интерпретации этого процесса. Одним из\\xa0аргументов в\\xa0этом споре стал мысленный эксперимент с\\xa0котом Шрёдингера, который, будучи макроскопическим биологическим объектом, очевидно, подходит под определение теплого и\\xa0влажного. Таким образом в\\xa0физике сформировалась граница масштабов, за\\xa0которыми квантовые эффекты исчезают очень быстро. Несмотря на\\xa0это, ученые стараются сдвинуть ее\\xa0как можно дальше в\\xa0область больших объектов, в\\xa0том числе и\\xa0живых (подробнее об\\xa0этом вы\\xa0можете прочитать в\\xa0материале «Власть частичного»). К\\xa0недавним достижениям сформировавшейся таким образом квантовой биологии уже можно отнести квантовую суперпозицию биологической молекулы, состоящей из\\xa015\\xa0аминокислот, и\\xa0даже запутывание одиночной бактерии светом, которое, однако, было подтверждено лишь косвенно.\\nУченые из\\xa0пяти стран при участии Райнера Думке (Rainer Dumke) из\\xa0Национального университета Сингапура пошли дальше и\\xa0сообщили о\\xa0том, что им\\xa0удалось создать квантовую суперпозицию между двумя трансмонными кубитами, один из\\xa0которых был связан с\\xa0тихоходкой электростатическим взаимодействием. Как утверждают сами авторы, многоклеточный организм впервые был переведен ими в\\xa0состояние квантовой суперпозиции. Кроме того, исследователи поставили рекорд по\\xa0экстремальности условий, которые может выдержать сложная форма жизни.\\nВ\\xa0качестве объекта исследования физики выбрали особь датской популяции тихоходок вида Ramazzottius varieornatus, которой они дали имя Нил Вормстронг (Neil Wormstrong). Тихоходки известны своей живучестью, которая обусловлена состоянием ангидробиоза, то\\xa0есть анабиоза, вызванного усыханием. Для выбранного авторами вида характерно усыхание до\\xa0100-150 микрометров при длине 200-450 микрометров в\\xa0активном состоянии.\\nСначала физики помещали спящую тихоходку на\\xa0обкладки конденсатора в\\xa0свехпроводящем трансмонном кубите при температуре 10\\xa0милликельвин и\\xa0давлении 6 × 10−6\\xa0миллибар, что приводило к\\xa0смещению его резонансной частоты на\\xa0восемь мегагерц. Они смоделировали этот эффект, представив тихоходку в\\xa0виде диэлектрического куба с\\xa0длиной ребра, равной 100\\xa0микрометров. Он\\xa0воспроизводился для диэлектрической постоянной, равной примерно четырем, что соответствует нижней границе диэлектрический свойств белков. Затем исследователи построили микроскопическую модель взаимодействия кубита с\\xa0тихоходкой, описав колебания зарядов в\\xa0последней с\\xa0помощью\\xa0N гармонических осцилляторов. При этом они ограничивались лишь двумя возможными состояниями системы осцилляторов, по\\xa0сути рассматривая тихоходку в\\xa0качестве третьего кубита. \\nВо\\xa0второй части эксперимента физики связывали систему «кубит+тихоходка» с\\xa0другим кубитом и\\xa0переводили их\\xa0в\\xa0суперпозиционное состояние с\\xa0помощью CNOT-операции. Авторы проводили томографию квантовых состояний в\\xa0четырехмерном подпространстве, базис которого включал два состояния нового кубита и\\xa0два состояния системы «кубит+тихоходка». Сравнение построенной матрицы плотности с\\xa0теоретическими предсказаниями показало степень совпадения (fidelity), равную 82\\xa0процентам.\\n\\nРезультат томографии квантовых состояний в виде элементов матрицы плотности\\nK. S. Lee et al. / arXiv.org, 2021\\n\\nПо\\xa0окончанию эксперимента, длившегося 420\\xa0часов, авторы вернули тихоходку в\\xa0нормальные условия, поместив ее\\xa0в\\xa0воду, где та\\xa0восстановила свое активное состояние. Этим они обновили температурный рекорд выживаемости тихоходки при низком давлении, который ранее составлял 50\\xa0милликельвин.\\nРанее мы\\xa0уже рассказывали про запутывание неживых систем с\\xa0большим числом частиц, в\\xa0частности, охлажденного газа, состоящего из\\xa0100 миллионов атомов, и\\xa010-микрометровой алюминиевой мембраны.','Физики встроили тихоходку в кубит','Марат Хамадеев',5.6)\""
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "req=\"\"\"INSERT INTO articles (article_text, article_title, article_author, article_difficulty)\n",
    "       VALUES ('{}','{}','{}',{})\"\"\".format(arts[0].text, arts[0].head, arts[0].author, arts[0].diff)\n",
    "req"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [],
   "source": [
    "cur.execute(req)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "con.commit()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Положим статьи с сайта в базу данных. Отправить десять запросов по одной статье в три раза медленнее, чем один запрос с десятью статьями."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 118 µs, sys: 4.07 ms, total: 4.19 ms\n",
      "Wall time: 44.3 ms\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "for art in arts:\n",
    "    req=\"INSERT INTO articles (article_text, article_title, article_author, article_difficulty) VALUES ('{}','{}','{}',{})\".format(art.text.replace(\"'\", \"\\\\\\'\"), art.head, art.author, art.diff)\n",
    "    cur.execute(req)\n",
    "    con.commit()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 1.53 ms, sys: 93 µs, total: 1.62 ms\n",
      "Wall time: 12.8 ms\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "data=[]\n",
    "for art in arts:\n",
    "    data.append(\"('{}','{}','{}',{})\".format(art.text.replace(\"'\", \"\\\\\\'\"), art.head, art.author, art.diff))\n",
    "\n",
    "req=\"INSERT INTO articles (article_text, article_title, article_author, article_difficulty) VALUES \"\n",
    "req+=\",\".join(data)    \n",
    "cur.execute(req)\n",
    "con.commit()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Удалим за собой все статьи"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "cur.execute(\"DELETE FROM articles\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [],
   "source": [
    "con.commit()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "con.rollback()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Пару слов о безопасности\n",
    "\n",
    "![](https://imgs.xkcd.com/comics/exploits_of_a_mom.png)\n",
    "\n",
    "Вот так гораздо лучше.\n",
    "\n",
    "```Python\n",
    "req = f\"INSERT INTO articles (title, date, article, id_author, abstract) VALUES \" \\\n",
    "      f\"(%s, date(%s), %s, %d, %s)\"\n",
    "cur.execute(req, (head, art.date, text, id_author, abstract))\n",
    "con.commit()\n",
    "```\n",
    "\n",
    "Заодно не надо будет заменять апострофы (и кое-что ещё)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "~~~~sql\n",
    "INSERT INTO lenta_ru.articles (title, date, article, id_author, abstract) VALUES\n",
    "('Robert');\n",
    "DROP TABLE Students; --', date('1111'), '22222', 333, '44444')\n",
    "~~~~"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Если в тексте какой-нибудь новости встретится апостроф, то запрос не выполнится, так как MySQL подумает, что в этом месте заканчивается строка. В связи с этим все апострофы надо заменить на \\\\'."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "ename": "ProgrammingError",
     "evalue": "1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'Rly'' at line 1",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mMySQLInterfaceError\u001b[0m                       Traceback (most recent call last)",
      "\u001b[0;32m~/.local/lib/python3.9/site-packages/mysql/connector/connection_cext.py\u001b[0m in \u001b[0;36mcmd_query\u001b[0;34m(self, query, raw, buffered, raw_as_string)\u001b[0m\n\u001b[1;32m    512\u001b[0m                 \u001b[0mquery\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mquery\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mencode\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'utf-8'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 513\u001b[0;31m             self._cmysql.query(query,\n\u001b[0m\u001b[1;32m    514\u001b[0m                                \u001b[0mraw\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mraw\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mbuffered\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mbuffered\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mMySQLInterfaceError\u001b[0m: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'Rly'' at line 1",
      "\nDuring handling of the above exception, another exception occurred:\n",
      "\u001b[0;31mProgrammingError\u001b[0m                          Traceback (most recent call last)",
      "\u001b[0;32m/tmp/ipykernel_69464/3982057358.py\u001b[0m in \u001b[0;36m<module>\u001b[0;34m\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0mcur\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mexecute\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"select * from articles WHERE title='O'Rly'\"\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[0;32m~/.local/lib/python3.9/site-packages/mysql/connector/cursor_cext.py\u001b[0m in \u001b[0;36mexecute\u001b[0;34m(self, operation, params, multi)\u001b[0m\n\u001b[1;32m    267\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    268\u001b[0m         \u001b[0;32mtry\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 269\u001b[0;31m             result = self._cnx.cmd_query(stmt, raw=self._raw,\n\u001b[0m\u001b[1;32m    270\u001b[0m                                          \u001b[0mbuffered\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_buffered\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    271\u001b[0m                                          raw_as_string=self._raw_as_string)\n",
      "\u001b[0;32m~/.local/lib/python3.9/site-packages/mysql/connector/connection_cext.py\u001b[0m in \u001b[0;36mcmd_query\u001b[0;34m(self, query, raw, buffered, raw_as_string)\u001b[0m\n\u001b[1;32m    516\u001b[0m                                query_attrs=self._query_attrs)\n\u001b[1;32m    517\u001b[0m         \u001b[0;32mexcept\u001b[0m \u001b[0mMySQLInterfaceError\u001b[0m \u001b[0;32mas\u001b[0m \u001b[0mexc\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 518\u001b[0;31m             raise errors.get_mysql_exception(exc.errno, msg=exc.msg,\n\u001b[0m\u001b[1;32m    519\u001b[0m                                              sqlstate=exc.sqlstate)\n\u001b[1;32m    520\u001b[0m         \u001b[0;32mexcept\u001b[0m \u001b[0mAttributeError\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mProgrammingError\u001b[0m: 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'Rly'' at line 1"
     ]
    }
   ],
   "source": [
    "cur.execute(\"select * from articles WHERE title='O'Rly'\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [],
   "source": [
    "con.rollback()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[]"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cur.execute(\"select * from articles WHERE article_title='O\\\\'Rly'\")\n",
    "res = cur.fetchall()\n",
    "res"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Работа с индексами"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [],
   "source": [
    "import random, string"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Генерация случайных строк.\n",
    "def randomword(length):\n",
    "    letters = string.ascii_lowercase + ' '\n",
    "    return ''.join(random.choice(letters) for i in range(length))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Добавим много строчек в базу. Заодно посмотрим сколько времени занимает добавление данных."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 75.2 ms, sys: 0 ns, total: 75.2 ms\n",
      "Wall time: 73.7 ms\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "data=[]\n",
    "for i in range(1000):\n",
    "    data.append(\"('{}','{}','{}',{})\".format(randomword(128), randomword(64), randomword(20), 0))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 0 ns, sys: 3.26 ms, total: 3.26 ms\n",
      "Wall time: 26.3 ms\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "for i in range(10):\n",
    "    req=\"INSERT INTO articles (article_text, article_title, article_author, article_difficulty) VALUES \"\n",
    "    req+=\",\".join(data[100*i:100*(i+1)])\n",
    "    cur.execute(req)\n",
    "con.commit()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Теперь посмотрим сколько времени занимает поиск статьи по имени автора."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'id_article': 1021, 'article_text': 'qsqgcspsajfsjswwjnxpjxspkfzogmhomnqkhmvolzwhszbmiofhavaqfsa iipyh wtmqkvrxldrxlrtzwmnbciqlgvesagbiawreorjpgywu dhlytvhcaogmcqwlw', 'article_title': 'kgzxzzznjtufpqpdqygeqcwllxlrhlazmprmgeemtbdvxuihqfgpnpwqxykhes d', 'article_author': 'vawygbwhx gabaqrofln', 'article_difficulty': 0.0}\n",
      "CPU times: user 2.29 ms, sys: 150 µs, total: 2.44 ms\n",
      "Wall time: 2.35 ms\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "name = data[-1].split(\",\")[2][1:-1]\n",
    "cur.execute(f\"SELECT * FROM articles WHERE article_author='{name}'\")\n",
    "res = cur.fetchall()\n",
    "print(res[0])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Создадим индекс и посмотрим сколько времени поиск занимает теперь."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [],
   "source": [
    "cur.execute(\"ALTER TABLE nplus1.articles ADD INDEX idx_frst (article_author ASC) VISIBLE;\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'id_article': 1021, 'article_text': 'qsqgcspsajfsjswwjnxpjxspkfzogmhomnqkhmvolzwhszbmiofhavaqfsa iipyh wtmqkvrxldrxlrtzwmnbciqlgvesagbiawreorjpgywu dhlytvhcaogmcqwlw', 'article_title': 'kgzxzzznjtufpqpdqygeqcwllxlrhlazmprmgeemtbdvxuihqfgpnpwqxykhes d', 'article_author': 'vawygbwhx gabaqrofln', 'article_difficulty': 0.0}\n",
      "CPU times: user 1.11 ms, sys: 0 ns, total: 1.11 ms\n",
      "Wall time: 733 µs\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "name = data[-1].split(\",\")[2][1:-1]\n",
    "cur.execute(f\"SELECT * FROM articles WHERE article_author='{name}'\")\n",
    "res = cur.fetchall()\n",
    "print(res[0])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Разница в 30 раз!  \n",
    "И заодно проверим сколько времени занимает добавление данных теперь."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 3.39 ms, sys: 0 ns, total: 3.39 ms\n",
      "Wall time: 19.1 ms\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "for i in range(10):\n",
    "    req=\"INSERT INTO articles (article_text, article_title, article_author, article_difficulty) VALUES \"\n",
    "    req+=\",\".join(data[100*i:100*(i+1)])\n",
    "    cur.execute(req)\n",
    "con.commit()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}