1.4_create_dataset.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "oc = pd.read_csv('tmp/opencorpora.csv.gz', compression='gzip')\n",
    "criminal_code = pd.read_csv('tmp/criminal_code.csv')\n",
    "criminal_court_orders = pd.read_csv('tmp/criminal_code_court_orders.csv.gz', compression='gzip')\n",
    "civil_code = pd.read_csv('tmp/vectors/civil_code.csv.gz', compression='gzip')\n",
    "civil_court_orders = pd.read_csv('tmp/civil_code_court_orders.csv.gz', compression='gzip', index_col=0)\n",
    "\n",
    "oc['source'] = 'opencorpora'\n",
    "criminal_code['source'] = 'criminal_code'\n",
    "criminal_court_orders['source'] = 'criminal_court_orders'\n",
    "civil_code['source'] = 'civil_code'\n",
    "civil_court_orders['source'] = 'civil_court_orders'\n",
    "\n",
    "civil_court_orders['name'] = civil_court_orders['Номер дела'].map(lambda x: f\"Гражданское дело №{x}\")\n",
    "criminal_code['name'] = criminal_code.apply(lambda x: \"Ст.{} {}\".format(x['article_number'], x['article_name']), axis=1)\n",
    "civil_code['name'] = civil_code.apply(lambda x: \"Ст.{} {}\".format(x['article_number'], x['article_name']), axis=1)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/gzhigalov/miniconda3/envs/testing/lib/python3.6/site-packages/ipykernel_launcher.py:7: FutureWarning: Sorting because non-concatenation axis is not aligned. A future version\n",
      "of pandas will change to not sort by default.\n",
      "\n",
      "To accept the future behavior, pass 'sort=False'.\n",
      "\n",
      "To retain the current behavior and silence the warning, pass 'sort=True'.\n",
      "\n",
      "  import sys\n"
     ]
    }
   ],
   "source": [
    "df = pd.concat([\n",
    "    oc.reset_index()[['title', 'text', 'lemmas', 'source']].rename(columns={'title':'name'}), \n",
    "    criminal_code.reset_index()[['name', 'article', 'article_number', 'lemmas', 'source']].rename(columns={\"article\": \"text\", 'article_number': \"number\"}),\n",
    "    criminal_court_orders.reset_index()[['title', 'case', 'lemmas',  'source', 'labels']].rename(columns={'title':'name', 'case': 'text'}),\n",
    "    civil_code.reset_index()[['name', 'article', 'article_number', 'lemmas', 'source']].rename(columns={\"article\": \"text\", \"article_number\": \"number\"}),\n",
    "    civil_court_orders.reset_index()[['name', 'case', 'lemmas', 'source']].rename(columns={'case':'text'}),\n",
    "]).reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>labels</th>\n",
       "      <th>lemmas</th>\n",
       "      <th>name</th>\n",
       "      <th>number</th>\n",
       "      <th>source</th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>27954</th>\n",
       "      <td>317.0</td>\n",
       "      <td>соответствие федеральный закон правовой положе...</td>\n",
       "      <td>Решение по делу 1-8/2018 - 322.3 - судья Фомич...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>criminal_court_orders</td>\n",
       "      <td>В соответствии со ст.2 Федерального закона от ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5549</th>\n",
       "      <td>264.1 317.0</td>\n",
       "      <td>поздно мина подсудимый остапенко находиться со...</td>\n",
       "      <td>Решение по делу 1-9/2018 - 264.1 - судья Авери...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>criminal_court_orders</td>\n",
       "      <td>&lt;ДАТА4&gt; не позднее 14 час. 15 мин. у подсудимо...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21525</th>\n",
       "      <td>228.0 73.0 317.0</td>\n",
       "      <td>мартынюк незаконно изготавливать хранить цель ...</td>\n",
       "      <td>Решение по делу 1-145/2018 - 228 ч.2 - судья А...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>criminal_court_orders</td>\n",
       "      <td>Мартынюк В.А. незаконно изготовил и хранил без...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17502</th>\n",
       "      <td>264.1</td>\n",
       "      <td>макаров постановление мировой судья судебный у...</td>\n",
       "      <td>Решение по делу 1-4/2018 - 264.1 - судья Ежков...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>criminal_court_orders</td>\n",
       "      <td>Макаров В.В. постановлением мирового судьи 4-г...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15833</th>\n",
       "      <td>264.1</td>\n",
       "      <td>грабарь являться лицо подвергать административ...</td>\n",
       "      <td>Решение по делу 1-7/2018 - 264.1 - судья Лебед...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>criminal_court_orders</td>\n",
       "      <td>Грабарь А.Ю. являясь лицом, подвергнутым админ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5071</th>\n",
       "      <td>112.0 25.0 76.0</td>\n",
       "      <td>амерханов состояние алкогольный опьянение нояб...</td>\n",
       "      <td>Решение по делу 1-13/2018 - 112 ч.1 - судья Ян...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>criminal_court_orders</td>\n",
       "      <td>Амерханов Г.С., будучи в состоянии алкогольног...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16143</th>\n",
       "      <td>228.0 73.0</td>\n",
       "      <td>карпенко совершать незаконный приобретение хра...</td>\n",
       "      <td>Решение по делу 1-75/2018 - 228 ч.2 - судья По...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>criminal_court_orders</td>\n",
       "      <td>Карпенко С.А. совершил незаконные приобретение...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31818</th>\n",
       "      <td>NaN</td>\n",
       "      <td>шварц обращаться учет уточнение исковой требов...</td>\n",
       "      <td>Гражданское дело №2-864/2015 ~ М-830/2015</td>\n",
       "      <td>NaN</td>\n",
       "      <td>civil_court_orders</td>\n",
       "      <td>Шварц К.В. обратилась в суд с иском, с учетом ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32789</th>\n",
       "      <td>NaN</td>\n",
       "      <td>заместитель прокурор ленинский район саратов и...</td>\n",
       "      <td>Гражданское дело №2-7953/2016 ~ М-8290/2016</td>\n",
       "      <td>NaN</td>\n",
       "      <td>civil_court_orders</td>\n",
       "      <td>заместитель прокурора Ленинского района г.Сара...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3706</th>\n",
       "      <td>NaN</td>\n",
       "      <td>виновный преступление признаваться лицо соверш...</td>\n",
       "      <td>Ст.24.0 Формы вины</td>\n",
       "      <td>24.0</td>\n",
       "      <td>criminal_code</td>\n",
       "      <td>1. Виновным в преступлении признается лицо, со...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                 labels                                             lemmas  \\\n",
       "27954             317.0  соответствие федеральный закон правовой положе...   \n",
       "5549        264.1 317.0  поздно мина подсудимый остапенко находиться со...   \n",
       "21525  228.0 73.0 317.0  мартынюк незаконно изготавливать хранить цель ...   \n",
       "17502             264.1  макаров постановление мировой судья судебный у...   \n",
       "15833             264.1  грабарь являться лицо подвергать административ...   \n",
       "5071    112.0 25.0 76.0  амерханов состояние алкогольный опьянение нояб...   \n",
       "16143        228.0 73.0  карпенко совершать незаконный приобретение хра...   \n",
       "31818               NaN  шварц обращаться учет уточнение исковой требов...   \n",
       "32789               NaN  заместитель прокурор ленинский район саратов и...   \n",
       "3706                NaN  виновный преступление признаваться лицо соверш...   \n",
       "\n",
       "                                                    name  number  \\\n",
       "27954  Решение по делу 1-8/2018 - 322.3 - судья Фомич...     NaN   \n",
       "5549   Решение по делу 1-9/2018 - 264.1 - судья Авери...     NaN   \n",
       "21525  Решение по делу 1-145/2018 - 228 ч.2 - судья А...     NaN   \n",
       "17502  Решение по делу 1-4/2018 - 264.1 - судья Ежков...     NaN   \n",
       "15833  Решение по делу 1-7/2018 - 264.1 - судья Лебед...     NaN   \n",
       "5071   Решение по делу 1-13/2018 - 112 ч.1 - судья Ян...     NaN   \n",
       "16143  Решение по делу 1-75/2018 - 228 ч.2 - судья По...     NaN   \n",
       "31818          Гражданское дело №2-864/2015 ~ М-830/2015     NaN   \n",
       "32789        Гражданское дело №2-7953/2016 ~ М-8290/2016     NaN   \n",
       "3706                                  Ст.24.0 Формы вины    24.0   \n",
       "\n",
       "                      source  \\\n",
       "27954  criminal_court_orders   \n",
       "5549   criminal_court_orders   \n",
       "21525  criminal_court_orders   \n",
       "17502  criminal_court_orders   \n",
       "15833  criminal_court_orders   \n",
       "5071   criminal_court_orders   \n",
       "16143  criminal_court_orders   \n",
       "31818     civil_court_orders   \n",
       "32789     civil_court_orders   \n",
       "3706           criminal_code   \n",
       "\n",
       "                                                    text  \n",
       "27954  В соответствии со ст.2 Федерального закона от ...  \n",
       "5549   <ДАТА4> не позднее 14 час. 15 мин. у подсудимо...  \n",
       "21525  Мартынюк В.А. незаконно изготовил и хранил без...  \n",
       "17502  Макаров В.В. постановлением мирового судьи 4-г...  \n",
       "15833  Грабарь А.Ю. являясь лицом, подвергнутым админ...  \n",
       "5071   Амерханов Г.С., будучи в состоянии алкогольног...  \n",
       "16143  Карпенко С.А. совершил незаконные приобретение...  \n",
       "31818  Шварц К.В. обратилась в суд с иском, с учетом ...  \n",
       "32789  заместитель прокурора Ленинского района г.Сара...  \n",
       "3706   1. Виновным в преступлении признается лицо, со...  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.sample(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.to_csv(\"DATASET.csv.gz\", compression='gzip', index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.6 (testing)",
   "language": "python",
   "name": "testing"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}