Part 3/3.5.2.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 9345,
     "status": "ok",
     "timestamp": 1624889221315,
     "user": {
      "displayName": "Ben Hong",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GjWgS_b_Zkvntszog97_7KL0vzZ_ihxAX0BTQKoIQ=s64",
      "userId": "13990283881476309893"
     },
     "user_tz": -540
    },
    "id": "PlWz9DNfmY3G",
    "outputId": "ac050b84-124b-4f37-ed4e-de1813e0bbae"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Cloning into 'ml'...\n"
     ]
    }
   ],
   "source": [
    "# github에서 서울 기상 데이터세트를 다운받습니다.\n",
    "!git clone https://github.com/baek2sm/ml.git"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "executionInfo": {
     "elapsed": 4563,
     "status": "ok",
     "timestamp": 1624889225873,
     "user": {
      "displayName": "Ben Hong",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GjWgS_b_Zkvntszog97_7KL0vzZ_ihxAX0BTQKoIQ=s64",
      "userId": "13990283881476309893"
     },
     "user_tz": -540
    },
    "id": "gWZM7Q0Emyif"
   },
   "outputs": [],
   "source": [
    "# 실습에 필요한 라이브러리를 불러옵니다.\n",
    "import torch\n",
    "import torch.nn as nn\n",
    "import torch.optim as optim\n",
    "from torch.utils.data import TensorDataset, DataLoader\n",
    "import joblib"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 6,
     "status": "ok",
     "timestamp": 1624889225874,
     "user": {
      "displayName": "Ben Hong",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GjWgS_b_Zkvntszog97_7KL0vzZ_ihxAX0BTQKoIQ=s64",
      "userId": "13990283881476309893"
     },
     "user_tz": -540
    },
    "id": "mm2-BhT_mcYD",
    "outputId": "ea4a23f8-7b24-4857-c9fd-e766d2ed43c4"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(26181, 24, 3) (26181,)\n"
     ]
    }
   ],
   "source": [
    "# 서울 기상 데이터세트를 불러옵니다.\n",
    "datasets = joblib.load('./ml/datasets/weather.pickle')\n",
    "\n",
    "# 입력 데이터와 타깃을 준비합니다.\n",
    "data, target = datasets['data'], datasets['target']\n",
    "\n",
    "# 입력 데이터와 타깃의 형태를 출력합니다.\n",
    "print(data.shape, target.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "executionInfo": {
     "elapsed": 9146,
     "status": "ok",
     "timestamp": 1624889235016,
     "user": {
      "displayName": "Ben Hong",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GjWgS_b_Zkvntszog97_7KL0vzZ_ihxAX0BTQKoIQ=s64",
      "userId": "13990283881476309893"
     },
     "user_tz": -540
    },
    "id": "JxzHWcfC5G9M"
   },
   "outputs": [],
   "source": [
    "# 학습 세트와 테스트 세트를 나눕니다.\n",
    "train_length = 20000\n",
    "X_train, X_test = data[:train_length], data[train_length:]\n",
    "y_train, y_test = target[:train_length], target[train_length:]\n",
    "\n",
    "# 넘파이 자료구조를 텐서 자료구조로 변환합니다.\n",
    "X_train, X_test = torch.from_numpy(X_train), torch.from_numpy(X_test)\n",
    "y_train, y_test = torch.from_numpy(y_train), torch.from_numpy(y_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "executionInfo": {
     "elapsed": 27,
     "status": "ok",
     "timestamp": 1624889235017,
     "user": {
      "displayName": "Ben Hong",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GjWgS_b_Zkvntszog97_7KL0vzZ_ihxAX0BTQKoIQ=s64",
      "userId": "13990283881476309893"
     },
     "user_tz": -540
    },
    "id": "q3aktsCXBiGy"
   },
   "outputs": [],
   "source": [
    "# 데이터세트 자료구조를 준비합니다.\n",
    "dset_train, dset_test = TensorDataset(X_train, y_train), TensorDataset(X_test, y_test)\n",
    "\n",
    "# 데이터 로더를 준비합니다.\n",
    "train_loader = DataLoader(dset_train, batch_size=256, shuffle=True)\n",
    "test_loader = DataLoader(dset_test, batch_size=256, shuffle=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "executionInfo": {
     "elapsed": 24,
     "status": "ok",
     "timestamp": 1624889235017,
     "user": {
      "displayName": "Ben Hong",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GjWgS_b_Zkvntszog97_7KL0vzZ_ihxAX0BTQKoIQ=s64",
      "userId": "13990283881476309893"
     },
     "user_tz": -540
    },
    "id": "__iySH9HHO11"
   },
   "outputs": [],
   "source": [
    "# RNN 모델 클래스를 정의합니다.\n",
    "class RNN(nn.Module):\n",
    "  def __init__(self):\n",
    "    super().__init__()\n",
    "    self.cell = nn.RNN(3, 3, batch_first=True)\n",
    "    self.fc = nn.Linear(24*3, 1)\n",
    "\n",
    "  def forward(self, X):\n",
    "    out, hidden_state = self.cell(X)\n",
    "    out = out.contiguous()\n",
    "    out = self.fc(out.view(-1, 24*3))\n",
    "    return out"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "executionInfo": {
     "elapsed": 24,
     "status": "ok",
     "timestamp": 1624889235018,
     "user": {
      "displayName": "Ben Hong",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GjWgS_b_Zkvntszog97_7KL0vzZ_ihxAX0BTQKoIQ=s64",
      "userId": "13990283881476309893"
     },
     "user_tz": -540
    },
    "id": "jGkws3oy68Es"
   },
   "outputs": [],
   "source": [
    "# 그래픽 카드 사용이 가능할 경우 그래픽 카드로 연산하도록 설정합니다.\n",
    "device = 'cuda' if torch.cuda.is_available() else 'cpu'\n",
    "\n",
    "# RNN 모델 객체를 생성합니다.\n",
    "model = RNN().to(device)\n",
    "\n",
    "# 평균 제곱 오차(Mean Squared Error) 손실 함수 객체를 생성합니다.\n",
    "criterion = nn.MSELoss()\n",
    "\n",
    "# 아담 옵티마이저 객체를 생성합니다.\n",
    "optimizer = optim.Adam(model.parameters(), lr=2e-4)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "executionInfo": {
     "elapsed": 18,
     "status": "ok",
     "timestamp": 1624889235019,
     "user": {
      "displayName": "Ben Hong",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GjWgS_b_Zkvntszog97_7KL0vzZ_ihxAX0BTQKoIQ=s64",
      "userId": "13990283881476309893"
     },
     "user_tz": -540
    },
    "id": "LXzvRXOWLTxj"
   },
   "outputs": [],
   "source": [
    "# 학습 함수를 정의합니다.\n",
    "def train(model, criterion, optimizer, loader):\n",
    "  # 현재 에포크의 오차를 저장할 변수를 생성합니다.\n",
    "  epoch_loss = 0\n",
    "\n",
    "  # 모델을 학습 모드로 설정합니다.\n",
    "  model.train()\n",
    "\n",
    "  # 배치 학습을 실행합니다.\n",
    "  for X_batch, y_batch in loader:\n",
    "    # 입력 데이터와 타깃을 준비합니다.\n",
    "    X_batch, y_batch = X_batch.to(device), y_batch.to(device).float().view(-1, 1)\n",
    "    # 기울기를 초기화합니다.\n",
    "    optimizer.zero_grad()\n",
    "    # 모델을 사용해 타깃을 예측합니다.\n",
    "    hypothesis = model(X_batch)\n",
    "    # 손실 함수로 오차를 계산합니다.\n",
    "    loss = criterion(hypothesis, y_batch)        \n",
    "    # 기울기를 계산합니다.\n",
    "    loss.backward()\n",
    "    # 경사 하강법으로 가중치를 수정합니다.\n",
    "    optimizer.step()    \n",
    "    # 현재 배치의 오차를 저장합니다.\n",
    "    epoch_loss += loss.item()\n",
    "\n",
    "  # 현재 에포크의 오차를 반환합니다.\n",
    "  return epoch_loss / len(loader)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "executionInfo": {
     "elapsed": 17,
     "status": "ok",
     "timestamp": 1624889235020,
     "user": {
      "displayName": "Ben Hong",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GjWgS_b_Zkvntszog97_7KL0vzZ_ihxAX0BTQKoIQ=s64",
      "userId": "13990283881476309893"
     },
     "user_tz": -540
    },
    "id": "FvnE5oY-Lg6z"
   },
   "outputs": [],
   "source": [
    "# 평가 함수를 정의합니다.\n",
    "def evaluate(model, criterion, loader):\n",
    "  # 현재 에포크의 오차를 저장할 변수를 생성합니다.\n",
    "  epoch_loss = 0\n",
    "\n",
    "  # 모델을 평가 모드로 설정합니다.\n",
    "  model.eval()\n",
    "\n",
    "  with torch.no_grad():\n",
    "    # 배치 학습을 실행합니다.\n",
    "    for X_batch, y_batch in loader:\n",
    "      # 입력 데이터와 타깃을 그래픽카드로 연산하도록 준비합니다.\n",
    "      X_batch, y_batch = X_batch.to(device), y_batch.to(device).float().view(-1, 1)\n",
    "      # 모델을 사용해 타깃을 예측합니다.\n",
    "      hypothesis = model(X_batch)\n",
    "      # 손실 함수로 오차를 계산합니다.\n",
    "      loss = criterion(hypothesis, y_batch)\n",
    "      # 현재 배치의 오차를 저장합니다.\n",
    "      epoch_loss += loss.item()\n",
    "\n",
    "    # 현재 에포크의 오차를 반환합니다.\n",
    "    return epoch_loss / len(loader)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 108849,
     "status": "ok",
     "timestamp": 1624889343854,
     "user": {
      "displayName": "Ben Hong",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GjWgS_b_Zkvntszog97_7KL0vzZ_ihxAX0BTQKoIQ=s64",
      "userId": "13990283881476309893"
     },
     "user_tz": -540
    },
    "id": "4AOvZw9u_98m",
    "outputId": "4b72499e-fbbd-4643-e059-f573d5d53b4a"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "epoch: 20, loss: 55.867, test_loss: 29.966\n",
      "epoch: 40, loss: 22.761, test_loss: 21.853\n",
      "epoch: 60, loss: 18.416, test_loss: 18.824\n",
      "epoch: 80, loss: 14.943, test_loss: 15.860\n",
      "epoch: 100, loss: 12.829, test_loss: 14.027\n",
      "epoch: 120, loss: 11.713, test_loss: 13.053\n",
      "epoch: 140, loss: 10.927, test_loss: 12.309\n",
      "epoch: 160, loss: 10.374, test_loss: 11.934\n",
      "epoch: 180, loss: 10.072, test_loss: 11.561\n",
      "epoch: 200, loss: 9.838, test_loss: 11.482\n"
     ]
    }
   ],
   "source": [
    "# 200회에 걸쳐 모델을 학습시킵니다.\n",
    "for epoch in range(1, 201):\n",
    "  # 모델을 학습시킵니다.\n",
    "  loss = train(model, criterion, optimizer, train_loader)\n",
    "\n",
    "  # 모델을 평가합니다.\n",
    "  test_loss = evaluate(model, criterion, test_loader)\n",
    "\n",
    "  if epoch % 20 == 0:\n",
    "    # 20 에포크마다 현재 에포크의 학습 결과를 출력합니다.\n",
    "    print('epoch: {}, loss: {:.3f}, test_loss: {:.3f}'.format(\n",
    "        epoch, loss, test_loss\n",
    "    )) "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 22,
     "status": "ok",
     "timestamp": 1624889343855,
     "user": {
      "displayName": "Ben Hong",
      "photoUrl": "https://lh3.googleusercontent.com/a-/AOh14GjWgS_b_Zkvntszog97_7KL0vzZ_ihxAX0BTQKoIQ=s64",
      "userId": "13990283881476309893"
     },
     "user_tz": -540
    },
    "id": "l07-wGJ3jyX3",
    "outputId": "15401754-4799-4994-da39-9b42240de376",
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "predicted target: 17.33, real target: 18.40\n",
      "predicted target: 8.85, real target: 5.20\n",
      "predicted target: 13.30, real target: 11.50\n",
      "predicted target: 3.06, real target: 8.90\n",
      "predicted target: 2.20, real target: -0.20\n",
      "predicted target: -2.12, real target: 0.20\n",
      "predicted target: 1.12, real target: 0.30\n",
      "predicted target: 0.47, real target: 5.00\n",
      "predicted target: 0.24, real target: -1.20\n",
      "predicted target: 2.24, real target: 3.60\n",
      "predicted target: 3.07, real target: 2.70\n",
      "predicted target: -0.04, real target: 5.20\n",
      "predicted target: 4.86, real target: 8.20\n",
      "predicted target: 0.57, real target: 0.50\n",
      "predicted target: 7.31, real target: 3.60\n",
      "predicted target: 13.68, real target: 16.00\n",
      "predicted target: 4.12, real target: 7.30\n",
      "predicted target: 15.08, real target: 13.20\n",
      "predicted target: 11.89, real target: 15.80\n",
      "predicted target: 15.60, real target: 11.70\n",
      "predicted target: 12.06, real target: 17.70\n",
      "predicted target: 20.03, real target: 21.60\n",
      "predicted target: 19.70, real target: 19.30\n",
      "predicted target: 26.25, real target: 24.10\n",
      "predicted target: 26.31, real target: 27.50\n"
     ]
    }
   ],
   "source": [
    "# 모델을 평가 모드로 설정합니다.\n",
    "model.eval()\n",
    "\n",
    "with torch.no_grad():    \n",
    "    # 테스트 세트의 데이터로더에서 배치 단위로 데이터를 불러옵니다.\n",
    "    for X_batch, y_batch in test_loader:\n",
    "      # 배치 데이터를 cuda로 이동시키고, 타깃의 타입과 형태를 조정합니다.\n",
    "      X_batch, y_batch = X_batch.to(device), y_batch.to(device).float().view(-1, 1)\n",
    "      # 모델을 사용해 타깃을 예측합니다. 예측값은 10개 클래스에 대한 확률값입니다.\n",
    "      hypothesis = model(X_batch)      \n",
    "      # 배치의 첫 번째 데이터 샘플마다 모델이 예측한 값과 실제 타깃을 출력합니다.\n",
    "      print('predicted target: {:.2f}, real target: {:.2f}'.format(hypothesis[0].item(), y_batch[0].item()))"
   ]
  }
 ],
 "metadata": {
  "accelerator": "GPU",
  "colab": {
   "collapsed_sections": [],
   "name": "3.5.2 RNN 실습.ipynb",
   "provenance": [],
   "toc_visible": true
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}