tutorials/16/blog-sent-analysis.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "주식 시장에는 주식을 팔고자 하는 사람과 사고자 하는 사람, 이렇게 크게 두 유형이 있습니다. 팽팽한 줄다리기 끝에 팔고자 하는 사람이 더 많으면 공급 초과로 가격은 하락하게 됩니다.\n",
    "\n",
    "주가에 영향을 주는 요소는 금융 애널리스트의 예측, 기관 예측, 경제 위기, 그리고 이를 전달하는 뉴스 매체 등으로 셀 수 없이 많지만 결국 그 종착지에는 대중의 움직임이 있습니다. 그러한 대중의 움직임이 파는 쪽에 더 치우치면 가격은 떨어지고, 사는 쪽에 치우치면 가격은 상승합니다.\n",
    "\n",
    "그렇다면 우리는 지금 이시간, 대중의 움직임이 어느 방향으로 기울고 있는가를 분석해볼 수 있습니다. 그 대상은 특정 종목이나 특정 국가가 될 수도 있고 주식 시장 자체가 될 수 있습니다. 본 분석은 후자, 주식 시장 자체에 대해 사람들이 어떻게 평가하고 있는가를 분석해볼 것이며 시점은 편의상 '이번 주'로 합니다. 즉, '이번 주 주식 시장에 대한 사람들의 평가는 어떠한가?'에 대한 분석이 되겠습니다. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    ">toc\n",
    "```\n",
    "Step 1. 블로그 정보 수집\n",
    "     1-1. 웹사이트 구조 및 데이터 호출 정보 확인\n",
    "     1-2. 단일 페이지 데이터 호출\n",
    "     1-3. 다중 페이지 데이터 호출(함수)\n",
    "Step 2. 블로그 내용 수집\n",
    "     2-1. HTML 태그 정보 확인\n",
    "     2-2. 데이터 호출 정보 확인\n",
    "     2-3. 단일 페이지 데이터 호출(함수)\n",
    "Step 3. 감성 분류\n",
    "     3-1. 허깅페이스 모델 검색\n",
    "     3-2. 추론 모델 인스턴스 생성 및 테스트\n",
    "     3-3. 단일 포스팅 내 텍스트 감성 분류\n",
    "     3-4. 전체 7일간 포스팅 감성 분류\n",
    "     3-5. 결과\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Step 1. 블로그 정보 수집"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1-1. 웹사이트 구조 및 데이터 호출 정보 확인"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "파이썬으로 포스팅을 긁어올 것이므로 타겟을 명확히 확인합니다. '네이버 블로그'(https://section.blog.naver.com/) 사이트에 진입해서 '주가 전망'이라는 키워드를 검색 후 \n",
    "개발자 모드를 열어 네트워크 탭을 살펴봅니다.\n",
    "\n",
    "미리보기를 통해 반환된 문서들을 살펴보면 그 중 SearchList.naver에 우리가 찾는 데이터가 있는 것을 확인할 수 있습니다. 이제 파이썬으로 해당 자료를 가져올 수 있으면 됩니다.\n",
    "\n",
    "먼저 해당 데이터가 어떤 방식(GET, POST)으로, 어떤 url 값으로 반환받을 수 있는지 살펴본 다음, 하단 쿼리 문자열 매개변수를 확인함으로써 넘겨줄 요청값들을 지정해줄 수 있습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![img](./img/1.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1-2. 단일 페이지 데이터 호출"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "currentPage는 현재 페이지 번호, countPerPage는 페이지당 포함하는 포스팅 수, endDate와 startDate는 지난 7일간을 지정해주고 keyword는 검색한 값을 보여줍니다. 이렇게 파라미터 파악이 끝났으면 코드 작성을 위해 필요한 라이브러리를 호출하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "import requests \n",
    "from bs4 import BeautifulSoup"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "endDate, startDate는 직접 문자열로 입력해줘도 되지만 스크래퍼를 개발할 때에는 항상 자동화를 염두해두어야 합니다. 따라서 오늘 날짜를 기준으로 지난 7일을 계산할 수 있도록 다음과 같이 함수를 사용하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "datetime.datetime(2022, 9, 20, 0, 4, 58, 668866)"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from datetime import datetime, timedelta\n",
    "\n",
    "datetime.today() - timedelta(30)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'2022-10-20'"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "datetime.today().strftime('%Y-%m-%d')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이제, url, header, date, params를 정의하고 파라미터가 잘 세팅되는지 확인합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "url = 'https://section.blog.naver.com/ajax/SearchList.naver'\n",
    "header = {\n",
    "    'Referer': 'https://section.blog.naver.com/Search/Post.naver',\n",
    "}\n",
    "\n",
    "end_date = datetime.today()\n",
    "start_date = end_date - timedelta(days=7)\n",
    "\n",
    "\n",
    "params = {\n",
    "    'countPerPage': 7,\n",
    "    'currentPage': 1,\n",
    "    'endDate': end_date.strftime('%Y-%m-%d'),\n",
    "    'keyword': '주가 전망',\n",
    "    'orderBy': 'sim',\n",
    "    'startDate': start_date.strftime('%Y-%m-%d'),\n",
    "    'type': 'post',\n",
    "}\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'countPerPage': 7,\n",
       " 'currentPage': 1,\n",
       " 'endDate': '2022-10-20',\n",
       " 'keyword': '주가 전망',\n",
       " 'orderBy': 'sim',\n",
       " 'startDate': '2022-10-13',\n",
       " 'type': 'post'}"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "params"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "requests 모듈을 통해 데이터를 불러옵니다. 결과값을 확인했을 때 우리가 앞서 봤던 SearchList.naver의 미리보기 값과 형태가 동일해야 합니다. 텍스트 앞부분만 짧게 출력하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "res = requests.get(url, params=params, headers=header)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "')]}\\',\\n{\"result\":{\"searchDisplayInfo\":{\"authUrlType\":\"LOGIN\",\"authUrl\":\"https://nid.naver.com/nidlogin.login?svctype=128&a_version=2&viewtype=1&&url=https://section.blog.naver.com/Search/Post.naver?keyword=%25EC%25A3%25BC%25EA%25B0%2580%2B%25EC%25A0%2584%25EB%25A7%259D&surl=https://section.blog.naver.com\",\"existSuicideWord\":false,\"keyword\":\"주가 전망\",\"eucKrEncodedKeyword\":\"%C1%D6%B0%A1+%C0%FC%B8%C1\",\"displayType\":\"NORMAL\"},\"searchList\":[{\"domainIdOrBlogId\":\"wave7906\",\"logNo\":222903580961,\"gdid\":\"90000003_0000000000000033E616B921\",\"postUrl\":\"https://blog.naver.com/wave7906/222903580961\",\"title\":\"한국가스공사 <strong class=\\\\\"search_keyword\\\\\">주가 전망</strong> 겨울관련주,테마주 분석 정리\",\"noTagTitle\":\"한국가스공사 주가 전망 겨울관련주,테마주 분석 정리\",\"contents\":\"오늘은 한국가스공사 <strong class=\\\\\"search_keyword\\\\\">주가 전망</strong>에 대해 살펴보겠습니다. 이제 가을이고 조금 있으면 금방 겨울이 됩니다. 그렇다면 우리는 겨울에 관심을 많이 받는 가스공사 주가를 생각 안 할 수가 없겠죠. 그래서 오늘은 현재 분위기는 어떻게 전문가들은 어떻게 생각하고 있는지 한번 알아보도록 하겠습니다.... \",\"nickName\":\"cool\",\"blogName\":\"LIFE PLUS\",\"profileImgUrl\":\"https://bl'"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "res.text[:1000]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "데이터를 json 형태로 변환해주면 좋겠습니다. 그 전에 앞부분의 불필요한 문자열을 잘라줘야 정상적으로 변환이 될 것입니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'domainIdOrBlogId': 'wave7906',\n",
       "  'logNo': 222903580961,\n",
       "  'gdid': '90000003_0000000000000033E616B921',\n",
       "  'postUrl': 'https://blog.naver.com/wave7906/222903580961',\n",
       "  'title': '한국가스공사 <strong class=\"search_keyword\">주가 전망</strong> 겨울관련주,테마주 분석 정리',\n",
       "  'noTagTitle': '한국가스공사 주가 전망 겨울관련주,테마주 분석 정리',\n",
       "  'contents': '오늘은 한국가스공사 <strong class=\"search_keyword\">주가 전망</strong>에 대해 살펴보겠습니다. 이제 가을이고 조금 있으면 금방 겨울이 됩니다. 그렇다면 우리는 겨울에 관심을 많이 받는 가스공사 주가를 생각 안 할 수가 없겠죠. 그래서 오늘은 현재 분위기는 어떻게 전문가들은 어떻게 생각하고 있는지 한번 알아보도록 하겠습니다.... ',\n",
       "  'nickName': 'cool',\n",
       "  'blogName': 'LIFE PLUS',\n",
       "  'profileImgUrl': 'https://blogpfthumb-phinf.pstatic.net/MjAxODA0MDNfMTc4/MDAxNTIyNzM3MTg0MDY4.PNHBWFmo3WqRj_VxJhYBquLwEdcVV7bNGXIybX2SO8Qg.scFxmzGSB73616-r3E8OErb-yUVgdWTWe5pR-w_3EPsg.JPEG.wave7906/20171027_074509.jpg?type=s1',\n",
       "  'addDate': 1666126800000,\n",
       "  'thumbnails': [{'url': 'https://blogthumb.pstatic.net/MjAyMjEwMThfMjI0/MDAxNjY2MDcxNjg4MzY5.YZabCmsVhBMUZgBYZfFpykm_4AjcuSx9QUNjQlJAsvAg.YuVBKFYNZSC2RpO1AY_X6DUYuunCEWbKAIp_s7rvzasg.JPEG.wave7906/GAEGREA.JPG?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMThfNTgg/MDAxNjY2MDcxNjk0ODk0.YOk3YYvKh5yuqmsJJL_Sg3aXF7xwLyCkIINCYqmX__Eg.MWHdhxoI1AcvFN0dt2zF4Jljwi1Ub76FZU9cGnk2EN8g.JPEG.wave7906/GAEGGEARAG.JPG?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMThfMTE3/MDAxNjY2MDcxNzAyOTgx.Oe0J9u-X32B2xC6O9Ad89Zon8U6GE-pB4iE7-0JcdV4g.y3bnt7a8x-tR7CuEftk5FuUiJeiYViHJ6E55kOWX2OMg.JPEG.wave7906/GAERGEA.JPG?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMThfMjAy/MDAxNjY2MDcxNzA3ODc1.xOdgy0zyuIm2lT2SYfqCIT8DK90nn8s_IwkvZ5aelygg.4Pr8KhRCmYK64fSj_VeUKVlGzq99TCBTh7nCguZTLDIg.JPEG.wave7906/GEARGAEGEAARG.JPG?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False}],\n",
       "  'product': None,\n",
       "  'marketPost': False,\n",
       "  'hasThumbnail': True},\n",
       " {'domainIdOrBlogId': '92happywoo',\n",
       "  'logNo': 222904202452,\n",
       "  'gdid': '90000003_0000000000000033E62034D4',\n",
       "  'postUrl': 'https://blog.naver.com/92happywoo/222904202452',\n",
       "  'title': 'NVIDIA 엔비디아 주식 <strong class=\"search_keyword\">주가</strong> 실적 <strong class=\"search_keyword\">전망</strong> 알아보자 (NVDA)',\n",
       "  'noTagTitle': 'NVIDIA 엔비디아 주식 주가 실적 전망 알아보자 (NVDA)',\n",
       "  'contents': 'NVIDIA <strong class=\"search_keyword\">주가 전망</strong>은 현재 수요 감소로 많은 재고가 쌓여져 있고 이 재고를 얼마나 빠른 속도로 소진하는지가 중요해질 것 같으며 앞으로의 신제품 출시와 데이터 센터 부분에서의 성장세가 중요해질 것 같습니다. NVDA 엔비디아 주식의 주가와 실적 전망에 대해 알아보았습니다. 4차... ',\n",
       "  'nickName': '꿈꾸는에릭',\n",
       "  'blogName': '꿈꾸는에릭의 경제스터디',\n",
       "  'profileImgUrl': 'https://blogpfthumb-phinf.pstatic.net/MjAyMjEwMThfMjY2/MDAxNjY2MDkwOTMwOTM1.ouwCS0xx6l1toW4eDGJ_sr9gTVD5jQ4dGr1xYl-6Qxkg.4IEtMDVPEoqILITBo-Zuu93L_9CIhZv9ewsTNQWIoSUg.JPEG.92happywoo/profileImage.jpg?type=s1',\n",
       "  'addDate': 1666135260000,\n",
       "  'thumbnails': [{'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTlfMTg0/MDAxNjY2MTMzNDc3ODE2.9N-5-S3tNCgHjLe2t5tTFuTEmVSYaaq3-ByKNZCtjFog.uiamGMSR0sFVaJrScMldv3c3dhefbhLmEYc1aRU6l1Qg.PNG.92happywoo/%C1%A6%B8%F1%C0%BB_%C0%D4%B7%C2%C7%D8%C1%D6%BC%BC%BF%E4_-001_%287%29.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTlfNCAg/MDAxNjY2MTMyNjcyNDQw.t8FQnsiTP55Ljg-rPdEnZgtWJCGj8Jsovw53dPiqeKIg.5ZdXtYr_cGPhmmbCBeGYhRfpCwNwdeX271m5-mg_Eawg.JPEG.92happywoo/20221019_073718.jpg?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTlfNTAg/MDAxNjY2MTMyODA4MDAx.gg3arxjfBdLD_ALzMPeI9Ud3GTYYd2RE0JpyUD1jy-8g.EHcztzpJSWj9-La1o83cH9R0sBzk2PcZNy9wOCYbhd4g.JPEG.92happywoo/20221019_073859.jpg?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTlfMTYx/MDAxNjY2MTM1MTk1MDU4.B0VAFr2_DAS0p5ifbV814p97bn9BOoMTrFVyU7UefpMg.6bcQPnYYxcEj0Jlb0vO3CCiOUYAhR6dcLqmnH-KzW30g.JPEG.92happywoo/20221019_081907.jpg?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False}],\n",
       "  'product': None,\n",
       "  'marketPost': False,\n",
       "  'hasThumbnail': True},\n",
       " {'domainIdOrBlogId': 'doomaker',\n",
       "  'logNo': 222899661533,\n",
       "  'gdid': '90000003_0000000000000033E5DAEADD',\n",
       "  'postUrl': 'https://blog.naver.com/doomaker/222899661533',\n",
       "  'title': '신라젠 거래재개(정지이유,<strong class=\"search_keyword\">주가전망</strong>,엠투엔인수)',\n",
       "  'noTagTitle': '신라젠 거래재개(정지이유,주가전망,엠투엔인수)',\n",
       "  'contents': '거래재개와 <strong class=\"search_keyword\">주가전망</strong> 한국거래소는 거래가 정지된 해당 업체에 21년 11월까지 개선기간을 부여하고 최대주주 변경을 권고했습니다. 그리고 엠투엔이라는 철강제조업 회사가 인수합병을 진행했습니다. 총 600억원 규모의 제3자 배정 계약 체결. 22년 2월 18일에 다시 한번 6개월간 개선 기간이... ',\n",
       "  'nickName': '둠메이커',\n",
       "  'blogName': '직장인 재테크 분투기',\n",
       "  'profileImgUrl': 'https://blogpfthumb-phinf.pstatic.net/MjAyMjA1MDlfMjI4/MDAxNjUyMDg0NjY1MTky.rZ7sfelwth68RoiuEUWsWorDgH9ffy4jMD6T8t9wMH4g.xZdTWpFla9Ad8ClT_YdkW6gZdj3ia7EBTjjm51rPvvwg.JPEG.doomaker/KakaoTalk_20220509_161231852.jpg/KakaoTalk_20220509_161231852.jpg?type=s1',\n",
       "  'addDate': 1665671640000,\n",
       "  'thumbnails': [{'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTNfMjQ5/MDAxNjY1NjcxNTU3Nzc4.NeXxtHiYsX2OYViXSPe41NJywMaBmUEnKyHD96eKT9Mg.2kzb5c9H4-AzCtdaZ1pzw3oIvhckRezov7_LPX4fJhAg.PNG.doomaker/%C1%A6%B8%F1%C0%BB-%C0%D4%B7%C2%C7%D8%C1%D6%BC%BC%BF%E4_-001_%2844%29.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTNfMjcw/MDAxNjY1NjY4ODc5Njcz.uvOg8MwuOr04AxkylxKNk9EhyI4IqLyIkZKT6BF5Y6wg.dftYPLZXHIQcSQ1njtcoZkg9iCqInEFEP-4EP6daEjkg.JPEG.doomaker/photo-1642010654575-9f56d8f3c844.jpg?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTNfMTk1/MDAxNjY1NjQ4OTgwMDgy.2QNTaoOqKFpXzYIZyenei1ngV1c1bXkYpPhg0oer7aIg.WbbqJ-Emx-v0LEwXC1fyFjIf-9pVA_vLm4HfGzSt-NMg.PNG.doomaker/2.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTNfMTI4/MDAxNjY1NjQ4MjI2MTc2.Z3pQjsdeoSMEpYdrJlyN3hmIQo7eYAcTlmoG2oFnYpMg.Bxz54LIUh4K29bnrPoPlXHOlODVpdL8CG3g1OgSuZE4g.PNG.doomaker/1.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False}],\n",
       "  'product': None,\n",
       "  'marketPost': False,\n",
       "  'hasThumbnail': True},\n",
       " {'domainIdOrBlogId': 'resumet',\n",
       "  'logNo': 222904315427,\n",
       "  'gdid': '90000003_0000000000000033E621EE23',\n",
       "  'postUrl': 'https://blog.naver.com/resumet/222904315427',\n",
       "  'title': '미국주식 ETF 3배 레버리지 SOXL <strong class=\"search_keyword\">주가 전망</strong> 투자',\n",
       "  'noTagTitle': '미국주식 ETF 3배 레버리지 SOXL 주가 전망 투자',\n",
       "  'contents': '미국주식 ETF 3배 레버리지 SOXL <strong class=\"search_keyword\">주가 전망</strong> 투자 미국주식 ETF 가운데 3배 레버리지를 가진 종목들이 있습니다. 대표적으로 TQQQ 와 SOXL 이 그것인데요. 최근 자산시장이 하락하고 있고, 그 여파를 3배로 당하고 있는 레버리지 ETF 인 관계로 잘 들여다보지 않았는데요. 그럼에도 불구하고 주가가... ',\n",
       "  'nickName': '최광자',\n",
       "  'blogName': '블루래더 - 경제적 자유를 향한 푸른 사다리',\n",
       "  'profileImgUrl': 'https://blogpfthumb-phinf.pstatic.net/MjAyMjA2MjdfMTM5/MDAxNjU2MzMyNzEzMDI1.sCEuD6aKPkYw1_kmErVnfIBy5HCMrHD-BSxiwf8oiowg.UH0QcYtTFvaddVlyc-AiJ2OoK_2j5lVVvd68sN-2Pwcg.PNG.resumet/blueladder_logo_250.png/blueladder_logo_250.png?type=s1',\n",
       "  'addDate': 1666144740000,\n",
       "  'thumbnails': [{'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTlfMjkz/MDAxNjY2MTQ0NTI0NjAx.wHUFXbut3bR69VZrerxQKcJ6cZl_nFhYentQO11ZBG8g.AdW_Y_U1OM_FbraE3jeBl7og8HPchliK5EaaTz744RMg.PNG.resumet/image.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTlfMjEw/MDAxNjY2MTQ0NzUyNDI2.aRDOCKeYmN_t4XwTngbZpZ9kNjk3GlO6B2EOIDNxSPUg.dXTh2iYeKSzpVCt6qrlZ2L5bCtuWJKIDiPFyUj1YOGEg.PNG.resumet/image.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTlfNjQg/MDAxNjY2MTQyNjcyNjk0.7V9W73WWfawbzygp305d2Sr3-wp2DRBGd3vLHacjpEog.KjbrjUdQ8sWM_biA9kU1vjwjfJz0lY-KKCVgaRFeOOkg.PNG.resumet/image.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTlfNjkg/MDAxNjY2MTQzNzYwNzAy.BOCoA9OQOtiiA5YEUTTZkOHeCEEVjGDVVDOelRA4IRQg.fYuIHBMpf9PKWxIjShM19nn0sPx7ahjIk0iDfQ9jD8Ig.PNG.resumet/image.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False}],\n",
       "  'product': None,\n",
       "  'marketPost': False,\n",
       "  'hasThumbnail': True},\n",
       " {'domainIdOrBlogId': 'jssky2',\n",
       "  'logNo': 222903139413,\n",
       "  'gdid': '90000003_0000000000000033E60FFC55',\n",
       "  'postUrl': 'https://blog.naver.com/jssky2/222903139413',\n",
       "  'title': '삼성전자<strong class=\"search_keyword\">주가 전망</strong> 괜찮을까?',\n",
       "  'noTagTitle': '삼성전자주가 전망 괜찮을까?',\n",
       "  'contents': '&lt;소망에셋 Site주소&gt; www.mytrend-asset.com 전화번호: 070-7885-2025 삼성전자<strong class=\"search_keyword\">주가 전망</strong> 괜찮을까? 재테크를 계획할 때에는 내게 잘 맞고 적절하게 활용하고 있는지 살펴보는 것이 가장 중요합니다. 삼성전자주가처럼 유명하고 잘 알려진 브랜드라고 해서 과연 성공할 수 있을까요? 수익률을 먼저 생각해... ',\n",
       "  'nickName': '이지',\n",
       "  'blogName': '뚝딱 뚝딱 홈메이드 쿠킹~~!!',\n",
       "  'profileImgUrl': 'https://blogpfthumb-phinf.pstatic.net/20121128_227/jssky2_1354102187853P8Xub_PNG/SC20121128-202439.png?type=s1',\n",
       "  'addDate': 1666022340000,\n",
       "  'thumbnails': [{'url': 'https://blogthumb.pstatic.net/MjAyMjEwMThfMjMw/MDAxNjY2MDIxOTA4NDYx.dOhrmLZlgzuV_7Tnu5JbOzZGqE1NWOV55Wv0rRhfzOwg.Qm6JFhFpIjT89QtlOhgn1Ryj5BgOPcq9pyWinyrFuv0g.JPEG.jssky2/yellow-flower-macro-.jpg?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMThfMjk0/MDAxNjY2MDIxOTA4NDYx.w8lb6rFCCRpS4WXwJc_-MF8qW-urxb_KG9B-sGqmPxEg.cLO1CDkbBsTEq2qkVeX5CYN1lqJ5X-0SY-r3-1q_V8sg.JPEG.jssky2/yellow-flower-in-dew--copy-space.jpg?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMThfMjQz/MDAxNjY2MDIxOTA4ODg3.0gimF30EUKG595GFXWz0snuD1caXiX3RnUBlXar0Secg.LGR60y60LUvu3k1coCEUM-Jec8ILGdMhcIhLN2rZ_K8g.JPEG.jssky2/yellow-flower-petals-.jpg?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMThfMTk0/MDAxNjY2MDIxOTA4Mjc1.HKRqVn_j8F5qGaqxLAB2rG-chDAFKdSRffyyE1XhHyQg.gyb78nHFOqkkSpeJzSzz-sp7Whbt0jQ2qVr-kgJ46usg.JPEG.jssky2/yellow-flowers-%28small%29.jpg?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False}],\n",
       "  'product': None,\n",
       "  'marketPost': False,\n",
       "  'hasThumbnail': True},\n",
       " {'domainIdOrBlogId': 'incheon_blog',\n",
       "  'logNo': 222902715477,\n",
       "  'gdid': '90000003_0000000000000033E6098455',\n",
       "  'postUrl': 'https://blog.naver.com/incheon_blog/222902715477',\n",
       "  'title': '카카오뱅크 <strong class=\"search_keyword\">주가 전망</strong> 반등 시기',\n",
       "  'noTagTitle': '카카오뱅크 주가 전망 반등 시기',\n",
       "  'contents': '이러한 PER로 보았을 때는 여전히 카카오뱅크 <strong class=\"search_keyword\">주가 전망</strong>은 어둡다고 볼 수 있습니다. 현재 카카오 뱅크는 2011년 11월에 상장을 한 이후에 시가 대비 대략 -63% 정도 하락이 계속해서 이어지고 있습니다. 현재의 주가는 지난달 9월 24,000원을 하회하여 17,500원까지 하락하고 있습니다. 증권가에서는... ',\n",
       "  'nickName': '인천 삼촌',\n",
       "  'blogName': '인천사람들의블로그',\n",
       "  'profileImgUrl': 'https://blogpfthumb-phinf.pstatic.net/MjAxOTA0MTVfMTM4/MDAxNTU1MjU2MDYxMDY4.nqZbLZpQ7ZEZNqc4mZ9UV72buFf4ymtDdV-ExCHuFJog.uvuz8RBXe5z1L0XwXOk7fGphaA-0YOVjI4zQbGHPTHUg.JPEG.tiger3849/THUMBNAIL.jpg?type=s1',\n",
       "  'addDate': 1665995940000,\n",
       "  'thumbnails': [{'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTdfNzMg/MDAxNjY1OTk0MjAwNDg2.34PaicWlo2iAZT3lPotglpJKxSIMbsNMZICDkgdghzUg.oOkIClpPoX7L_73NSGX3IxTQ5VovpCd0X7zuALwkupwg.PNG.tiger3849/%C4%AB%C4%AB%BF%C0%B9%F0%C5%A9_%C1%D6%B0%A1_%C0%FC%B8%C1_1.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTdfNzIg/MDAxNjY1OTk0Mzk4Mzgz.ha0m9XadYOmo_nyYJJ3p557pbRNMjymTIj9w-Lzk74sg.sI0ja-XRMHBzamFyg461kIW0Acw53zcTvLkftHIEJwIg.PNG.tiger3849/%C4%AB%C4%AB%BF%C0%B9%F0%C5%A9_%C1%D6%B0%A1_%C0%FC%B8%C1_2.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTdfMTQy/MDAxNjY1OTk0NTQxMzc3.xysPUPltSO82wFRdxSkcswiX4PD-dyv89PgbncVwpPQg.jbfPA0RdPY2yxCC_Uwgr4Tx6f6snsOhMN7XYxg12YZwg.PNG.tiger3849/%C4%AB%C4%AB%BF%C0%B9%F0%C5%A9_%C1%D6%B0%A1_%C0%FC%B8%C1_3.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTdfMiAg/MDAxNjY1OTk0NzQ0MTU3.IXxbYFeIVJD7t8fTX0lk_WfknhjkQCVwbUFR3Feqbv4g.4lvkfCejDsxBwM3O2Rdz0z3A0rzNNwfiifo3aSuuBOkg.PNG.tiger3849/%C4%AB%C4%AB%BF%C0%B9%F0%C5%A9_%C1%D6%B0%A1_%C0%FC%B8%C1_4.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False}],\n",
       "  'product': None,\n",
       "  'marketPost': False,\n",
       "  'hasThumbnail': True},\n",
       " {'domainIdOrBlogId': 'wacle99',\n",
       "  'logNo': 222902197499,\n",
       "  'gdid': '90000003_0000000000000033E6019CFB',\n",
       "  'postUrl': 'https://blog.naver.com/wacle99/222902197499',\n",
       "  'title': '핵전쟁 관련주 3종목 <strong class=\"search_keyword\">주가 전망</strong>',\n",
       "  'noTagTitle': '핵전쟁 관련주 3종목 주가 전망',\n",
       "  'contents': '핵전쟁 관련주 3종목 <strong class=\"search_keyword\">주가 전망</strong> 러시아의 핵전쟁 위협이 더욱 높아지면서 오늘은 저번에 이어서 핵전쟁 관련주에 대해서 알아보고자 한다. 푸틴 할아버지는 뜻대로 되지 않으니 최강의 무기를 꺼내들을 셈으로 보여지는데 앞으로의 행보가 어떻게 될지 참으로 걱정되는 부분이다. 물론 핵전쟁이... ',\n",
       "  'nickName': '인라밸',\n",
       "  'blogName': '회사탈출 연구소',\n",
       "  'profileImgUrl': 'https://blogpfthumb-phinf.pstatic.net/MjAyMjAzMTRfMTAg/MDAxNjQ3MjU4MTg1NjUz.32mqwWQcV4pNNie4pN7uB_RSFfhtINQ9nprYAMPz-Jkg.HHDjzu_l30aks5TF53xhUWe4QGpMdf_TeRlOoASZIPEg.JPEG.wacle99/KakaoTalk_20220314_204244483.jpg/KakaoTalk_20220314_204244483.jpg?type=s1',\n",
       "  'addDate': 1666134600000,\n",
       "  'thumbnails': [{'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTdfMTU0/MDAxNjY1OTU5ODY3NjEx.PBX_OMvU2dawhiSWf1rqPb5LiI6I5cp0giaV-KTWpNAg.zZa6-nV-Yh03eU79vPyUcY6-KiYjJXtOqdUNJoUBdfcg.PNG.wacle99/20221017_%C7%D9%C0%FC%C0%EF_%B0%FC%B7%C3%C1%D6_3%C1%BE%B8%F1_%C1%D6%B0%A1_%C0%FC%B8%C1.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTdfMjQ0/MDAxNjY1OTU4MjIwNDU1.xiEj7LeqqlfvCm6SSkkceQZ3v7tp7BMn5paertMMhvkg.k-Ux1mfYOdWXzn9yYY_mJQrTgwGtyOD8_yKYu7vnLoQg.PNG.wacle99/image.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTdfMTYy/MDAxNjY1OTU4NDIzODY0.NQF6QQfoNACa-znceAEkhSgw1WjPlL0pIyWxFODvgYcg.Fwmu3e7nBP70mxgGKitsi6yspzx-IQL9oVFZ3U6Z9Log.PNG.wacle99/image.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False},\n",
       "   {'url': 'https://blogthumb.pstatic.net/MjAyMjEwMTdfMjc5/MDAxNjY1OTU4NTQwODcw.KmkSzPdkq5lx2D-6M7sT9PvlXVpeyAvGJOYeiJa645gg.-xPgPb-YYdDrpsi5yFbOJ1lykLVoukgpT8KIt9qjH-Ig.PNG.wacle99/image.png?type=s2',\n",
       "    'vrthumbnail': False,\n",
       "    'videoThumbnail': False}],\n",
       "  'product': None,\n",
       "  'marketPost': False,\n",
       "  'hasThumbnail': True}]"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import json\n",
    "\n",
    "json.loads(res.text.split('\\n')[1])['result']['searchList']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1-3. 다중 페이지 데이터 호출(함수)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이제, 앞서 구현한 코드들을 종합하여 키워드와 페이지 번호만 넣어주면 지난 7일간의 포스팅 정보를 긁어올 수 있는 함수를 정의하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_posts_info(keyword, start_page=1, end_page=10):\n",
    "    url = 'https://section.blog.naver.com/ajax/SearchList.naver'\n",
    "    header = {\n",
    "        'Referer': 'https://section.blog.naver.com/Search/Post.naver',\n",
    "    }\n",
    "\n",
    "    end_date = datetime.today()\n",
    "    start_date = end_date - timedelta(days=7)\n",
    "\n",
    "    all_posts_info = []\n",
    "    print(f'[INFO] keyword : {keyword}, start_page : {start_page}, end_page : {end_page}')\n",
    "    for i in range(start_page, end_page+1):\n",
    "        params = {\n",
    "            'countPerPage': 7,\n",
    "            'currentPage': i,\n",
    "            'endDate': end_date.strftime('%Y-%m-%d'),\n",
    "            'keyword': keyword,\n",
    "            'orderBy': 'sim',\n",
    "            'startDate': start_date.strftime('%Y-%m-%d'),\n",
    "            'type': 'post',\n",
    "        }\n",
    "\n",
    "        res = requests.get(url, params=params, headers=header)\n",
    "        current_posts_info = json.loads(res.text.split('\\n')[1])['result']['searchList']\n",
    "        all_posts_info += current_posts_info\n",
    "        print(f'[INFO] 포스트 정보 수집 중 .. (page : {i}/{end_page} current posts : {len(current_posts_info)} all posts : {len(all_posts_info)})')\n",
    "    return all_posts_info"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[INFO] keyword : 주가전망, start_page : 1, end_page : 10\n",
      "[INFO] 포스트 정보 수집 중 .. (page : 1/10 current posts : 7 all posts : 7)\n",
      "[INFO] 포스트 정보 수집 중 .. (page : 2/10 current posts : 7 all posts : 14)\n",
      "[INFO] 포스트 정보 수집 중 .. (page : 3/10 current posts : 7 all posts : 21)\n",
      "[INFO] 포스트 정보 수집 중 .. (page : 4/10 current posts : 7 all posts : 28)\n",
      "[INFO] 포스트 정보 수집 중 .. (page : 5/10 current posts : 7 all posts : 35)\n",
      "[INFO] 포스트 정보 수집 중 .. (page : 6/10 current posts : 7 all posts : 42)\n",
      "[INFO] 포스트 정보 수집 중 .. (page : 7/10 current posts : 7 all posts : 49)\n",
      "[INFO] 포스트 정보 수집 중 .. (page : 8/10 current posts : 7 all posts : 56)\n",
      "[INFO] 포스트 정보 수집 중 .. (page : 9/10 current posts : 7 all posts : 63)\n",
      "[INFO] 포스트 정보 수집 중 .. (page : 10/10 current posts : 7 all posts : 70)\n"
     ]
    }
   ],
   "source": [
    "posts_info = get_posts_info('주가전망', 1, 10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "70"
      ]
     },
     "execution_count": 37,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(posts_info)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "총 10개 페이지, 70개 포스팅 정보가 수집되었습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Step 2. 블로그 내용 수집"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2-1. HTML 태그 정보 확인"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이렇게 수집한 포스팅 정보로 각 url을 순회하며 텍스트만 뽑아올 것입니다. 수집한 url중 하나에 진입해서 html 태그를 살펴봅니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![img](./img/2.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "본문 텍스트는 `se-main-continer`라는 div class가 지정되어 있습니다. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2-2. 데이터 호출 정보 확인"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "데이터 호출을 위해 이번에는 네트워크탭의 '문서'를 살펴보면 PostView.naver에 우리가 찾는 본문 텍스트가 있습니다. 해당 데이터를 어떻게 호출할 수 있을지 url과 매개변수를 통해 살펴봅니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![img](./img/3.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2-3. 단일 페이지 데이터 호출(함수)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이번에는 함수로 바로 만들어주겠습니다.\n",
    "\n",
    "select_one 함수로 본문을 가져오고 select('p')를 해줌으로써 본문 내 모든 문장들을 리스트로 추출합니다.  \n",
    "또한, list comprehension 문법을 통해 각 리스트 내 요소에서 텍스트만 추출해 다시 리스트로 저장하고, 제어문자(u200b는 폭 없는 공백입니다. 네이버 블로그 포스팅시 자동으로  문자 사이에 포함됩니다.)는 없애줍니다.  \n",
    "계속해서 list comprehension 문법을 사용하며 줄바꿈은 분리해주고 공백 요소는 제거해 깔끔한 형태의 문자열만 담은 리스트로 만듭니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_posts(x):\n",
    "    url = 'https://blog.naver.com/PostView.naver'\n",
    "    params = {\n",
    "        'blogId': x['domainIdOrBlogId'],\n",
    "        'logNo': x['logNo'],\n",
    "        'redirect': 'Dlog',\n",
    "        'widgetTypeCall': 'true',\n",
    "        'directAccess': 'false'\n",
    "    }\n",
    "\n",
    "    res = requests.get(url, params=params)\n",
    "    soup = BeautifulSoup(res.text, 'lxml')\n",
    "    posts = soup.select_one('.se-main-container').select('p')\n",
    "    posts = [x.get_text().replace('\\u200b','') for x in posts]\n",
    "    \n",
    "    filtered_posts = [x.replace('다. ', '다. \\n') for x in posts]\n",
    "    filtered_posts = sum([x.split('\\n') for x in posts],[])\n",
    "    filtered_posts = [x.strip() for x in filtered_posts if not x in ['',' ']]\n",
    "    return filtered_posts"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['안녕하세요. 오늘은 한국가스공사 주가 전망에 대해 살펴보겠습니다. 이제 가을이고 조금 있으면 금방 겨울이 됩니다. 그렇다면 우리는 겨울에 관심을 많이 받는 가스공사 주가를 생각 안 할 수가 없겠죠. 그래서 오늘은 현재 분위기는 어떻게 전문가들은 어떻게 생각하고 있는지 한번 알아보도록 하겠습니다.',\n",
       " '주식 종목은 각각 특성이 존재하고 계절에 따라 수익은 달라집니다. 저도 이번에 알았네요. 주식에는 다양한 테마주가 존재합니다. 오늘은 계절주로서 겨울과 관련 있어요. 겨울에는 난방, 가스, 보일러에 대한 계절주가 상승하게 됩니다. 그럼 여름은 어떨까요. 더운 날씨를 시원하게 식혀줄 피서철 여행주를 보면 복날과 관련한 하림, 마니커 등의 주가도 함께 상승하죠. 해당 계절마다 상승하기 때문에 미리 매수를 해둔다면 좋을 거 같아요. 이런 시기에 맞춰 종목을 정해서 매수를 한다면 계획에 맞춰 좋은 결과를 가져올 수 있겠죠.',\n",
       " '▣그럼 한국가스공사를 살펴볼까요.',\n",
       " '한국가스공사는 1983년도에 설립되어 99년에 성장을 한 기업입니다. 주로 천연가스판매를 주력으로 하고 있으며 해외 천연가스 생산지에서 LNG를 수입해 국내 발전사나 도시가스 회사에 공급을 하는 역할을 합니다.',\n",
       " '기후변화와 전기자동차처럼 친환경에너지 수요가 증가하게 되면서 현재는 친환경 에너지, 수소발전으로 전환하기 위해 여기에 필요한 개발과 인프라구축을 진행하고 있다고 합니다.',\n",
       " '실제로 국내 유일 천연가스 도매사업자인 한국가스공사의 주가는 크게 상승했습니다. 그러나 하반기 주가 방향을 두고 시각은 일관되지 않고 있어요. 미래는 누구도 예측할 수 없으니까요.',\n",
       " '천연가스 가격이 상승한 이유는 러시아가 유럽으로 수출하고 있는 천연가스의 양을 크게 줄였기 때문입니다. 그래서 유럽이 대체 수입처를 찾기 시작했죠. 그게 영향을 받은 겁니다.',\n",
       " '증권가에선 앞으로 한국가스공사의 주가 흐름을 보면서 분석이 엇갈립니다. 오름세를 보일 거라는 의견도 있는데 원인으로는 겨울철에 사용량이 증가하는 난방수요와 전쟁에서 파생된 가스 공급부족이 꼽히고 있어요. 저도 이 의견에 무게가 실리는 느낌입니다. 러와 우크라이나의 전쟁, 액화천연가스 LNG 터비널 공급차질 이슈로 겨울철 글로벌 가스 가격이 큰 폭으로 상승할 가능성이 높다고 합니다.',\n",
       " '이미 반면 원료 가격 상승분을 판매가인 가스 요금에 전가하지 못한다는 점이 리스크로 작용하고 있습니다. 공사에서 수입한 LNG대금 중 요금을 덜 회수가 된 금액은 미수금으로 분류가 되고 있습니다. 그런 미수금이 일정 수준 이상이 되면 부채의 비율은 상승하게 되고 신규 인프라스트럭처에 투자하지 못하는 불확실성이 발생합니다. 지금까지 한국가스공사 주가 전망에 대해 살펴보았습니다. 주식은 쉽지 않지만 이처럼 테마주, 계절주를 노리고 투자에 성공하는 분들이 꽤 있어요. 딱히 어디에 투자를 할지 잘 모르겠다면 이런 시기별로 뜨는 종목을 분석해서 접근해보는 것도 나쁘지 않아 보입니다.']"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "get_posts(posts_info[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['반도체 관련주 하면 가장 먼저 떠오르는 주식은 엔비디아입니다. 최근 매파적인 금리 인상과 다양한 수요 감소 등의 악재로 인해 엔비디아 주가는 고점 대비 약 -68% 정도 하락을 한 상태입니다.',\n",
       " 'NVIDIA 엔비디아 미국 주식의 주가와 전망 실적에 대해 알아보겠습니다.',\n",
       " 'NVDA',\n",
       " '대만 출신인 젠슨 황이 1993년 그래픽 카드 설계를 위해 설립한 미국 회사로 반도체를 설계하는 팹리스 회사입니다. 컴퓨터 CPU 설계로 GPU 리테일 시장에서 압도적인 점유율을 차지하고 있습니다.',\n",
       " 'Graphics와 Compute & Networking 두 부분을 통해 운영되고 있으며 크게 게이밍, 전문 시각화, 데이터 센터, 자동차 시장을 대상으로 매출을 만들어 내고 있습니다.',\n",
       " 'Graphics 부문은 GPU, GeForce NOW 게임 스트리밍 서비스 및 관련, RTX GPU, 기반 비주얼, 가상 컴퓨팅을 위한 NVIDIA vGPU 소프트웨어, 인포테인먼트 시스템용 자동차 플랫폼 등이 포함됩니다.',\n",
       " 'Compute & Networking 부문에는 인공 지능(AI), 고성능 컴퓨팅(HPC) 및 Mellanox 네트워킹 상호 연결 솔루션, 자율 주행 개발 계약 & 차량 솔루션, 컴퓨팅을 위한 데이터 센터 플랫폼 등의 시스템이 포함됩니다.',\n",
       " '엔비디아 주가',\n",
       " '엔비디아는 2021년 11월 22일 346.47로 최고가를 달성한 뒤 쭉 흘러내려서 현재 NVIDIA 주가는 2022년 10월 18일 장 마감 기준 119.67달러입니다.',\n",
       " '성장률 둔화, 글로벌 경기 침체 우려, 암호화폐 시장 침체, 중국 반도체 수출 규제, PC 수요 감소 등 다양한 악재들이 겹치면서 하락하였습니다.',\n",
       " '특히 암호화폐를 채굴하기 위해서는 그래픽 카드가 필요하였고 이에 따른 수요가 크게 증가하였습니다. 그러나 암호화폐 침체와 더불어 이더리움의 채굴 방식 변경으로 수요가 확 줄어들면서 NVDA 주가는 크게 하락하였습니다.',\n",
       " '현재 시가 총액은 425조 2150억 원이며 배당 수익률은 0.13%로 배당은 거의 하지 않고 있습니다.',\n",
       " '엔비디아 실적',\n",
       " '엔비디아는 최근 8월 24일에 실적을 발표하였습니다. 주당 순이익은 0.51로 시장의 컨센서스를 상회하였고 매출은 6.7B으로 컨센서스에 부합하였습니다. 다음 분기에 발표될 NVDA 실적이 중요해 보입니다.',\n",
       " '전년 동기와 비교해 보자면 매출은 살짝 증가하였지만 순이익은 거의 1/2 토막이 났습니다. 다음 엔비디아 NVIDIA 실적 발표일은 2022년 11월 17일이며 예상 매출액을 보시면 5.96B으로 전년 동기 대비와 비교하면 0.9B 정도가 낮아졌습니다.',\n",
       " '위에 말씀드린 이유 등으로 매출이 감소하고 있는 것이죠. 사실 그전에 너무나 폭발적인 수요로 매출 상승세가 엄청났었고 그에 따라 주가도 크게 상승하였으며 이런 성장성이 꺾이고 있기 때문에 NVIDIA 주가가 많이 하락하고 있습니다.',\n",
       " 'NVDA 3분기 실적, 전년대비 매출액은 +3% 성장하였지만 전분기 대비해서는 -19.1% 역성장하였습니다.',\n",
       " '특히 게이밍 부분이 전년대비 -33.4% 하락한 20.4달러를 기록하였으며, 데이터 센터는 네트워크 부분 공급 부족 이슈 등으로 생각보다 부진한 결과가 나왔습니다. 자동차 쪽은 Drive Orion 출하로 지속해서 높은 성장세를 보여주었습니다.',\n",
       " '엔비디아 전망',\n",
       " '꾸준하게 성장하고 있는 인공지능, 게임 시장, 데이터 센터, 자율주행, 메타버스의 성장에 따라 NIVIDIA 전망도 긍정적인 모습을 보여줄 수 있을 것이라 생각합니다.',\n",
       " '인공지능을 구현하기 위해서는 많은 GPU가 필요되고 AR, VR 등 게임 시장은 점점 성장 중이며 빅테크기업인 애플, 구글, 아마존, 테슬라, 메타 등 모두 데이터 센터를 가지고 있으며 앞으로도 연평균 20%가 넘는 성장이 기대되고 있는 분야입니다.',\n",
       " '자율주행 시장에서도 반도체는 반드시 필요되며 메타버스 시장도 점점 커지고 있는데 반도체는 필수적일 수밖에 없습니다.',\n",
       " '사실 모든 4차 산업혁명이 반도체가 필요로 되기 때문에 반도체 섹터의 사이클은 있지만 성장성은 지속될 수밖에 없을 것이라고 생각이 들고 엔비디아 전망 또한 밝다고 생각합니다.',\n",
       " '한때 엔비디아의 PER는 100배가 넘어갔으며 물론 미래의 성장성을 반영한다지만 과한 점이 없지 않아 있었습니다. 현재의 PER는 30대 초반으로 1/3 정도 하락하였습니다.',\n",
       " 'NVIDIA 주가 전망은 현재 수요 감소로 많은 재고가 쌓여져 있고 이 재고를 얼마나 빠른 속도로 소진하는지가 중요해질 것 같으며 앞으로의 신제품 출시와 데이터 센터 부분에서의 성장세가 중요해질 것 같습니다.',\n",
       " 'NVDA 엔비디아 주식의 주가와 실적 전망에 대해 알아보았습니다. 4차 산업혁명과 반도체는 밀접하게 연관이 되어있기에 반도체 시장의 성장세는 지속되지 않을까 생각이 듭니다. 다만 개인적인 의견이니 참고 부탁드리며 성공적인 투자되시길 진심으로 응원하겠습니다.']"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "get_posts(posts_info[1])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Step 3. 감성 분류"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "이제, 이렇게 얻은 문자열에 대해 감성 분류를 실시할 수 있습니다. 텍스트 클랜징 작업은 최대한 정교하게 할 수록 좋습니다. 텍스트 수집에 정도가 없듯 텍스트 전처리 방법에도 역시 정도가 없습니다.\n",
    "\n",
    "이번 튜토리얼에서는 간단하게 전처리한 문장을 활용해 감성 분류를 해봅니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3-1. 허깅페이스 모델 검색"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "우선, 임의의 텍스트 한 줄을 가져다 잘 분류해줄 수 있는 모델을 찾아봅니다. \n",
    "\n",
    "언어모델의 경우 대규모로 사전학습된 모델을 먼저 리서치해보는 것이 좋습니다. 간단한 분석을 위해 몇 주간의 학습 시간을 소진하기에는 현실적으로 어렵기 때문에, 언어모델 사용시 다운스트림 테스크로 우리의 데이터셋에 조금 더 확률값을 높여주고 우리가 목표로하는 결과값을 출력해내도록 구조를 맞춰주는 정도의 파인튜닝이 일반적입니다.\n",
    "\n",
    "감성 분류, 그 중에서도 금융 텍스트에 특화된 한국어 모델이 이미 허깅페이스에 올라와있습니다. 해당 모델을 테스트해보고 사용 여부를 판단합니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![img](./img/4.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "부정적 어감의 문장을 가져다 넣으니 negative로 잘 분류해줍니다. 중립은 어떨까요?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![img](./img/5.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "'엔비디아 전망'이라는 텍스트는 97.6%의 확률로 neutral으로 분류를 해줍니다. 만약 우리가 사용하는 모델이 긍/부정으로만 분류할 수 있다면 중립에 해당하는 문장은 최대한 걸러내야 할 것입니다.\n",
    "\n",
    "여기서는 우리가 수집한 전체 문장에 대해 중립, 부정, 긍정 각각의 비중을 살펴보고 주식시장의 동향을 파악해보고자 합니다. \n",
    "\n",
    "참고로 우리는 특정 블로그 포스팅 자체에 대해 '긍정 포스팅이다.', '부정 포스팅이다.' 하고 분류하기보다 위 방식처럼 하나의 글 내에서도 여러 문장으로 분리하고 각각을 분류 대상으로 삼을 것입니다. 한 명이 작성한 하나의 블로그 포스팅 안에서도 긍정적인 문장과 부정적인 문장이 혼재해있습니다. 해당 블로그 포스팅으로 누군가는 부정적인 정보를 획득해갈 것이고 누군가는 반대로 긍정적인 정보를 획득해갈 것입니다. 사람마다 받아들이는 정보는 매우 주관적이므로 블로그 포스팅 내 모든 문장을 정보 혹은 대중의 판단 근거라 가정하는 것입니다.\n",
    "\n",
    "물론 이러한 분석 방식 역시 제 주관과 의도가 강하게 개입되어 있으며, 반드시 정답은 아닙니다.\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3-2. 추론 모델 인스턴스 생성 및 테스트"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [],
   "source": [
    "from transformers import AutoTokenizer, AutoModelForSequenceClassification\n",
    "from transformers import pipeline\n",
    "\n",
    "tokenizer = AutoTokenizer.from_pretrained('snunlp/KR-FinBert-SC')\n",
    "model = AutoModelForSequenceClassification.from_pretrained('snunlp/KR-FinBert-SC')\n",
    "\n",
    "senti_classifier = pipeline(task='text-classification', model=model, tokenizer=tokenizer)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "위 코드는 허깅페이스를 통해 우리가 사용하려는 모델과 토크나이저를 불러와 빠르게 추론 모델을 만듭니다.  \n",
    "해당 모델은 뉴스기사 텍스트로 1차 파인튜닝된 모델입니다. 그렇기 때문에 추가 학습 없이 우리 테스크에 바로 적용할 수 있습니다. \n",
    "\n",
    "다만, 경우에 따라 같은 유형의 테스크라 하더라도 모델이 우리 데이터에 완전히 맞지는 않을 수 있습니다. 따라서 몇가지 단어를 넣어 적절한 출력이 나오는지 한번 더 확인하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'label': 'positive', 'score': 0.8705503940582275},\n",
       " {'label': 'negative', 'score': 0.9346325993537903},\n",
       " {'label': 'neutral', 'score': 0.5876992344856262}]"
      ]
     },
     "execution_count": 59,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "senti_classifier(['상승','하락','애플'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "주가 관련 텍스트를 학습한 탓에 상승이라는 키워드에는 positive를, 하락이라는 키워드에는 negative를, 애플과 같은 고유명사에는 neutral을 출력해줍니다. 우리가 기대했던 결과값입니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "그럼, 이제 지난 7일간의 주식 시장에 대한 평가를 네이버 블로그에 한정해서 살펴보도록 하겠습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3-3. 단일 포스팅 내 텍스트 감성 분류"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "70"
      ]
     },
     "execution_count": 62,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(posts_info)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "우리가 분석하려는 총 포스트 수는 총 70개입니다. 첫번째 포스팅을 먼저 분석해보겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['안녕하세요. 오늘은 한국가스공사 주가 전망에 대해 살펴보겠습니다. 이제 가을이고 조금 있으면 금방 겨울이 됩니다. 그렇다면 우리는 겨울에 관심을 많이 받는 가스공사 주가를 생각 안 할 수가 없겠죠. 그래서 오늘은 현재 분위기는 어떻게 전문가들은 어떻게 생각하고 있는지 한번 알아보도록 하겠습니다.',\n",
       " '주식 종목은 각각 특성이 존재하고 계절에 따라 수익은 달라집니다. 저도 이번에 알았네요. 주식에는 다양한 테마주가 존재합니다. 오늘은 계절주로서 겨울과 관련 있어요. 겨울에는 난방, 가스, 보일러에 대한 계절주가 상승하게 됩니다. 그럼 여름은 어떨까요. 더운 날씨를 시원하게 식혀줄 피서철 여행주를 보면 복날과 관련한 하림, 마니커 등의 주가도 함께 상승하죠. 해당 계절마다 상승하기 때문에 미리 매수를 해둔다면 좋을 거 같아요. 이런 시기에 맞춰 종목을 정해서 매수를 한다면 계획에 맞춰 좋은 결과를 가져올 수 있겠죠.',\n",
       " '▣그럼 한국가스공사를 살펴볼까요.',\n",
       " '한국가스공사는 1983년도에 설립되어 99년에 성장을 한 기업입니다. 주로 천연가스판매를 주력으로 하고 있으며 해외 천연가스 생산지에서 LNG를 수입해 국내 발전사나 도시가스 회사에 공급을 하는 역할을 합니다.',\n",
       " '기후변화와 전기자동차처럼 친환경에너지 수요가 증가하게 되면서 현재는 친환경 에너지, 수소발전으로 전환하기 위해 여기에 필요한 개발과 인프라구축을 진행하고 있다고 합니다.',\n",
       " '실제로 국내 유일 천연가스 도매사업자인 한국가스공사의 주가는 크게 상승했습니다. 그러나 하반기 주가 방향을 두고 시각은 일관되지 않고 있어요. 미래는 누구도 예측할 수 없으니까요.',\n",
       " '천연가스 가격이 상승한 이유는 러시아가 유럽으로 수출하고 있는 천연가스의 양을 크게 줄였기 때문입니다. 그래서 유럽이 대체 수입처를 찾기 시작했죠. 그게 영향을 받은 겁니다.',\n",
       " '증권가에선 앞으로 한국가스공사의 주가 흐름을 보면서 분석이 엇갈립니다. 오름세를 보일 거라는 의견도 있는데 원인으로는 겨울철에 사용량이 증가하는 난방수요와 전쟁에서 파생된 가스 공급부족이 꼽히고 있어요. 저도 이 의견에 무게가 실리는 느낌입니다. 러와 우크라이나의 전쟁, 액화천연가스 LNG 터비널 공급차질 이슈로 겨울철 글로벌 가스 가격이 큰 폭으로 상승할 가능성이 높다고 합니다.',\n",
       " '이미 반면 원료 가격 상승분을 판매가인 가스 요금에 전가하지 못한다는 점이 리스크로 작용하고 있습니다. 공사에서 수입한 LNG대금 중 요금을 덜 회수가 된 금액은 미수금으로 분류가 되고 있습니다. 그런 미수금이 일정 수준 이상이 되면 부채의 비율은 상승하게 되고 신규 인프라스트럭처에 투자하지 못하는 불확실성이 발생합니다. 지금까지 한국가스공사 주가 전망에 대해 살펴보았습니다. 주식은 쉽지 않지만 이처럼 테마주, 계절주를 노리고 투자에 성공하는 분들이 꽤 있어요. 딱히 어디에 투자를 할지 잘 모르겠다면 이런 시기별로 뜨는 종목을 분석해서 접근해보는 것도 나쁘지 않아 보입니다.']"
      ]
     },
     "execution_count": 64,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "get_posts(posts_info[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>senti</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>안녕하세요. 오늘은 한국가스공사 주가 전망에 대해 살펴보겠습니다. 이제 가을이고 조...</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>주식 종목은 각각 특성이 존재하고 계절에 따라 수익은 달라집니다. 저도 이번에 알았...</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>▣그럼 한국가스공사를 살펴볼까요.</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>한국가스공사는 1983년도에 설립되어 99년에 성장을 한 기업입니다. 주로 천연가스...</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>기후변화와 전기자동차처럼 친환경에너지 수요가 증가하게 되면서 현재는 친환경 에너지,...</td>\n",
       "      <td>positive</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>실제로 국내 유일 천연가스 도매사업자인 한국가스공사의 주가는 크게 상승했습니다. 그...</td>\n",
       "      <td>positive</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>천연가스 가격이 상승한 이유는 러시아가 유럽으로 수출하고 있는 천연가스의 양을 크게...</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>증권가에선 앞으로 한국가스공사의 주가 흐름을 보면서 분석이 엇갈립니다. 오름세를 보...</td>\n",
       "      <td>negative</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>이미 반면 원료 가격 상승분을 판매가인 가스 요금에 전가하지 못한다는 점이 리스크로...</td>\n",
       "      <td>negative</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                text     senti\n",
       "0  안녕하세요. 오늘은 한국가스공사 주가 전망에 대해 살펴보겠습니다. 이제 가을이고 조...   neutral\n",
       "1  주식 종목은 각각 특성이 존재하고 계절에 따라 수익은 달라집니다. 저도 이번에 알았...   neutral\n",
       "2                                 ▣그럼 한국가스공사를 살펴볼까요.   neutral\n",
       "3  한국가스공사는 1983년도에 설립되어 99년에 성장을 한 기업입니다. 주로 천연가스...   neutral\n",
       "4  기후변화와 전기자동차처럼 친환경에너지 수요가 증가하게 되면서 현재는 친환경 에너지,...  positive\n",
       "5  실제로 국내 유일 천연가스 도매사업자인 한국가스공사의 주가는 크게 상승했습니다. 그...  positive\n",
       "6  천연가스 가격이 상승한 이유는 러시아가 유럽으로 수출하고 있는 천연가스의 양을 크게...   neutral\n",
       "7  증권가에선 앞으로 한국가스공사의 주가 흐름을 보면서 분석이 엇갈립니다. 오름세를 보...  negative\n",
       "8  이미 반면 원료 가격 상승분을 판매가인 가스 요금에 전가하지 못한다는 점이 리스크로...  negative"
      ]
     },
     "execution_count": 84,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x = get_posts(posts_info[0])\n",
    "y = [x['label'] for x in senti_classifier(x)]\n",
    "\n",
    "df = pd.DataFrame(data={\n",
    "    'text': x,\n",
    "    'senti': y\n",
    "})\n",
    "\n",
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3-4. 전체 7일간 포스팅 감성 분류"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "서론, 혹은 이야기를 풀어나가기 위한 담화용 텍스트는 neutral로 분류되고 그 외 주가 판단에 대한 내용은 positive 혹은 negative로 분류되는 모습을 볼 수 있습니다.\n",
    "\n",
    "이번에는 전체 70개 포스팅에 대해 모두 분류하고 분류 비중을 살펴보도록 하겠습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "포스팅을 먼저 모두 수집하고 전체 데이터에 대해 한번에 추론하는 방식 혹은 매 포스팅마다 수집과 추론을 반복해서 결과값을 합치는 방식을 취할 수 있습니다.\n",
    "\n",
    "속도 및 작업 편의를 고려하면 전자가 좋겠지만 각 포스팅에 수십 개의 문장이 있기 때문에 전체 분류 타겟이 메모리에 한번에 올라가게 되면 중간에 멈출 수도 있습니다. 따라서 배치 작업으로 안정적인 추론이 이루어질 수 있도록 후자 형태로 코드를 구성하겠습니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[INFO] 분류 작업 중.. (타겟 포스팅: 1/69 분류된 문장 수: 35)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 2/69 분류된 문장 수: 59)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 3/69 분류된 문장 수: 85)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 4/69 분류된 문장 수: 244)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 5/69 분류된 문장 수: 363)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 6/69 분류된 문장 수: 394)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 7/69 분류된 문장 수: 410)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 8/69 분류된 문장 수: 423)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 9/69 분류된 문장 수: 520)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 10/69 분류된 문장 수: 563)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 11/69 분류된 문장 수: 581)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 12/69 분류된 문장 수: 692)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 13/69 분류된 문장 수: 728)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 14/69 분류된 문장 수: 799)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 15/69 분류된 문장 수: 892)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 16/69 분류된 문장 수: 906)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 17/69 분류된 문장 수: 1084)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 18/69 분류된 문장 수: 1146)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 19/69 분류된 문장 수: 1169)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 20/69 분류된 문장 수: 1211)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 21/69 분류된 문장 수: 1230)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 22/69 분류된 문장 수: 1289)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 23/69 분류된 문장 수: 1327)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 24/69 분류된 문장 수: 1390)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 25/69 분류된 문장 수: 1413)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 26/69 분류된 문장 수: 1543)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 27/69 분류된 문장 수: 1559)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 28/69 분류된 문장 수: 1659)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 29/69 분류된 문장 수: 1701)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 30/69 분류된 문장 수: 1715)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 31/69 분류된 문장 수: 1758)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 32/69 분류된 문장 수: 1786)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 33/69 분류된 문장 수: 1863)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 34/69 분류된 문장 수: 1930)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 35/69 분류된 문장 수: 1946)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 36/69 분류된 문장 수: 1996)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 37/69 분류된 문장 수: 2052)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 38/69 분류된 문장 수: 2092)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 39/69 분류된 문장 수: 2333)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 40/69 분류된 문장 수: 2383)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 41/69 분류된 문장 수: 2396)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 42/69 분류된 문장 수: 2406)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 43/69 분류된 문장 수: 2463)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 44/69 분류된 문장 수: 2551)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 45/69 분류된 문장 수: 2603)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 46/69 분류된 문장 수: 2677)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 47/69 분류된 문장 수: 2717)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 48/69 분류된 문장 수: 2737)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 49/69 분류된 문장 수: 2780)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 50/69 분류된 문장 수: 2918)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 51/69 분류된 문장 수: 2985)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 52/69 분류된 문장 수: 3014)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 53/69 분류된 문장 수: 3239)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 54/69 분류된 문장 수: 3252)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 55/69 분류된 문장 수: 3272)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 56/69 분류된 문장 수: 3469)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 57/69 분류된 문장 수: 3515)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 58/69 분류된 문장 수: 3575)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 59/69 분류된 문장 수: 3783)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 60/69 분류된 문장 수: 3813)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 61/69 분류된 문장 수: 3861)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 62/69 분류된 문장 수: 3902)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 63/69 분류된 문장 수: 3945)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 64/69 분류된 문장 수: 3990)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 65/69 분류된 문장 수: 4009)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 66/69 분류된 문장 수: 4049)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 67/69 분류된 문장 수: 4090)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 68/69 분류된 문장 수: 4348)\n",
      "[INFO] 분류 작업 중.. (타겟 포스팅: 69/69 분류된 문장 수: 4364)\n"
     ]
    }
   ],
   "source": [
    "for i in range(1, len(posts_info)): # 첫번째(index:0) 포스팅에 이어서 두번째(index:1) 포스팅부터 끝까지 수집합니다.\n",
    "    x = get_posts(posts_info[i])\n",
    "    y = [x['label'] for x in senti_classifier(x)]\n",
    "\n",
    "    df_next = pd.DataFrame(data={\n",
    "        'text': x,\n",
    "        'senti': y\n",
    "    })\n",
    "\n",
    "    df = pd.concat([df, df_next])\n",
    "    print(f'[INFO] 분류 작업 중.. (타겟 포스팅: {i}/{len(posts_info)-1} 분류된 문장 수: {len(df)})')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 91,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>senti</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>안녕하세요. 오늘은 한국가스공사 주가 전망에 대해 살펴보겠습니다. 이제 가을이고 조...</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>주식 종목은 각각 특성이 존재하고 계절에 따라 수익은 달라집니다. 저도 이번에 알았...</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>▣그럼 한국가스공사를 살펴볼까요.</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>한국가스공사는 1983년도에 설립되어 99년에 성장을 한 기업입니다. 주로 천연가스...</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>기후변화와 전기자동차처럼 친환경에너지 수요가 증가하게 되면서 현재는 친환경 에너지,...</td>\n",
       "      <td>positive</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4359</th>\n",
       "      <td>현재 미중갈등이 심화되며 중국을 아예 배재하고 있기 때문에 중국이 잡고있는 수요에대...</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4360</th>\n",
       "      <td>쉽게 끝날 단기적 이슈는 아니라고 보여집니다.</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4361</th>\n",
       "      <td>해당종목과 함께 이브이첨단소재도 같은테마로 비슷한 흐름을 보여주고 있기때문에 쭉 지...</td>\n",
       "      <td>positive</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4362</th>\n",
       "      <td>STX주가전망에 대하여 짧게나마 알아보았습니다.</td>\n",
       "      <td>neutral</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4363</th>\n",
       "      <td>다시금 장이 힘차게 반등을 해주길 기원해봅니다.</td>\n",
       "      <td>positive</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>4364 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   text     senti\n",
       "0     안녕하세요. 오늘은 한국가스공사 주가 전망에 대해 살펴보겠습니다. 이제 가을이고 조...   neutral\n",
       "1     주식 종목은 각각 특성이 존재하고 계절에 따라 수익은 달라집니다. 저도 이번에 알았...   neutral\n",
       "2                                    ▣그럼 한국가스공사를 살펴볼까요.   neutral\n",
       "3     한국가스공사는 1983년도에 설립되어 99년에 성장을 한 기업입니다. 주로 천연가스...   neutral\n",
       "4     기후변화와 전기자동차처럼 친환경에너지 수요가 증가하게 되면서 현재는 친환경 에너지,...  positive\n",
       "...                                                 ...       ...\n",
       "4359  현재 미중갈등이 심화되며 중국을 아예 배재하고 있기 때문에 중국이 잡고있는 수요에대...   neutral\n",
       "4360                          쉽게 끝날 단기적 이슈는 아니라고 보여집니다.   neutral\n",
       "4361  해당종목과 함께 이브이첨단소재도 같은테마로 비슷한 흐름을 보여주고 있기때문에 쭉 지...  positive\n",
       "4362                         STX주가전망에 대하여 짧게나마 알아보았습니다.   neutral\n",
       "4363                         다시금 장이 힘차게 반등을 해주길 기원해봅니다.  positive\n",
       "\n",
       "[4364 rows x 2 columns]"
      ]
     },
     "execution_count": 91,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = df.reset_index(drop=True)\n",
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3-5. 결과"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 93,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "neutral     0.725710\n",
       "positive    0.188130\n",
       "negative    0.086159\n",
       "Name: senti, dtype: float64"
      ]
     },
     "execution_count": 93,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['senti'].value_counts() / len(df)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "결과는 중립 73%, 긍정 18%, 부정 8%로 현재 불안정한 시장 상황을 충분히 반영하고 있습니다.  \n",
    "사실, 이는 해석하기 나름입니다. '여전히 긍정적인 전망을 하는 사람들이 더 많기 때문에 아직 바닥이 아니다'라고 할 수도 있고, '이제 바닥을 찍고 상승하려는 움직임이 보인다'라고 할 수도 있습니다.  \n",
    "따라서 이렇게 하나의 지표나 결과를 보고 전체 주식시장을 판단하는 것은 무리가 있겠습니다만, 이러한 비율을 매주 추적하며 시계열로 분석한다면 더 유의미한 추세적 지표로 활용할 수 있을 것입니다."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.7.7 ('dataScience')",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.7"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "946e70462398da2b7d5146f365841ff0dae0fe6e2f7c4e5ed0a8dd78c4677798"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}