자연어 처리 및 tf-idf.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "fb413e98",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import re\n",
    "import timeit\n",
    "\n",
    "import pickle\n",
    "\n",
    "from eunjeon import Mecab\n",
    "mecab = Mecab()\n",
    "\n",
    "with open('word_dict.pkl','rb') as f:\n",
    "    stopwords = pickle.load(f)\n",
    "    \n",
    "company = pd.read_csv('./raw/19년 1월 2일 기준(코스피).csv',encoding='utf-8')\n",
    "company_list = company.iloc[:100,]['종목명'][0:100]# 시총 상위 100개 기업 리스트\n",
    "total_df = pd.DataFrame(columns=['Company','Day','Main','Head'])\n",
    "\n",
    "# 분석 중에 불용어 사전에 추가하고 업로드하기 힘들 경우, 아래와 같이 리스트를 추가해서 사용\n",
    "list_del= ['기사','기자','신문','네이버','뉴스','연합뉴스','하이닉스','텔레콤','사진','데일리','가운데','구독',\\\n",
    "            '이날','이후','지난해','최근','삼성','종목','한국','거래소','현대','종합','주요'] + company_list.to_list()\n",
    "stopwords += list_del"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "bba9bf7a",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "------삼성전자------\n",
      "Main 처리 시간 : 269.128495초\n",
      "Head 처리 시간 : 6.082477초\n",
      "------SK하이닉스------\n",
      "Main 처리 시간 : 66.735493초\n",
      "Head 처리 시간 : 1.505375초\n",
      "------셀트리온------\n",
      "Main 처리 시간 : 33.565210초\n",
      "Head 처리 시간 : 0.902345초\n",
      "------삼성전자우------\n",
      "Main 처리 시간 : 4.234805초\n",
      "Head 처리 시간 : 0.127669초\n",
      "------삼성바이오로직스------\n",
      "Main 처리 시간 : 27.967528초\n",
      "Head 처리 시간 : 0.637712초\n",
      "------현대차------\n",
      "Main 처리 시간 : 112.090035초\n",
      "Head 처리 시간 : 2.466265초\n",
      "------LG화학------\n",
      "Main 처리 시간 : 38.268908초\n",
      "Head 처리 시간 : 0.906689초\n",
      "------SK텔레콤------\n",
      "Main 처리 시간 : 75.266141초\n",
      "Head 처리 시간 : 1.585973초\n",
      "------한국전력------\n",
      "Main 처리 시간 : 35.709490초\n",
      "Head 처리 시간 : 0.870181초\n",
      "------POSCO------\n",
      "Main 처리 시간 : 8.740990초\n",
      "Head 처리 시간 : 0.244863초\n",
      "------삼성물산------\n",
      "Main 처리 시간 : 24.095614초\n",
      "Head 처리 시간 : 0.470484초\n",
      "------NAVER------\n",
      "Main 처리 시간 : 23.985648초\n",
      "Head 처리 시간 : 0.527955초\n",
      "------KB금융------\n",
      "Main 처리 시간 : 18.150755초\n",
      "Head 처리 시간 : 0.363912초\n",
      "------신한지주------\n",
      "Main 처리 시간 : 16.026891초\n",
      "Head 처리 시간 : 0.394651초\n",
      "------현대모비스------\n",
      "Main 처리 시간 : 24.814500초\n",
      "Head 처리 시간 : 0.615721초\n",
      "------SK------\n",
      "Main 처리 시간 : 313.816074초\n",
      "Head 처리 시간 : 7.228523초\n",
      "------LG생활건강------\n",
      "Main 처리 시간 : 16.008980초\n",
      "Head 처리 시간 : 0.362397초\n",
      "------삼성생명------\n",
      "Main 처리 시간 : 11.603167초\n",
      "Head 처리 시간 : 0.213891초\n",
      "------삼성에스디에스------\n",
      "Main 처리 시간 : 1.405685초\n",
      "Head 처리 시간 : 0.028633초\n",
      "------SK이노베이션------\n",
      "Main 처리 시간 : 19.814949초\n",
      "Head 처리 시간 : 0.387435초\n",
      "------삼성SDI------\n",
      "Main 처리 시간 : 11.986573초\n",
      "Head 처리 시간 : 0.255947초\n",
      "------KT&G------\n",
      "Main 처리 시간 : 108.563501초\n",
      "Head 처리 시간 : 2.517992초\n",
      "------기아차------\n",
      "Main 처리 시간 : 45.057973초\n",
      "Head 처리 시간 : 0.940444초\n",
      "------삼성화재------\n",
      "Main 처리 시간 : 10.845680초\n",
      "Head 처리 시간 : 0.216575초\n",
      "------LG------\n",
      "Main 처리 시간 : 279.653518초\n",
      "Head 처리 시간 : 6.510025초\n",
      "------아모레퍼시픽------\n",
      "Main 처리 시간 : 14.188226초\n",
      "Head 처리 시간 : 0.296192초\n",
      "------하나금융지주------\n",
      "Main 처리 시간 : 6.848925초\n",
      "Head 처리 시간 : 0.135650초\n",
      "------우리은행------\n",
      "Main 처리 시간 : 43.372097초\n",
      "Head 처리 시간 : 0.914666초\n",
      "------S-Oil------\n",
      "Main 처리 시간 : 4.538994초\n",
      "Head 처리 시간 : 0.103224초\n",
      "------LG전자------\n",
      "Main 처리 시간 : 72.175461초\n",
      "Head 처리 시간 : 1.499574초\n",
      "------엔씨소프트------\n",
      "Main 처리 시간 : 13.967891초\n",
      "Head 처리 시간 : 0.275595초\n",
      "------롯데케미칼------\n",
      "Main 처리 시간 : 8.021172초\n",
      "Head 처리 시간 : 0.159352초\n",
      "------넷마블------\n",
      "Main 처리 시간 : 16.611416초\n",
      "Head 처리 시간 : 0.347233초\n",
      "------현대중공업------\n",
      "Main 처리 시간 : 35.513200초\n",
      "Head 처리 시간 : 0.772719초\n",
      "------카카오------\n",
      "Main 처리 시간 : 162.763810초\n",
      "Head 처리 시간 : 3.673311초\n",
      "------고려아연------\n",
      "Main 처리 시간 : 1.514634초\n",
      "Head 처리 시간 : 0.038262초\n",
      "------KT------\n",
      "Main 처리 시간 : 108.370305초\n",
      "Head 처리 시간 : 2.514118초\n",
      "------LG유플러스------\n",
      "Main 처리 시간 : 44.133757초\n",
      "Head 처리 시간 : 0.880422초\n",
      "------기업은행------\n",
      "Main 처리 시간 : 24.982183초\n",
      "Head 처리 시간 : 0.522115초\n",
      "------삼성전기------\n",
      "Main 처리 시간 : 8.883885초\n",
      "Head 처리 시간 : 0.196985초\n",
      "------강원랜드------\n",
      "Main 처리 시간 : 8.842340초\n",
      "Head 처리 시간 : 0.191099초\n",
      "------LG디스플레이------\n",
      "Main 처리 시간 : 16.804926초\n",
      "Head 처리 시간 : 0.322507초\n",
      "------현대건설------\n",
      "Main 처리 시간 : 24.776532초\n",
      "Head 처리 시간 : 0.508895초\n",
      "------현대제철------\n",
      "Main 처리 시간 : 8.790905초\n",
      "Head 처리 시간 : 0.191663초\n",
      "------롯데지주------\n",
      "Main 처리 시간 : 6.612064초\n",
      "Head 처리 시간 : 0.136697초\n",
      "------롯데쇼핑------\n",
      "Main 처리 시간 : 15.408006초\n",
      "Head 처리 시간 : 0.312086초\n",
      "------한온시스템------\n",
      "Main 처리 시간 : 2.248638초\n",
      "Head 처리 시간 : 0.045195초\n",
      "------아모레G------\n",
      "Main 처리 시간 : 1.679040초\n",
      "Head 처리 시간 : 0.032879초\n",
      "------현대중공업지주------\n",
      "Main 처리 시간 : 5.112661초\n",
      "Head 처리 시간 : 0.099944초\n",
      "------코웨이------\n",
      "Main 처리 시간 : 8.218487초\n",
      "Head 처리 시간 : 0.161800초\n",
      "------한미약품------\n",
      "Main 처리 시간 : 8.528246초\n",
      "Head 처리 시간 : 0.155631초\n",
      "------한국타이어------\n",
      "Main 처리 시간 : 6.888682초\n",
      "Head 처리 시간 : 0.178590초\n",
      "------이마트------\n",
      "Main 처리 시간 : 90.797284초\n",
      "Head 처리 시간 : 2.008952초\n",
      "------CJ제일제당------\n",
      "Main 처리 시간 : 17.408318초\n",
      "Head 처리 시간 : 0.343198초\n",
      "------한미사이언스------\n",
      "Main 처리 시간 : 0.767188초\n",
      "Head 처리 시간 : 0.024291초\n",
      "------DB손해보험------\n",
      "Main 처리 시간 : 8.790976초\n",
      "Head 처리 시간 : 0.158088초\n",
      "------현대글로비스------\n",
      "Main 처리 시간 : 5.875272초\n",
      "Head 처리 시간 : 0.154981초\n",
      "------삼성중공업------\n",
      "Main 처리 시간 : 11.667145초\n",
      "Head 처리 시간 : 0.265074초\n",
      "------GS------\n",
      "Main 처리 시간 : 92.018494초\n",
      "Head 처리 시간 : 1.973844초\n",
      "------오리온------\n",
      "Main 처리 시간 : 9.211994초\n",
      "Head 처리 시간 : 0.204437초\n",
      "------한국가스공사------\n",
      "Main 처리 시간 : 13.160966초\n",
      "Head 처리 시간 : 0.339893초\n",
      "------미래에셋대우------\n",
      "Main 처리 시간 : 37.043534초\n",
      "Head 처리 시간 : 0.839049초\n",
      "------삼성카드------\n",
      "Main 처리 시간 : 11.110645초\n",
      "Head 처리 시간 : 0.234022초\n",
      "------에스원------\n",
      "Main 처리 시간 : 3.101513초\n",
      "Head 처리 시간 : 0.072863초\n",
      "------CJ대한통운------\n",
      "Main 처리 시간 : 8.499626초\n",
      "Head 처리 시간 : 0.179943초\n",
      "------한화생명------\n",
      "Main 처리 시간 : 13.550244초\n",
      "Head 처리 시간 : 0.282023초\n",
      "------대우조선해양------\n",
      "Main 처리 시간 : 30.093388초\n",
      "Head 처리 시간 : 0.657902초\n",
      "------현대해상------\n",
      "Main 처리 시간 : 8.644032초\n",
      "Head 처리 시간 : 0.177005초\n",
      "------BGF리테일------\n",
      "Main 처리 시간 : 6.127525초\n",
      "Head 처리 시간 : 0.141722초\n",
      "------NH투자증권------\n",
      "Main 처리 시간 : 57.581264초\n",
      "Head 처리 시간 : 1.280592초\n",
      "------삼성엔지니어링------\n",
      "Main 처리 시간 : 4.189298초\n",
      "Head 처리 시간 : 0.103798초\n",
      "------CJ------\n",
      "Main 처리 시간 : 141.886572초\n",
      "Head 처리 시간 : 3.229289초\n",
      "------대림산업------\n",
      "Main 처리 시간 : 19.969331초\n",
      "Head 처리 시간 : 0.422609초\n",
      "------GS건설------\n",
      "Main 처리 시간 : 23.118933초\n",
      "Head 처리 시간 : 0.474865초\n",
      "------KCC------\n",
      "Main 처리 시간 : 9.196693초\n",
      "Head 처리 시간 : 0.229250초\n",
      "------맥쿼리인프라------\n",
      "Main 처리 시간 : 1.261931초\n",
      "Head 처리 시간 : 0.036577초\n",
      "------한화케미칼------\n",
      "Main 처리 시간 : 6.633938초\n",
      "Head 처리 시간 : 0.159779초\n",
      "------한국금융지주------\n",
      "Main 처리 시간 : 4.449420초\n",
      "Head 처리 시간 : 0.108661초\n",
      "------한국항공우주------\n",
      "Main 처리 시간 : 10.460070초\n",
      "Head 처리 시간 : 0.234489초\n",
      "------휠라코리아------\n",
      "Main 처리 시간 : 3.532601초\n",
      "Head 처리 시간 : 0.094653초\n",
      "------쌍용양회------\n",
      "Main 처리 시간 : 3.225327초\n",
      "Head 처리 시간 : 0.081891초\n",
      "------두산밥캣------\n",
      "Main 처리 시간 : 2.576343초\n",
      "Head 처리 시간 : 0.068201초\n",
      "------대한항공------\n",
      "Main 처리 시간 : 76.438153초\n",
      "Head 처리 시간 : 1.757715초\n",
      "------GS리테일------\n",
      "Main 처리 시간 : 10.885855초\n",
      "Head 처리 시간 : 0.221626초\n",
      "------호텔신라------\n",
      "Main 처리 시간 : 9.760202초\n",
      "Head 처리 시간 : 0.234745초\n",
      "------현대엘리베이------\n",
      "Main 처리 시간 : 1.295678초\n",
      "Head 처리 시간 : 0.051152초\n",
      "------삼성증권------\n",
      "Main 처리 시간 : 30.165043초\n",
      "Head 처리 시간 : 0.698309초\n",
      "------현대차2우B------\n",
      "Main 처리 시간 : 0.390829초\n",
      "Head 처리 시간 : 0.008656초\n",
      "------오뚜기------\n",
      "Main 처리 시간 : 8.242527초\n",
      "Head 처리 시간 : 0.157812초\n",
      "------금호석유------\n",
      "Main 처리 시간 : 4.427902초\n",
      "Head 처리 시간 : 0.103763초\n",
      "------제일기획------\n",
      "Main 처리 시간 : 3.751426초\n",
      "Head 처리 시간 : 0.087237초\n",
      "------유한양행------\n",
      "Main 처리 시간 : 9.273191초\n",
      "Head 처리 시간 : 0.188188초\n",
      "------OCI------\n",
      "Main 처리 시간 : 5.939662초\n",
      "Head 처리 시간 : 0.123748초\n",
      "------메리츠종금증권------\n",
      "Main 처리 시간 : 16.534042초\n",
      "Head 처리 시간 : 0.395411초\n",
      "------신세계------\n",
      "Main 처리 시간 : 113.997154초\n",
      "Head 처리 시간 : 2.390373초\n",
      "------메리츠화재------\n",
      "Main 처리 시간 : 7.721513초\n",
      "Head 처리 시간 : 0.141359초\n",
      "------팬오션------\n",
      "Main 처리 시간 : 1.082753초\n",
      "Head 처리 시간 : 0.035989초\n",
      "------현대미포조선------\n",
      "Main 처리 시간 : 5.486364초\n",
      "Head 처리 시간 : 0.118121초\n",
      "------한화------\n",
      "Main 처리 시간 : 151.168587초\n",
      "Head 처리 시간 : 3.623757초\n",
      "------BNK금융지주------\n",
      "Main 처리 시간 : 3.538741초\n",
      "Head 처리 시간 : 0.076032초\n"
     ]
    }
   ],
   "source": [
    "for company in company_list:\n",
    "    df = pd.read_csv(\"./전처리/1차 전처리 기사/%s_전처리.csv\" %(company),encoding='utf-8')\n",
    "    df.dropna(axis=0,inplace=True)\n",
    "    df['Day']=df['Day'].str[:10]\n",
    "    df_head = df.groupby(['Day'])['Head_after'].apply(' '.join).reset_index()\n",
    "    df_main = df.groupby(['Day'])['Main_after'].apply(' '.join).reset_index()\n",
    "    df_total = pd.merge(df_head,df_main,on='Day')\n",
    "    temp_pd = pd.DataFrame()\n",
    "    print(\"------\"+ company +\"------\")\n",
    "\n",
    "    \n",
    "    start_time = timeit.default_timer()\n",
    "\n",
    "    main = df_total['Main_after']\n",
    "    temp_list_main = []\n",
    "    for i, news in enumerate(main):\n",
    "        nouns_list = mecab.nouns('%s' %news) # mecab에서 nouns라는 명사 추출하는 함수 사용\n",
    "        clean_words = []\n",
    "        for word in nouns_list:\n",
    "            if len(word) < 2:  # 단어가 한글자인 경우 생략\n",
    "                continue\n",
    "            if word not in stopwords: # 단어가 불용어 사전에 없을 경우만 리스트에 삽입\n",
    "                clean_words.append(word)\n",
    "        total_nouns = ' '.join(clean_words) # 각 기업별 하루치에 기사들을 전부 하나의 문자열로 만들어준다\n",
    "        temp_list_main.append(total_nouns)\n",
    "    terminate_time = timeit.default_timer()\n",
    "    print(\"Main 처리 시간 : %f초\" % (terminate_time - start_time))\n",
    "\n",
    "    start_time = timeit.default_timer()\n",
    "\n",
    "    head = df_total['Head_after']\n",
    "    temp_list_head = []\n",
    "    for i, news in enumerate(head):\n",
    "        nouns_list = mecab.nouns('%s' %news)\n",
    "        clean_words = []\n",
    "        for word in nouns_list:\n",
    "            if len(word) < 2:\n",
    "                continue\n",
    "            if word not in stopwords:\n",
    "                clean_words.append(word)\n",
    "        total_nouns = ' '.join(clean_words) \n",
    "        temp_list_head.append(total_nouns)\n",
    "    terminate_time = timeit.default_timer()\n",
    "    print(\"Head 처리 시간 : %f초\" % (terminate_time - start_time))\n",
    "\n",
    "    temp_pd['Main'] = temp_list_main\n",
    "    temp_pd['Head'] = temp_list_head\n",
    "    df2 = df_total.loc[:,['Day']]\n",
    "    new_df = pd.concat([df2, temp_pd], axis = 1)\n",
    "    total_df = pd.concat([total_df,new_df])\n",
    "    total_df.fillna('%s' %(company),inplace=True)\n",
    "total_df.to_csv(\"./전처리/2차 전처리(토큰화)/total_df.csv\" , mode='w',encoding = 'utf-8-sig')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "22ba18fe",
   "metadata": {},
   "outputs": [],
   "source": [
    "total_df = pd.read_csv('./전처리/2차 전처리(토큰화)/total_df.csv')\n",
    "total_df.dropna(axis=0,inplace=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "4a22d76e",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "TF-IDF 처리 시간 : 7.620674초\n",
      "TF-IDF 처리 시간 : 7.750580초\n",
      "TF-IDF 처리 시간 : 8.082940초\n",
      "TF-IDF 처리 시간 : 8.187649초\n"
     ]
    }
   ],
   "source": [
    "# TF-IDF를 이용하기 위한 라이브러리\n",
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "\n",
    "\n",
    "list_features =[500,1000,1500,2000]\n",
    "for i in list_features:\n",
    "    start_time = timeit.default_timer()\n",
    "\n",
    "    text = total_df['Head'].to_list()\n",
    "# min_df : 최소한의 문서에서 나타나야할 빈도\n",
    "# max_features : TF-IDF 중 피쳐의 최대 갯수 설정\n",
    "    tfidf_vectorizer = TfidfVectorizer(min_df = 300, max_features = i)\n",
    "\n",
    "    tfidfv = tfidf_vectorizer.fit(text) # 벡터라이저가 단어 학습\n",
    "    final_df = pd.DataFrame(tfidfv.transform(text).toarray(), columns=sorted(tfidf_vectorizer.vocabulary_))\n",
    "    df3 = total_df.loc[:,['Company','Day']].reset_index().drop(['index'],axis=1)\n",
    "    df4 = pd.concat([df3, final_df], axis = 1)\n",
    "\n",
    "    terminate_time = timeit.default_timer()\n",
    "    print(\"TF-IDF 처리 시간 : %f초\" % (terminate_time - start_time))\n",
    "\n",
    "    df4.to_csv(\"./전처리/TF-IDF/head_tf-idf_%s.csv\" %(str(i)) , mode='w',encoding = 'utf-8-sig')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "ff1685ee",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "TF-IDF 처리 시간 : 234.168199초\n",
      "TF-IDF 처리 시간 : 239.237266초\n",
      "TF-IDF 처리 시간 : 245.417567초\n",
      "TF-IDF 처리 시간 : 249.618352초\n"
     ]
    }
   ],
   "source": [
    "list_features =[500,1000,1500,2000]\n",
    "for i in list_features:\n",
    "    start_time = timeit.default_timer()\n",
    "\n",
    "    text = total_df['Main'].to_list()\n",
    "\n",
    "    tfidf_vectorizer = TfidfVectorizer(min_df = 300, max_features = i)\n",
    "\n",
    "    tfidfv = tfidf_vectorizer.fit(text) # 벡터라이저가 단어들을 학습합니다.\n",
    "    # tfidf_vectorizer.vocabulary_ # 벡터라이저가 학습한 단어사전을 출력합니다. \n",
    "    final_df = pd.DataFrame(tfidfv.transform(text).toarray(), columns=sorted(tfidf_vectorizer.vocabulary_))\n",
    "    df3 = total_df.loc[:,['Company','Day']].reset_index().drop(['index'],axis=1)\n",
    "    df4 = pd.concat([df3, final_df], axis = 1)\n",
    "\n",
    "    terminate_time = timeit.default_timer()\n",
    "    print(\"TF-IDF 처리 시간 : %f초\" % (terminate_time - start_time))\n",
    "\n",
    "    df4.to_csv(\"./전처리/TF-IDF/main_tf-idf_%s.csv\" %(str(i)) , mode='w',encoding = 'utf-8-sig')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e5d21185",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}