3.6 Retrieval 효율 개선을 위한 키워드 사전 활용방법.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 1. 패키지 설치"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Requirement already satisfied: langchain in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (0.2.5)\n",
      "Requirement already satisfied: langchain-core in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (0.2.9)\n",
      "Requirement already satisfied: langchain-community in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (0.2.5)\n",
      "Requirement already satisfied: langchain-text-splitters in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (0.2.0)\n",
      "Requirement already satisfied: langchain-openai in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (0.1.7)\n",
      "Requirement already satisfied: langchain-pinecone in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (0.1.1)\n",
      "Requirement already satisfied: tenacity<9.0.0,>=8.1.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain) (8.3.0)\n",
      "Requirement already satisfied: PyYAML>=5.3 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain) (6.0.1)\n",
      "Requirement already satisfied: async-timeout<5.0.0,>=4.0.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain) (4.0.3)\n",
      "Requirement already satisfied: numpy<2,>=1 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain) (1.26.4)\n",
      "Requirement already satisfied: SQLAlchemy<3,>=1.4 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain) (2.0.30)\n",
      "Requirement already satisfied: langsmith<0.2.0,>=0.1.17 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain) (0.1.81)\n",
      "Requirement already satisfied: requests<3,>=2 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain) (2.31.0)\n",
      "Requirement already satisfied: aiohttp<4.0.0,>=3.8.3 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain) (3.9.5)\n",
      "Requirement already satisfied: pydantic<3,>=1 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain) (2.7.1)\n",
      "Requirement already satisfied: packaging<25,>=23.2 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain-core) (23.2)\n",
      "Requirement already satisfied: jsonpatch<2.0,>=1.33 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain-core) (1.33)\n",
      "Requirement already satisfied: dataclasses-json<0.7,>=0.5.7 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain-community) (0.6.6)\n",
      "Requirement already satisfied: openai<2.0.0,>=1.24.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain-openai) (1.30.1)\n",
      "Requirement already satisfied: tiktoken<1,>=0.7 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain-openai) (0.7.0)\n",
      "Requirement already satisfied: pinecone-client<4.0.0,>=3.2.2 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langchain-pinecone) (3.2.2)\n",
      "Requirement already satisfied: frozenlist>=1.1.1 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from aiohttp<4.0.0,>=3.8.3->langchain) (1.4.1)\n",
      "Requirement already satisfied: multidict<7.0,>=4.5 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from aiohttp<4.0.0,>=3.8.3->langchain) (6.0.5)\n",
      "Requirement already satisfied: aiosignal>=1.1.2 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from aiohttp<4.0.0,>=3.8.3->langchain) (1.3.1)\n",
      "Requirement already satisfied: yarl<2.0,>=1.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from aiohttp<4.0.0,>=3.8.3->langchain) (1.9.4)\n",
      "Requirement already satisfied: attrs>=17.3.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from aiohttp<4.0.0,>=3.8.3->langchain) (23.2.0)\n",
      "Requirement already satisfied: marshmallow<4.0.0,>=3.18.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from dataclasses-json<0.7,>=0.5.7->langchain-community) (3.21.2)\n",
      "Requirement already satisfied: typing-inspect<1,>=0.4.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from dataclasses-json<0.7,>=0.5.7->langchain-community) (0.9.0)\n",
      "Requirement already satisfied: jsonpointer>=1.9 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from jsonpatch<2.0,>=1.33->langchain-core) (2.4)\n",
      "Requirement already satisfied: orjson<4.0.0,>=3.9.14 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from langsmith<0.2.0,>=0.1.17->langchain) (3.10.3)\n",
      "Requirement already satisfied: anyio<5,>=3.5.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from openai<2.0.0,>=1.24.0->langchain-openai) (4.3.0)\n",
      "Requirement already satisfied: tqdm>4 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from openai<2.0.0,>=1.24.0->langchain-openai) (4.66.4)\n",
      "Requirement already satisfied: distro<2,>=1.7.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from openai<2.0.0,>=1.24.0->langchain-openai) (1.9.0)\n",
      "Requirement already satisfied: sniffio in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from openai<2.0.0,>=1.24.0->langchain-openai) (1.3.1)\n",
      "Requirement already satisfied: httpx<1,>=0.23.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from openai<2.0.0,>=1.24.0->langchain-openai) (0.27.0)\n",
      "Requirement already satisfied: typing-extensions<5,>=4.7 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from openai<2.0.0,>=1.24.0->langchain-openai) (4.11.0)\n",
      "Requirement already satisfied: urllib3>=1.26.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from pinecone-client<4.0.0,>=3.2.2->langchain-pinecone) (2.2.1)\n",
      "Requirement already satisfied: certifi>=2019.11.17 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from pinecone-client<4.0.0,>=3.2.2->langchain-pinecone) (2024.2.2)\n",
      "Requirement already satisfied: pydantic-core==2.18.2 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from pydantic<3,>=1->langchain) (2.18.2)\n",
      "Requirement already satisfied: annotated-types>=0.4.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from pydantic<3,>=1->langchain) (0.6.0)\n",
      "Requirement already satisfied: idna<4,>=2.5 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from requests<3,>=2->langchain) (3.7)\n",
      "Requirement already satisfied: charset-normalizer<4,>=2 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from requests<3,>=2->langchain) (3.3.2)\n",
      "Requirement already satisfied: regex>=2022.1.18 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from tiktoken<1,>=0.7->langchain-openai) (2024.5.10)\n",
      "Requirement already satisfied: exceptiongroup>=1.0.2 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from anyio<5,>=3.5.0->openai<2.0.0,>=1.24.0->langchain-openai) (1.2.1)\n",
      "Requirement already satisfied: httpcore==1.* in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from httpx<1,>=0.23.0->openai<2.0.0,>=1.24.0->langchain-openai) (1.0.5)\n",
      "Requirement already satisfied: h11<0.15,>=0.13 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from httpcore==1.*->httpx<1,>=0.23.0->openai<2.0.0,>=1.24.0->langchain-openai) (0.14.0)\n",
      "Requirement already satisfied: mypy-extensions>=0.3.0 in /Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages (from typing-inspect<1,>=0.4.0->dataclasses-json<0.7,>=0.5.7->langchain-community) (1.0.0)\n",
      "\n",
      "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m A new release of pip is available: \u001b[0m\u001b[31;49m23.0.1\u001b[0m\u001b[39;49m -> \u001b[0m\u001b[32;49m24.1\u001b[0m\n",
      "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m To update, run: \u001b[0m\u001b[32;49mpip install --upgrade pip\u001b[0m\n",
      "Note: you may need to restart the kernel to use updated packages.\n"
     ]
    }
   ],
   "source": [
    "%pip install langchain langchain-core langchain-community langchain-text-splitters langchain-openai langchain-pinecone"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 2. Knowledge Base 구성을 위한 데이터 생성\n",
    "\n",
    "- [3.4 LangChain을 활용한 Vector Database 변경 (Chroma ➡️ Pinecone)](https://github.com/jasonkang14/inflearn-rag-notebook/blob/main/3.4%20LangChain%EC%9D%84%20%ED%99%9C%EC%9A%A9%ED%95%9C%20Vector%20Database%20%EB%B3%80%EA%B2%BD%20(Chroma%20%E2%9E%A1%EF%B8%8F%20Pinecone).ipynb)와 동일함"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain_community.document_loaders import Docx2txtLoader\n",
    "from langchain_text_splitters import RecursiveCharacterTextSplitter\n",
    "\n",
    "text_splitter = RecursiveCharacterTextSplitter(\n",
    "    chunk_size=1500,\n",
    "    chunk_overlap=200,\n",
    ")\n",
    "\n",
    "loader = Docx2txtLoader('./tax_with_markdown.docx')\n",
    "document_list = loader.load_and_split(text_splitter=text_splitter)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Document(page_content='제55조(세율) ①거주자의 종합소득에 대한 소득세는 해당 연도의 종합소득과세표준에 다음의 세율을 적용하여 계산한 금액(이하 “종합소득산출세액”이라 한다)을 그 세액으로 한다. <개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.>\\n\\n| 종합소득 과세표준          | 세율                                         |\\n\\n|-------------------|--------------------------------------------|\\n\\n| 1,400만원 이하     | 과세표준의 6퍼센트                             |\\n\\n| 1,400만원 초과     5,000만원 이하     | 84만원 + (1,400만원을 초과하는 금액의 15퍼센트)  |\\n\\n| 5,000만원 초과   8,800만원 이하     | 624만원 + (5,000만원을 초과하는 금액의 24퍼센트) |\\n\\n| 8,800만원 초과 1억5천만원 이하    | 3,706만원 + (8,800만원을 초과하는 금액의 35퍼센트)|\\n\\n| 1억5천만원 초과 3억원 이하         | 3,706만원 + (1억5천만원을 초과하는 금액의 38퍼센트)|\\n\\n| 3억원 초과    5억원 이하         | 9,406만원 + (3억원을 초과하는 금액의 38퍼센트)   |\\n\\n| 5억원 초과      10억원 이하        | 1억 7,406만원 + (5억원을 초과하는 금액의 42퍼센트)|\\n\\n| 10억원 초과        | 3억 8,406만원 + (10억원을 초과하는 금액의 45퍼센트)|\\n\\n\\n\\n\\n\\n② 거주자의 퇴직소득에 대한 소득세는 다음 각 호의 순서에 따라 계산한 금액(이하 “퇴직소득 산출세액”이라 한다)으로 한다.<개정 2013. 1. 1., 2014. 12. 23.>\\n\\n1. 해당 과세기간의 퇴직소득과세표준에 제1항의 세율을 적용하여 계산한 금액\\n\\n2. 제1호의 금액을 12로 나눈 금액에 근속연수를 곱한 금액\\n\\n3. 삭제<2014. 12. 23.>\\n\\n[전문개정 2009. 12. 31.]\\n\\n\\n\\n제2관 세액공제 <개정 2009. 12. 31.>\\n\\n\\n\\n제56조(배당세액공제) ① 거주자의 종합소득금액에 제17조제3항 각 호 외의 부분 단서가 적용되는 배당소득금액이 합산되어 있는 경우에는 같은 항 각 호 외의 부분 단서에 따라 해당 과세기간의 총수입금액에 더한 금액에 해당하는 금액을 종합소득 산출세액에서 공제한다. <개정 2009. 12. 31.>\\n\\n② 제1항에 따른 공제를 “배당세액공제”라 한다.<개정 2009. 12. 31.>\\n\\n③ 삭제<2003. 12. 30.>\\n\\n④ 제1항을 적용할 때 배당세액공제의 대상이 되는 배당소득금액은 제14조제2항의 종합소득과세표준에 포함된 배당소득금액으로서 이자소득등의 종합과세기준금액을 초과하는 것으로 한다.<개정 2009. 12. 31.>\\n\\n⑤ 삭제<2006. 12. 30.>', metadata={'source': './tax_with_markdown.docx'})"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "document_list[52]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "from dotenv import load_dotenv\n",
    "from langchain_openai import OpenAIEmbeddings\n",
    "\n",
    "load_dotenv()\n",
    "\n",
    "embedding = OpenAIEmbeddings(model='text-embedding-3-large')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/jasonkang/.pyenv/versions/3.10.12/envs/inflearn-llm-application/lib/python3.10/site-packages/pinecone/data/index.py:1: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html\n",
      "  from tqdm.autonotebook import tqdm\n"
     ]
    }
   ],
   "source": [
    "import os\n",
    "\n",
    "from pinecone import Pinecone\n",
    "from langchain_pinecone import PineconeVectorStore\n",
    "\n",
    "index_name = 'tax-markdown-index'\n",
    "pinecone_api_key = os.environ.get(\"PINECONE_API_KEY\")\n",
    "pc = Pinecone(api_key=pinecone_api_key)\n",
    "\n",
    "# 데이터를 추가할 때\n",
    "database = PineconeVectorStore.from_documents(document_list, embedding, index_name=index_name)\n",
    "\n",
    "# 이미 생성된 데이터베이스를 사용할 때 \n",
    "# database = PineconeVectorStore.from_existing_index(index_name=index_name, embedding=embedding)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "query = '연봉 5천만원인 거주자의 종합소득세는?'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 3. 답변 생성을 위한 Retrieval\n",
    "\n",
    "- `RetrievalQA`에 전달하기 위해 `retriever` 생성\n",
    "- `search_kwargs` 의 `k` 값을 변경해서 가져올 문서의 갯수를 지정할 수 있음\n",
    "- `.invoke()` 를 호출해서 어떤 문서를 가져오는지 확인 가능"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Document(page_content='제55조(세율) ①거주자의 종합소득에 대한 소득세는 해당 연도의 종합소득과세표준에 다음의 세율을 적용하여 계산한 금액(이하 “종합소득산출세액”이라 한다)을 그 세액으로 한다. <개정 2014. 1. 1., 2016. 12. 20., 2017. 12. 19., 2020. 12. 29., 2022. 12. 31.>\\n\\n| 종합소득 과세표준          | 세율                                         |\\n\\n|-------------------|--------------------------------------------|\\n\\n| 1,400만원 이하     | 과세표준의 6퍼센트                             |\\n\\n| 1,400만원 초과     5,000만원 이하     | 84만원 + (1,400만원을 초과하는 금액의 15퍼센트)  |\\n\\n| 5,000만원 초과   8,800만원 이하     | 624만원 + (5,000만원을 초과하는 금액의 24퍼센트) |\\n\\n| 8,800만원 초과 1억5천만원 이하    | 3,706만원 + (8,800만원을 초과하는 금액의 35퍼센트)|\\n\\n| 1억5천만원 초과 3억원 이하         | 3,706만원 + (1억5천만원을 초과하는 금액의 38퍼센트)|\\n\\n| 3억원 초과    5억원 이하         | 9,406만원 + (3억원을 초과하는 금액의 38퍼센트)   |\\n\\n| 5억원 초과      10억원 이하        | 1억 7,406만원 + (5억원을 초과하는 금액의 42퍼센트)|\\n\\n| 10억원 초과        | 3억 8,406만원 + (10억원을 초과하는 금액의 45퍼센트)|\\n\\n\\n\\n\\n\\n② 거주자의 퇴직소득에 대한 소득세는 다음 각 호의 순서에 따라 계산한 금액(이하 “퇴직소득 산출세액”이라 한다)으로 한다.<개정 2013. 1. 1., 2014. 12. 23.>\\n\\n1. 해당 과세기간의 퇴직소득과세표준에 제1항의 세율을 적용하여 계산한 금액\\n\\n2. 제1호의 금액을 12로 나눈 금액에 근속연수를 곱한 금액\\n\\n3. 삭제<2014. 12. 23.>\\n\\n[전문개정 2009. 12. 31.]\\n\\n\\n\\n제2관 세액공제 <개정 2009. 12. 31.>\\n\\n\\n\\n제56조(배당세액공제) ① 거주자의 종합소득금액에 제17조제3항 각 호 외의 부분 단서가 적용되는 배당소득금액이 합산되어 있는 경우에는 같은 항 각 호 외의 부분 단서에 따라 해당 과세기간의 총수입금액에 더한 금액에 해당하는 금액을 종합소득 산출세액에서 공제한다. <개정 2009. 12. 31.>\\n\\n② 제1항에 따른 공제를 “배당세액공제”라 한다.<개정 2009. 12. 31.>\\n\\n③ 삭제<2003. 12. 30.>\\n\\n④ 제1항을 적용할 때 배당세액공제의 대상이 되는 배당소득금액은 제14조제2항의 종합소득과세표준에 포함된 배당소득금액으로서 이자소득등의 종합과세기준금액을 초과하는 것으로 한다.<개정 2009. 12. 31.>\\n\\n⑤ 삭제<2006. 12. 30.>', metadata={'source': './tax_with_markdown.docx'}),\n",
       " Document(page_content='3. 「자본시장과 금융투자업에 관한 법률」 제251조제1항에 따른 집합투자업겸영보험회사의 특별계정\\n\\n③ 비거주자의 소득은 제119조에 따라 구분한다.\\n\\n[전문개정 2009. 12. 31.]\\n\\n\\n\\n제4조(소득의 구분) ① 거주자의 소득은 다음 각 호와 같이 구분한다. <개정 2013. 1. 1., 2020. 12. 29.>\\n\\n1. 종합소득\\n\\n\\u3000이 법에 따라 과세되는 모든 소득에서 제2호, 제2호의2 및 제3호에 따른 소득을 제외한 소득으로서 다음 각 목의 소득을 합산한 것\\n\\n가. 이자소득\\n\\n나. 배당소득\\n\\n다. 사업소득\\n\\n라. 근로소득\\n\\n마. 연금소득\\n\\n바. 기타소득\\n\\n2. 퇴직소득\\n\\n2의2. 금융투자소득\\n\\n3. 양도소득\\n\\n② 제1항에 따른 소득을 구분할 때 다음 각 호의 신탁을 제외한 신탁의 이익은 「신탁법」 제2조에 따라 수탁자에게 이전되거나 그 밖에 처분된 재산권에서 발생하는 소득의 내용별로 구분한다.<개정 2011. 7. 25., 2020. 12. 29., 2022. 12. 31.>\\n\\n1. 「법인세법」 제5조제2항에 따라 신탁재산에 귀속되는 소득에 대하여 그 신탁의 수탁자가 법인세를 납부하는 신탁\\n\\n2. 「자본시장과 금융투자업에 관한 법률」 제9조제18항제1호에 따른 투자신탁. 다만, 2024년 12월 31일까지는 이 법 제17조제1항제5호에 따른 집합투자기구로 한정한다.\\n\\n3. 「자본시장과 금융투자업에 관한 법률」 제251조제1항에 따른 집합투자업겸영보험회사의 특별계정\\n\\n③ 비거주자의 소득은 제119조에 따라 구분한다.\\n\\n[전문개정 2009. 12. 31.]\\n\\n[시행일: 2025. 1. 1.] 제4조제1항제1호, 제4조제1항제2호의2\\n\\n\\n\\n제5조(과세기간) ① 소득세의 과세기간은 1월 1일부터 12월 31일까지 1년으로 한다.\\n\\n② 거주자가 사망한 경우의 과세기간은 1월 1일부터 사망한 날까지로 한다.\\n\\n③ 거주자가 주소 또는 거소를 국외로 이전(이하 “출국”이라 한다)하여 비거주자가 되는 경우의 과세기간은 1월 1일부터 출국한 날까지로 한다.\\n\\n[전문개정 2009. 12. 31.]\\n\\n\\n\\n제6조(납세지) ① 거주자의 소득세 납세지는 그 주소지로 한다. 다만, 주소지가 없는 경우에는 그 거소지로 한다.\\n\\n② 비거주자의 소득세 납세지는 제120조에 따른 국내사업장(이하 “국내사업장”이라 한다)의 소재지로 한다. 다만, 국내사업장이 둘 이상 있는 경우에는 주된 국내사업장의 소재지로 하고, 국내사업장이 없는 경우에는 국내원천소득이 발생하는 장소로 한다.<개정 2013. 1. 1.>\\n\\n③ 납세지가 불분명한 경우에는 대통령령으로 정하는 바에 따라 납세지를 결정한다.\\n\\n[전문개정 2009. 12. 31.]\\n\\n\\n\\n제7조(원천징수 등의 경우의 납세지) ① 원천징수하는 소득세의 납세지는 다음 각 호에 따른다. <개정 2012. 1. 1., 2023. 12. 31.>', metadata={'source': './tax_with_markdown.docx'}),\n",
       " Document(page_content='⑤ 공동으로 소유한 자산에 대한 양도소득금액을 계산하는 경우에는 해당 자산을 공동으로 소유하는 각 거주자가 납세의무를 진다.<신설 2017. 12. 19., 2020. 12. 29.>\\n\\n[전문개정 2009. 12. 31.]\\n\\n[제2조에서 이동 <2009. 12. 31.>]\\n\\n\\n\\n제2조의3(신탁재산 귀속 소득에 대한 납세의무의 범위) ① 신탁재산에 귀속되는 소득은 그 신탁의 이익을 받을 수익자(수익자가 사망하는 경우에는 그 상속인)에게 귀속되는 것으로 본다.\\n\\n② 제1항에도 불구하고 위탁자가 신탁재산을 실질적으로 통제하는 등 대통령령으로 정하는 요건을 충족하는 신탁의 경우에는 그 신탁재산에 귀속되는 소득은 위탁자에게 귀속되는 것으로 본다.<개정 2023. 12. 31.>\\n\\n[본조신설 2020. 12. 29.]\\n\\n\\n\\n제3조(과세소득의 범위) ① 거주자에게는 이 법에서 규정하는 모든 소득에 대해서 과세한다. 다만, 해당 과세기간 종료일 10년 전부터 국내에 주소나 거소를 둔 기간의 합계가 5년 이하인 외국인 거주자에게는 과세대상 소득 중 국외에서 발생한 소득의 경우 국내에서 지급되거나 국내로 송금된 소득에 대해서만 과세한다.\\n\\n② 비거주자에게는 제119조에 따른 국내원천소득에 대해서만과세한다.\\n\\n③ 제1항 및 제2항을 적용하는 경우 「조세특례제한법」 제100조의14제2호의 동업자에게는 같은 법 제100조의18제1항에 따라 배분받은 소득 및 같은 법 제100조의22제1항에 따라 분배받은 자산의 시가 중 분배일의 지분가액을 초과하여 발생하는 소득에 대하여 과세한다.\\n\\n[전문개정 2009. 12. 31.]\\n\\n\\n\\n제4조(소득의 구분) ① 거주자의 소득은 다음 각 호와 같이 구분한다. <개정 2013. 1. 1.>\\n\\n1. 종합소득\\n\\n\\u3000이 법에 따라 과세되는 모든 소득에서 제2호 및 제3호에 따른 소득을 제외한 소득으로서 다음 각 목의 소득을 합산한 것\\n\\n가. 이자소득\\n\\n나. 배당소득\\n\\n다. 사업소득\\n\\n라. 근로소득\\n\\n마. 연금소득\\n\\n바. 기타소득\\n\\n2. 퇴직소득\\n\\n3. 양도소득\\n\\n② 제1항에 따른 소득을 구분할 때 다음 각 호의 신탁을 제외한 신탁의 이익은 「신탁법」 제2조에 따라 수탁자에게 이전되거나 그 밖에 처분된 재산권에서 발생하는 소득의 내용별로 구분한다.<개정 2011. 7. 25., 2020. 12. 29., 2022. 12. 31.>\\n\\n1. 「법인세법」 제5조제2항에 따라 신탁재산에 귀속되는 소득에 대하여 그 신탁의 수탁자가 법인세를 납부하는 신탁\\n\\n2. 「자본시장과 금융투자업에 관한 법률」 제9조제18항제1호에 따른 투자신탁. 다만, 2024년 12월 31일까지는 이 법 제17조제1항제5호에 따른 집합투자기구로 한정한다.\\n\\n3. 「자본시장과 금융투자업에 관한 법률」 제251조제1항에 따른 집합투자업겸영보험회사의 특별계정\\n\\n③ 비거주자의 소득은 제119조에 따라 구분한다.\\n\\n[전문개정 2009. 12. 31.]', metadata={'source': './tax_with_markdown.docx'}),\n",
       " Document(page_content='제5관 근로소득공제ㆍ연금소득공제 및 퇴직소득공제 <개정 2009. 12. 31.>\\n\\n\\n\\n제47조(근로소득공제) ①근로소득이 있는 거주자에 대해서는 해당 과세기간에 받는 총급여액에서 다음의 금액을 공제한다. 다만, 공제액이 2천만원을 초과하는 경우에는 2천만원을 공제한다. <개정 2012. 1. 1., 2014. 1. 1., 2019. 12. 31.>\\n\\n\\n\\n② 일용근로자에 대한 공제액은 제1항에도 불구하고 1일 15만원으로 한다.<개정 2018. 12. 31.>\\n\\n③ 근로소득이 있는 거주자의 해당 과세기간의 총급여액이 제1항 또는 제2항의 공제액에 미달하는 경우에는 그 총급여액을 공제액으로 한다.\\n\\n④ 제1항부터 제3항까지의 규정에 따른 공제를 “근로소득공제”라 한다.\\n\\n⑤ 제1항의 경우에 2인 이상으로부터 근로소득을 받는 사람(일용근로자는 제외한다)에 대하여는 그 근로소득의 합계액을 총급여액으로 하여 제1항에 따라 계산한 근로소득공제액을 총급여액에서 공제한다.<개정 2010. 12. 27.>\\n\\n⑥ 삭제<2010. 12. 27.>\\n\\n[전문개정 2009. 12. 31.]\\n\\n\\n\\n제47조의2(연금소득공제) ①연금소득이 있는 거주자에 대해서는 해당 과세기간에 받은 총연금액(분리과세연금소득은 제외하며, 이하 이 항에서 같다)에서 다음 표에 규정된 금액을 공제한다. 다만, 공제액이 900만원을 초과하는 경우에는 900만원을 공제한다. <개정 2013. 1. 1.>\\n\\n\\n\\n② 제1항에 따른 공제를 “연금소득공제”라 한다.\\n\\n[전문개정 2009. 12. 31.]\\n\\n\\n\\n제48조(퇴직소득공제) ① 퇴직소득이 있는 거주자에 대해서는 해당 과세기간의 퇴직소득금액에서 제1호의 구분에 따른 금액을 공제하고, 그 금액을 근속연수(1년 미만의 기간이 있는 경우에는 이를 1년으로 보며, 제22조제1항제1호의 경우에는 대통령령으로 정하는 방법에 따라 계산한 연수를 말한다. 이하 같다)로 나누고 12를 곱한 후의 금액(이하 이 항에서 “환산급여”라 한다)에서 제2호의 구분에 따른 금액을 공제한다. <개정 2014. 12. 23., 2022. 12. 31.>\\n\\n1. 근속연수에 따라 정한 다음의 금액\\n\\n\\n\\n2. 환산급여에 따라 정한 다음의 금액\\n\\n\\n\\n② 해당 과세기간의 퇴직소득금액이 제1항제1호에 따른 공제금액에 미달하는 경우에는 그 퇴직소득금액을 공제액으로 한다.<개정 2014. 12. 23.>\\n\\n③ 제1항과 제2항에 따른 공제를 “퇴직소득공제”라 한다.\\n\\n④ 퇴직소득공제의 계산 방법에 관하여 필요한 사항은 대통령령으로 정한다.<개정 2013. 1. 1.>\\n\\n⑤ 삭제<2013. 1. 1.>\\n\\n[전문개정 2009. 12. 31.]\\n\\n\\n\\n제49조 삭제 <2006. 12. 30.>\\n\\n\\n\\n제6관 종합소득공제 <개정 2009. 12. 31.>', metadata={'source': './tax_with_markdown.docx'})]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "retriever = database.as_retriever(search_kwargs={'k': 4})\n",
    "retriever.invoke(query)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 4. Augmentation을 위한 Prompt 활용\n",
    "\n",
    "- Retrieval된 데이터는 LangChain에서 제공하는 프롬프트(`\"rlm/rag-prompt\"`) 사용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain import hub\n",
    "\n",
    "prompt = hub.pull(\"rlm/rag-prompt\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 5. 답변 생성\n",
    "\n",
    "- [RetrievalQA](https://docs.smith.langchain.com/old/cookbook/hub-examples/retrieval-qa-chain)를 통해 LLM에 전달\n",
    "    - `RetrievalQA`는 [create_retrieval_chain](https://python.langchain.com/v0.2/docs/how_to/qa_sources/#using-create_retrieval_chain)으로 대체됨\n",
    "    - 실제 ChatBot 구현 시 `create_retrieval_chain`으로 변경하는 과정을 볼 수 있음\n",
    "- 하단의 `dictionary_chain` 과 연계하여 사용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "\n",
    "from langchain_openai import ChatOpenAI\n",
    "\n",
    "llm = ChatOpenAI(model='gpt-4o')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain.chains import RetrievalQA\n",
    "\n",
    "\n",
    "qa_chain = RetrievalQA.from_chain_type(\n",
    "    llm, \n",
    "    retriever=retriever,\n",
    "    chain_type_kwargs={\"prompt\": prompt}\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "ai_message = qa_chain.invoke({\"query\": query})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'query': '연봉 5천만원인 거주자의 종합소득세는?', 'result': '연봉 5천만원인 거주자의 종합소득세는 624만원입니다.'}"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ai_message"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 6. Retrieval을 위한 keyword 사전 활용\n",
    "\n",
    "- Knowledge Base에서 사용되는 keyword를 활용하여 사용자 질문 수정\n",
    "- LangChain Expression Language (LCEL)을 활용한 Chain 연계"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain_core.output_parsers import StrOutputParser\n",
    "from langchain_core.prompts import ChatPromptTemplate\n",
    "\n",
    "dictionary = [\"사람을 나타내는 표현 -> 거주자\"]\n",
    "\n",
    "prompt = ChatPromptTemplate.from_template(f\"\"\"\n",
    "    사용자의 질문을 보고, 우리의 사전을 참고해서 사용자의 질문을 변경해주세요.\n",
    "    만약 변경할 필요가 없다고 판단된다면, 사용자의 질문을 변경하지 않아도 됩니다.\n",
    "    그런 경우에는 질문만 리턴해주세요\n",
    "    사전: {dictionary}\n",
    "    \n",
    "    질문: {{question}}\n",
    "\"\"\")\n",
    "\n",
    "dictionary_chain = prompt | llm | StrOutputParser()\n",
    "tax_chain = {\"query\": dictionary_chain} | qa_chain"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "new_question = dictionary_chain.invoke({\"question\": query})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'연봉 5천만원인 거주자의 종합소득세는?'"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "new_question"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "ai_response = tax_chain.invoke({\"question\": query})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'query': '연봉 5천만원인 거주자의 종합소득세는?', 'result': '연봉 5천만원인 거주자의 종합소득세는 624만원입니다.'}"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ai_response"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "inflearn-llm-application",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}