1.data_create-Copy1.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "data_path='data/'\n",
    "train_path=data_path+'AutoMaster_TrainSet.csv'\n",
    "\n",
    "test_path=data_path+'AutoMaster_TestSet.csv'\n",
    "\n",
    "ARTICLE_FILE = data_path+\"train_text.txt\"\n",
    "SUMMARRY_FILE = data_path+\"train_label.txt\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "# import re\n",
    "\n",
    "\n",
    "# def stopwordslist(stop_file='data/HIT_stop_words.txt'):\n",
    "#     stopwords = [line.strip() for line in open(stop_file, encoding='UTF-8').readlines()]\n",
    "#     return set(stopwords)\n",
    "\n",
    "\n",
    "# def filter_sentence(sentence, stopwords):\n",
    "#     def clean_sentence(sentence):\n",
    "#         if isinstance(sentence, str):\n",
    "#             return re.sub(\n",
    "#                 r'[\\s+\\-\\|\\!\\/\\[\\]\\{\\}_,.$%^*(+\\\"\\')]+|[:：+——()?【】“”！，。？、~@#￥%……&*（）]+|车主说|技师说|语音|图片|你好|您好',\n",
    "#                 '', sentence)\n",
    "#         else:\n",
    "#             return 'x'\n",
    "\n",
    "#     sentence = clean_sentence(sentence)\n",
    "#     words = jieba.cut(sentence)\n",
    "#     # 去停用词，太长词也不行\n",
    "#     ws = [w for w in words if w not in stopwords and len(w) < 10]\n",
    "#     return ' '.join(ws)\n",
    "# stop_words=stopwordslist()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "train=pd.read_csv(train_path)\n",
    "test=pd.read_csv(test_path)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>QID</th>\n",
       "      <th>Brand</th>\n",
       "      <th>Model</th>\n",
       "      <th>Question</th>\n",
       "      <th>Dialogue</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>Q1</td>\n",
       "      <td>大众(进口)</td>\n",
       "      <td>高尔夫(进口)</td>\n",
       "      <td>我的帕萨特烧机油怎么办怎么办？</td>\n",
       "      <td>技师说：你好，请问你的车跑了多少公里了，如果在保修期内，可以到当地的4店里面进行检查维修。如...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>Q2</td>\n",
       "      <td>一汽-大众奥迪</td>\n",
       "      <td>奥迪A6</td>\n",
       "      <td>修一下多少钱是换还是修</td>\n",
       "      <td>技师说：你好师傅！抛光处理一下就好了！50元左右就好了，希望能够帮到你！祝你生活愉快！</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "  QID    Brand    Model         Question  \\\n",
       "0  Q1   大众(进口)  高尔夫(进口)  我的帕萨特烧机油怎么办怎么办？   \n",
       "1  Q2  一汽-大众奥迪     奥迪A6      修一下多少钱是换还是修   \n",
       "\n",
       "                                            Dialogue  \n",
       "0  技师说：你好，请问你的车跑了多少公里了，如果在保修期内，可以到当地的4店里面进行检查维修。如...  \n",
       "1        技师说：你好师傅！抛光处理一下就好了！50元左右就好了，希望能够帮到你！祝你生活愉快！  "
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "test=test.dropna()\n",
    "test['merged'] = test[['Question', 'Dialogue']].apply(lambda x: ' '.join(x),axis=1)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "test['lens']=test['merged'].apply(lambda x:len(x)).values"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "7228"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "np.argmax(test['lens'].values)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'凌志那个车在咨询咨询问题 技师说：如果您要是咨询的话，就说一下您的故障以及现象，如果是以前提问过问题，您可以回到原来的问题当中，找到您所关注的技师单独提问也是可以的|车主说：发动机怠速抖|车主说：[图片]|车主说：就报这两个故障|技师说：我记得你这个问题好像提问过没有解决吗？|技师说：当时不是说混合气偏稀吗？您不是已经采纳了？难道他没有继续指导你吗|车主说：不管用|车主说：现在是混合器浓|技师说：你拍一个空燃比传感器和氧传感器，以及长短期燃油调整的数据流看一下|技师说：你的车辆应该是有两个空燃比传感器，两个氧传感器的数据流，还有两组长短期燃油调整的数据流|车主说：[图片]|车主说：[图片]|车主说：[图片]|技师说：从长短期来看，你这个混合器的数据的确是偏浓。但是从空燃比传感器的电压来看，组一的传感器电压是3.1，他还是比较接近理论值的，但是组二的这个电压值有点低。但是两个值都低于标准的3.2伏。如果单独从混合气的浓度来看，氧传感器的电压应该是一个高值才对，也就是大于0.45伏以上。|技师说：你的电脑支持不支持主动测试，就是人为的改变，喷油量的多少|技师说：[图片]|车主说：看看喷油量|技师说：当你主动测试去人为改变喷油量多少的时候，看一下空燃比传感器和氧传感器的电压变化，是否随着混合气的浓度变化，电压值也会有一个变化，利用此方法来判断，是否传感器本身有问题。假如说我们在，喷油量控制多少的时候，电压出现了一个相变化对，那么说明这个传感器工作就是没有问题|技师说：你看看喷油量是指的什么意思|车主说：那我这个原因在哪呢|车主说：那坏了呢|技师说：我觉得你的车辆前面的空燃比传感器没有问题的，因为空燃比传感器处于一个低电压，所以他认为混合气是比较浓的。跟长短期燃油调整的数据也是相符。但现在实际混合气应该就是浓的吧？，火花塞有点偏黑，而且有点冒黑烟的现象吧？？如果是这样的话，那么氧传感器的电压就应该是高于0.5伏。如果他一直处于低电压的状态，那说明这个传感器就是有问题的|车主说：不冒黑烟|车主说：火花塞烧的也不黑|车主说：[图片]|技师说：你可以拆下火花塞，看一下他是否有点偏黑，并不是说那种很黑的感觉，只要有一点点发黑。不冒黑烟的主要原因是电脑还在控制范围之内，因为20%还没有达到最高的极限|技师说：这个喷量的范围比较大，从这上面看不出来，你倒是可以拍一个空气流量计的数据看一下|技师说：我记得你的车好像是换过氧传感器，不是在你这里换的吧！|车主说：嗯|技师说：你拍一个空气流量计的数据看一下，|车主说：[图片]|车主说：[图片]|技师说：后面的氧传感器，无论跑车加油门等等，这个电压值一直维持在0.1伏以下吗|车主说：[图片]|车主说：加速到0.3|车主说：就不动了|技师说：你把电线切断，等待一会儿之后再装回去。你看一下这个电压值是否有增大的现象。你的电脑不支持主动测试吗？就是用电脑控制改变喷油量的多少？|技师说：把电瓶线切断，等待一分钟|技师说：因为空燃比显示的电压值有点偏低，所以，他这里认为混合气有点偏浓，让电脑进行调节，所以电脑显示-20%左右。减少喷油量的20%。|技师说：假如第一种情况：如果是，这个氧传感器的电压，在主动测试时能够产生一个上下变化的电压值。也就是说在加浓的时候？电压值上升，在减稀的时候，电压下降。那么说明这个传感器的工作是正常的。依照上一段话，有分析指出，这个氧传感器实际指示是正常的。因为，上面空燃比传感器坏了误告诉电脑，混合气偏浓，导致进行混合气偏稀的调整。但是氧传感器是正常的（我们主动测试时发现他的，电压值变化正常），所以实际氧传感器测量是正确的，也就是低电压值混合气稀|技师说：假如说第二种情况：如果主动测试的时候，氧传感器的电压都不变化。一点反应也没有，加浓没有向上增长电压的现象。那就说明这个氧传感器是有问题的。|技师说：[图片]|技师说：也就是说第一种情况中的，空燃比传感器有问题导致误报这样的信息。但是我们决定要更换空燃比传感器之前必须要使用诊断电脑测试，确定氧传感器是没有问题的|技师说：等一下，我看看是不是说错了|车主说：空燃比传感器是那个|技师说：三元催化前面那个|车主说：[图片]|技师说：是的，以三元前后区分|技师说：你那个码是什么来着？|车主说：[图片]|车主说：也就是这个|技师说：不是，我说的故障码|车主说：这个就是空燃比传感器|技师说：你到底换的是哪一个？|车主说：四个都换了|车主说：[图片]|车主说：就报这故障|车主说：发动机抖和着有关系吗|技师说：发动机抖动吗？|车主说：怠速抖|技师说：稍微加一点油门呢|车主说：不抖了|技师说：我们重新缕一下吧，这个车辆以前在别的地方维修到您这儿来维修是这样吧？来的时候已经更换了后面的两个氧传感器？|车主说：都换了|车主说：四个|技师说：他来的时候就把四个传感器都换了？那么在没换之前也是这种故障码吗？|车主说：嗯|技师说：那么他还有没有原来的四个传感器？有没有把它装回去试一下|车主说：换了四个不是原厂的|技师说：原厂不是原厂的，我们先不用管它。我们只需要判断它是否工作正常就可以|车主说：现在后面的是原车的|车主说：我刚倒下来|技师说：那个长短期燃油调整的数据还没有变化吗？每次更换完之后，需要切断电瓶线，让这个电脑的记忆清零，否则一开始启动的时候，还是处于原来的燃油调整状态|车主说：没断电平线|技师说：你在更换完一个东西之后，断一下电瓶线。让这个燃油调整的数据归零，这样我们才能够判断您更换的这个东西它是否起了作用。|技师说：否则她就需要运转一段时间，才能够逐渐的适应过来|车主说：要不现在断开行吗|技师说：行，没问题，我刚才不是跟你说了吗？让您切断电瓶线，等待一分钟|车主说：断开了|技师说：那看一下数据流是不是跟原来还是一样|车主说：好|技师说：[图片]|车主说：我读一下数据流|车主说：包的电压低|技师说：？？|车主说：最早包的电压低|技师说：没有明白什么叫最早包？|车主说：就是司机刚来的时候|技师说：司机刚来的时候，跟现在报出的故障码不一样？？|车主说：一样|车主说：[图片]|车主说：[图片]|车主说：[图片]|技师说：现在空燃比是多少|车主说：[图片]|技师说：你的电脑是不是不支持主动测试？以人为的从进气岐管的位置喷入一点清洗剂，看看氧传感器的电压是否上升|车主说：[图片]|车主说：上升|技师说：空燃比的呢|技师说：从上面这个图来看，你的氧传感器是没有问题的|车主说：[图片]|技师说：空燃比的电压更低了，是这样吧！|车主说：[图片]|车主说：这是没喷|技师说：这个没喷的，怎么跟以前都不一样，以前都低于3.2伏的。这个都高出很多了……|车主说：[图片]|车主说：这个喷了|技师说：显示低于3.2伏，是正常的。是说你上面那个图那没有喷的不都显示3.6了吗。你以前发过来的可没有这么高，只有2.9和3.1左右|车主说：[图片]|车主说：这个没喷|车主说：不稳定|车主说：来会变|车主说：从2.8到3.7|技师说：你不要接着就去看这个数据流，喷上一会儿等一会儿或者是不喷也要等一会|车主说：[图片]|车主说：[图片]|车主说：[图片]|车主说：[图片]|车主说：[图片]|车主说：变化大|技师说：你的电脑不支持主动测试吗？在这个工具里面没有这个功能吗？|技师说：就是通过诊断电脑来控制喷入流量的多与少|车主说：在那个功能里面|技师说：我没用过你这种电脑，我不知道里面有没有，我的意思是你自己找一下|车主说：[图片]|车主说：燃油学习吗|技师说：点进去看看|车主说：[图片]|技师说：不是这个功能|车主说：[图片]|技师说：好了，先不管他了。|技师说：其实这个跟切断电瓶线是一样的，都是清除学习值|车主说：[图片]|车主说：没着车|车主说：就3.3|车主说：[图片]|车主说：电压变化太大|技师说：既然你喷入清洗剂之后，空燃比包括氧传感器都有明显的变化，那么推测应该传感器是没有问题。但实际显示的就是，空燃比电压偏低，氧传感器的电压也偏低。这个感觉不太稳定。你有没有断开燃油蒸汽活性炭罐的那根管？|车主说：[图片]|车主说：那根|技师说：电磁阀连接到进气歧管上的，把进气歧管这一头堵起来，防止漏气|技师说：对了，你有没有确认一下排气管没有漏气的地方吧？？就是在氧传感器的前面的一段排气管接口|车主说：[图片]|车主说：这跟吗|车主说：堵着了|技师说：堵起来启动车辆之后，再看一下调整的数据，有没有降低的现象。最好是稳住油门让它运转一会|技师说：你的意思是已经把它堵起来了吗？？还是说你刚刚堵起来的|车主说：看那个数据|技师说：就看长短期燃油调整，空燃比，氧传感器这六个数据|技师说：能把它们放在一个屏幕上就更好了，只看电压值不看电流值|车主说：[图片]|车主说：[图片]|车主说：[图片]|车主说：[图片]|车主说：这是拿手堵着的数据|技师说：一组的空燃比变化怎么那么大，|车主说：对|车主说：就是变化大|技师说：你找个螺丝直接把他胶管堵起来|车主说：2.7-3.8|车主说：来会变化|技师说：那组二的变化有多大呢？跟他一样吗|技师说：组一空燃比在变化的时候，组一的氧传感器一直也是低电压吗？他跟着是否变化|车主说：没有变化|车主说：[图片]|技师说：你测量过燃油压力吧？|技师说：组2怎么也变低了！不要来回的拍这么多图片，你等他稳定一下再拍|技师说：这个车辆你问一下司机是怎么发生的这种情况？不然在行驶当中就出现了，还是做过什么样的维修？有没有更换发动机或者是拆装|车主说：开着开着就这样了|车主说：他来会变|车主说：不问|车主说：汽油压力没测|技师说：你可以先自己总结一下，也就是说空燃比电压低于3.2伏的时候，那么氧传感器的电压就应该是高于0.5伏。这种情况属于混合气偏浓的状态。如果是空燃比传感器高于3.2伏的话，那么氧传感器的电压就会低于0.5伏。那么这时它就处于一个混合气稀的状态。这两个电压值应该是相对应的|技师说：你有压力表吗？接上测一下，这些基本的检查一定要做|车主说：嗯|车主说：再接|车主说：马上就好|技师说：空燃比传感器，它是一个非常灵敏的传感器，它会受到混合气浓度的变化之后，反应频率是比较快的，氧传感器由于经过三元催化器催化之后，所以它的反应速度比较慢。假如说这个空燃比传感器在3.2伏，上下来回的频繁变化。这就说明燃油的控制不精确。但是氧传感器，它本身由于经过这个三元催化剂的催化效率之后，变的电压值稍微稳定一点，可能不会急剧的变化。|技师说：[图片]|技师说：从这张图我们也可以看出来，空燃比传感器的电压变化是非常快的。氧传感器，它是一个比较缓的变化。|技师说：结合燃油压力表之后，正常怠速时的燃油压力，应该是在三公斤以上，最高也就是达到3.5|车主说：氧传感器电压不变|车主说：好|车主说：接完了我看看|技师说：但是您刚才往里面喷清洗剂的时候，氧传感器的电压上升很明显吧！|车主说：嗯|车主说：就是|车主说：[图片]|车主说：怠速三个|车主说：加速没反应|技师说：稍等|技师说：发动机现在抖动比较明显，能确定是某个气缸工作不好吗？|车主说：那个都有反应|车主说：也没有干活不好的|技师说：那么你就把喷油嘴拆下来清洗一下试试吧。不要免拆清洗|技师说：对了，刚才你往里面喷一点清洗剂的时候，发动机的转速有没有趋于稳定的现象|车主说：怠速高些|车主说：喷多了就灭了|技师说：是这样的，我这里如果要判断的话，我会使用诊断电脑进行主动测试，额外的给发动机增加，或者是减少供油。如果是在增加或者减少供油的时候，空燃比传感器跟氧传感器有明显的高低压变化。那么就推断是这个传感器工作是正常的。剩下的就考虑是由于其他控制部件的问题。因为你这里没有这个功能，但是喷入清洗剂后也看到了他有一个电压上升。大致推测应该是没有问题。而且又清洗过空气流量计，测量过燃油压力，将活性炭罐的那根管儿也拔下来了。那么我建议你还是先清洗一下喷油嘴试试吧，毕竟已经到这个程度|技师说：你那个空气流量计的数值是多少来着？|车主说：是不是空气流量计坏了|技师说：是呀，我突然想到这个数字好像有点偏大，我记得好像是二点几不到三，你那个是否三点多了？|技师说：刚才有一个差不多的皇冠，也是给您故障差不多。他说是空气流量计洗了，但是那个电阻丝上面粘有灰尘，他又洗了一遍。你用手电筒照着看一看|车主说：车去加油了|车主说：回来看看|技师说：我刚才找到你那个图片了，进气3.54。你这个没打开空调吧，这个量可有点高。回来你先把里面好好的清洗一下，用手电筒照着看一下|车主说：嗯|车主说：[图片]|技师说：你把空气流量计取下来，用手电筒照一下，里面有根电阻丝，看上面是否沾有一些灰尘，用清洗剂彻底的清洗|车主说：好|车主说：[图片]|车主说：汽油压里急加速没变化|技师说：这个空气流量计的里面，你要看一下|技师说：就在那个比较深的筒里，用手电筒照一下，能够看到里面的东西。汽油压力是不应该有变化的，这个跟带有回油管的不一样|车主说：嗯|车主说：就三个呀|技师说：你是说汽油压力吗？他的标准是在3.0到3.5之间，你这个压力没有问题。起码能够保证怠速正常运转，如果是行驶时动力不足的话，那么要行车当中测一下，如果压力低于三个，那就不正常了|车主说：[图片]|车主说：清洗完了|技师说：等发动机怠速稳定，现在还抖动吗|车主说：抖|车主说：不是来会抖|车主说：一会又|车主说：一会没|技师说：那肯定就不行，别嫌麻烦了，直接拆下进气歧管来清洗一下喷油器吧。|技师说：正好拆下来之后，把后面的三个火花塞也拆下来，看一下燃烧的情况|车主说：这个空气流量计数据正常吗|技师说：先排除基本的，毕竟传感器这种东西更换下来，价格也不便宜，安装之后也无法退货。对于空气流量计进气的这个量的多少，我印象不是很深了，因为平时也不太注意这些东西，3.0的发动机，它的进气量应该不到三，好像在2.9左右。你这个3.5的发动机到了这么高的数值，也不能说它是不正常的。所以建议你先把喷油嘴拆下来之后使用化油器清洗剂单独的图片进行清洗，确保他雾化效果是没有问题。刚好把后面的三个，火花塞拆下来，看一下燃烧的情况。如果是燃烧的，不如前面三个的，可以把前面这三个换到后面，或者是直接更换新的。|技师说：单独的通电进行清洗…|车主说：en|车主说：这个破车|技师说：由于发动机在抖动，空气流量的数据也不是很稳定吧？|车主说：弄了好几天了|车主说：嗯|技师说：有时候维修就是这样，可能走入了一个瓶颈，要换个角度试一下，我这里没有亲自测试，也只是通过图片进行分析，因为我们的电脑是支持这种，图形数据流观察，所以非常的方便。如果修丰田车多的话，倒不如在网上购买一个丰田的诊断软件，价格也不高。跟原厂的功能是一样的，大约也就是三百元左右吧|车主说：要买个|车主说：我先拆|技师说：明天的时候，我看能否找到一辆相同的车型，看一下它的空气流量计数据|车主说：嗯|技师说：你那个车怎么样了？我今天找了一辆车看了一下它的进气量在热车之后应该是比较低的|技师说：[图片]|技师说：从这个数据流上来看，应该还不到三，|车主说：还没装完呢|技师说：里面的三个火花塞燃烧的怎么样？跟外面的三个颜色怎么样|车主说：一样|车主说：喷油头无话都好|技师说：火花塞颜色一样，还是说现在装好了没有改变呢|技师说：那现在发动机还是抖动吗|车主说：没装完呢|技师说：那先安装吧，有没有把内外的火花塞倒换一下|车主说：到了|技师说：安装完了之后再看一下，等到水温达到八十多度，看一下空气流量计的信号，我上面那个图就是一个正常车的|车主说：嗯|车主说：发动机故障灯不亮了|车主说：就事怠速有点抖|技师说：不好意思，在天津。喷到进气岐管清洗剂试下，看是否漏气|车主说：不是老抖，不知道什么时候就那么馋一下|技师说：是不是点火线圈有漏电的，有没有用手电筒看一下点火线圈里面有没有击穿的地方|车主说：能看出来吗|技师说：这个应该可以的，你用手电筒照一下里面看看有没有发黑击穿的地方|车主说：好|车主说：抖的不是厉害|车主说：不知道什么时候来会几下|车主说：还和别的地方有关系吗|技师说：走的比较急促的话，那么应当考虑就是跟点火的关系更多一点，这种情况，如果是有示波器的话就比较好了，可以看一下它的点火波形，这样我们就知道是否某一个气缸工作不好的原因。因为我们的诊断，电脑里面有一个功能，就是可以测到它的失火。那么用这个功能就可以测出某一个气缸是否存在，偶尔不工作，着重检查|技师说：我今天在天津开会，所以有时候可能不及时回复|车主说：嗯|车主说：不是老抖|车主说：和节气门，空气流量计有关系吗|技师说：就是这种偶尔的，所以才怀疑是不是某个点火线圈出现漏电的现象，偶尔的导致击穿你可以先拆除外面的三个看一下，用手电筒看点火线圈插活塞的位置|技师说：现在混合气的浓度比怎么样了|技师说：就是长短期燃油调整的数据，怠速现在多少转？进气量是多少|车主说：清洗进气直管好点了|技师说：如果说偶尔抖动，还有一点就是把那个碳罐的管子拔下来测试一下|车主说：在那个位置|技师说：这个应该就是在进气口的位置，你找一下从油箱过来的管连接有一个电磁阀|车主说：怠速700|技师说：进气量多少？|车主说：我昨天下午没看。|车主说：我也出门了|车主说：一会上班我让他们看看|技师说：还有就是用化油器清洗剂喷到进气歧管的位置，看看是否怀疑有漏气的地方|车主说：我也出门了，一上班我让他们看看|车主说：嗯|车主说：一会都试试|车主说：[图片]|车主说：[图片]|技师说：现在水温是不是还比较高没有到八十度的原因。长短期调整的数据到多少了'"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test.iloc[8607]['merged']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 113,
   "metadata": {},
   "outputs": [],
   "source": [
    "# train['merged'] = train['merged'].apply(lambda x: filter_sentence(x,stop_words))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 120,
   "metadata": {},
   "outputs": [],
   "source": [
    "train['lens']=train['merged'].apply(lambda x:len(x)).values"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 121,
   "metadata": {},
   "outputs": [],
   "source": [
    "s_train=train.sort_values(by=['lens'],ascending=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 122,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "18234    20558\n",
       "70502     6088\n",
       "35399     5388\n",
       "57361     5141\n",
       "40231     4685\n",
       "         ...  \n",
       "48108       16\n",
       "28693       15\n",
       "64083       15\n",
       "62576       13\n",
       "62200       12\n",
       "Name: lens, Length: 81572, dtype: int64"
      ]
     },
     "execution_count": 122,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s_train['lens']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 143,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "78833"
      ]
     },
     "execution_count": 143,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "(s_train['lens']<1000).sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "308.33504143578676"
      ]
     },
     "execution_count": 61,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s_train['lens'].values.mean()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 124,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "count    81572.000000\n",
       "mean       308.335041\n",
       "std        314.028698\n",
       "min         12.000000\n",
       "25%        121.000000\n",
       "50%        220.000000\n",
       "75%        385.000000\n",
       "max      20558.000000\n",
       "Name: lens, dtype: float64"
      ]
     },
     "execution_count": 124,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "s_train['lens'].describe()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 137,
   "metadata": {},
   "outputs": [],
   "source": [
    "m_txt=s_train.iloc[1]['merged']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 138,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'08年 宝马320 客户要抬缸盖  进气管 排汽管 点火线圈全部拆掉了  只有缸盖没有拆 正时也没有动  最后客户不修了  又全部复我了   准备打着车的时候  遥控器插进去没有反应了 方向盘下面电机也不嗡嗡响了  一键启动也没有反应  方向盘还锁住了钥匙插进去没有反应 然后故障码就是这些 技师说：钥匙开不了二档？|技师说：能卡住吗钥匙？|车主说：能卡住|车主说：对|车主说：只能开一档|车主说：钥匙能卡住  只能开一档|车主说：方向盘打不开|技师说：方向柱不解锁？|车主说：也没办法启动|技师说：把电瓶负极上的细线拔掉试试|技师说：断过电试了吗|车主说：没有断电  不敢断电|车主说：电瓶上面就一根线啊！|技师说：拍照我看看|车主说：等一下|车主说：[图片]|车主说：[图片]|车主说：[图片]|技师说：好吧|车主说：保险丝也检查了  也没有啥问题|技师说：低配|技师说：没有ibs|技师说：不是保险丝|技师说：不断电，还有一个方法|车主说：现在是啥问题？|技师说：死马当活马医了|车主说：故障码 那些都是啥意思？|车主说：啥办法？|车主说：可管用，|技师说：要是在4s就换东西了|技师说：转向柱坏乜|技师说：你诊断的码是dsc的，没用|技师说：你进错模块了|车主说：之前一直都是好好  就是这次来回拆装  就不行了，|技师说：你现在拔掉钥匙|技师说：[图片]|技师说：拆掉主驾脚护板|车主说：钥匙拿掉了|技师说：拔掉这个白色模块上的插头|车主说：好|车主说：然后呢？|技师说：模块旁边还有一个小的方插头|技师说：就图上的x10254|技师说：也拔掉看看进水腐蚀了吗|技师说：[图片]|技师说：最后，在转向柱上，有个电子锁，有一个四根线的扁插头插在上面的，拔下来再插一下，防止接触不良|技师说：都搞完这些大概十分钟，|车主说：这里面根你说的不一样啊！|车主说：[图片]|技师说：拍照|车主说：[图片]|技师说：黑盒子|技师说：就这黑盒子|技师说：你这老车|技师说：新的都是白盒子|技师说：这个转向柱上肯定有个小插头，扁的，四根线，那个就是电子锁|技师说：[图片]|技师说：插头，拔掉至少五分钟之后，再插上|车主说：这样做没有啥问题吗？|车主说：不会导致其他问题出现吧！|技师说：你要是不敢，就换转向柱吧|技师说：你还有更好的方法吗|车主说：好|车主说：我试试|车主说：没有|车主说：问题是他之前都没有出现这问题啊！|技师说：你倒霉啊|技师说：正好坏你手上了|车主说：是的  我也是这么想的|技师说：跟你修前面无关|技师说：即使不修前面，那个转向柱到点了也坏|技师说：只是客户自己倒霉|技师说：现在碰巧在你手上|车主说：是的|车主说：客户不会相信啊！|车主说：火线 打铁 不会出现啥问题吧！|技师说：那肯定不信，他什么也不懂啊，即使懂，他也懒上你了|车主说：今天装的时候 碰到了一下|技师说：不会|技师说：哪里？|技师说：你是说打火了？|车主说：就是起动机 和发动机 的那根火线|车主说：起动机和发电机的火线|技师说：唉|技师说：不断电还不包好|技师说：胆大啊|车主说：我包好了  线一甩 就碰到了|技师说：不讨论这个了|技师说：赶紧拔插头|车主说：好|技师说：我等睡觉了|车主说：[图片]|车主说：等一会 我的哥|技师说：最后插|车主说：现在拿下来了|技师说：再拔另外的|车主说：还拿那个？|车主说：[图片]|车主说：拿掉了|车主说：现在还咋样？|技师说：[图片]|技师说：这个|技师说：10254|技师说：模块左边|车主说：看不清楚，|技师说：拔下来看看进水腐蚀了吗|技师说：[图片]|技师说：你刚才拔的大插头，左边|技师说：找找|车主说：好|车主说：[图片]|车主说：可是这个？|技师说：对|技师说：拔开|技师说：看看腐蚀了吗针脚|车主说：没有|车主说：四个插头都没有？|技师说：好|技师说：全部插上|车主说：都插好了|技师说：晃一下方向盘|技师说：别让方向盘有应力卡住了|技师说：插钥匙吧|车主说：现在试一下 还是没有用|车主说：没有用|车主说：方向盘  没有反应|技师说：插上诊断电脑|技师说：431吗|技师说：进入cas模块|技师说：发图片给我|车主说：好|车主说：正在进入|车主说：CaS是啥模块？|技师说：便捷进入|技师说：你不知道就发图片给我|技师说：我教你进|车主说：好的??|车主说：防盗模块吗？|技师说：拍照|车主说：[图片]|车主说：[图片]|技师说：还有|车主说：[图片]|车主说：[图片]|车主说：[图片]|车主说：那个是的|技师说：再找|车主说：就这么多啊！|技师说：其他系统|技师说：再找|技师说：不行你从主界面进|技师说：有自动搜索吗|技师说：有特殊功能为|技师说：有匹配功能吗|技师说：人呢|技师说：不搞了？|车主说：不搞了|车主说：刚刚在检查其他地方 没有及时回复你|车主说：明天在搞|技师说：那怎么交车|车主说：向客户解释啊！|技师说：其他地方没什么查的|车主说：是的|车主说：我刚刚看了一下资料|技师说：现在就一个突破口了|车主说：cas里面要是有故障码  也打不着|技师说：看你仪器给不给力|技师说：要到cas里复位elv计数器|车主说：要对cas复位|车主说：是的|车主说：我刚刚看资料也是这样的|技师说：你竟然连cas都没找到|车主说：电脑  就是一般般的电脑|车主说：也不是多好的|技师说：我就是资料|技师说：还不信我|车主说：因为他车开来的时候 是正常的|车主说：不是不相信你 我的哥|技师说：你得找个431|车主说：我也要。想一想|技师说：或道通|车主说：新款的431行不行？|车主说：[图片]|技师说：不过，运气好的话，明早自己会好|车主说：他这上面说的对不|技师说：我碰到过自己好的|技师说：对的|车主说：这个车 我本来不想接的|技师说：简直就是我想说的|车主说：上次跟这个宝马 换变速箱油  也出现问题了|车主说：我自己贴钱修的|技师说：??|技师说：怎么拆一半，车主不修了？|技师说：什么情况|车主说：08年  到现在 变速箱油一次也没有换过  结果我给他经常一下  变速箱缺油  客户说换掉  我就用机器 直接换了  结果客户才开一天 变速箱换挡冲   结果一检查  里面太脏了  导致变速箱换挡冲|车主说：嫌修的贵|车主说：客户说1200能修好|技师说：唉|车主说：他说他朋友1200给他修好   嫌我这贵|技师说：倒霉|车主说：你说1200 要是修起来 可亏本|车主说：是的啊！|技师说：修什么？|车主说：抬缸盖|车主说：1200|车主说：你认为 1200下来可亏本|技师说：为什么抬|车主说：烧水|车主说：一缸 烧水|车主说：冷车启动抖  就抖几秒  然后检查 一缸 烧水|技师说：1200在我们4s店，就只能拆个气门室盖|技师说：我们抬个缸盖人士6000|技师说：人工|车主说：客户吹牛逼 我朋友在4S店 给我修  1200能搞好|车主说：哎！ 。客户喜欢吹牛逼|技师说：1200，去死吧|技师说：傻逼才干|车主说：我修个面包车 还要1000呢！|技师说：缸垫都1000多了|车主说：下面的修理厂 肯定没有你那贵|车主说：我给他报价4800  搞好|车主说：他嫌贵  拆着拆着  就嫌贵了|技师说：4800还乕|技师说：行|技师说：好吧，碰到人精了|车主说：哎！  我昨天修个新帕萨特 换个水箱框架  加防冻液 人工费 还4500呢！|技师说：明天找个好电脑，试试能不能进cas|车主说：开好车的不一定是有钱人  开面包车 不一定是穷人呀！|车主说：好|车主说：我明天在试试|技师说：进不去，你就找根线捅进obd的1号脚，另一头捅进16号|车主说：cas 复位试试|车主说：你微信多少？|技师说：1号本来是没脚的|车主说：能不能直接联系你|车主说：好|技师说：捅进线，就是给电脑一个假信号|车主说：我明天试一试，|车主说：能不能直接联系你|车主说：微信，|技师说：平台不让留微信，会封我号|技师说：[图片]|技师说：规定|车主说：那怎么办？|车主说：158****3314|车主说：这是我的  你加我可以吧！|车主说：都是同行  不会的|车主说：明天要是有不懂的  直接能问你|技师说：唉，违规的|技师说：别害我了|车主说：要不我加你|车主说：没事我的哥|技师说：睡吧，明天再说，搞定了，打赏一下就好|技师说：微信，被查到了，我就完蛋了|车主说：好的??|车主说：谢谢  我的哥|技师说：??|车主说：在不在|车主说：在不在？|车主说：[图片]|车主说：看看|车主说：cas里面故障|车主说：[图片]|车主说：cas|车主说：在不在？|技师说：在|技师说：进cas|车主说：看看|车主说：已经进去了|车主说：故障码我消了|车主说：[图片]|车主说：故障码 我消了|车主说：[图片]|技师说：复位elv|车主说：刚刚故障码发给你了|车主说：[图片]|车主说：那一个|车主说：是那一个，|技师说：左二|车主说：[图片]|车主说：是我手点这个吗？|车主说：复位内部ELV 电子转向锁 故障计数器吗？|车主说：是不是这个？|技师说：是|车主说：现在选择哪个？|车主说：[图片]|技师说：2|车主说：确定。是2  我的哥|技师说：信我|车主说：好|车主说：[图片]|车主说：直接 点是啦！|技师说：点|车主说：[图片]|车主说：现在复位了|技师说：开钥匙试试|车主说：没反应，|车主说：[图片]|技师说：无关故障码|技师说：复位cas|车主说：这个故障码是啥意思？|车主说：重新复位吗？|技师说：[图片]|技师说：这三个全复|车主说：三个全部重新复位吗？|技师说：多复几遍|技师说：直到你插钥匙能解锁|车主说：好|车主说：我试试|车主说：[图片]|车主说：[图片]|车主说：第一个能不能点|技师说：继续点其他的|车主说：其他两个吗|车主说：没有用啊  我都试了 好几次了|车主说：其他毛病会不会出现|技师说：不会|技师说：要么仪器不行，要么elv坏了|技师说：elv就是电子转向柱|技师说：不解锁了|车主说：拆个缸盖 没有拆成   进气管  排汽盖  和 点火系统拆了  没理由会出现这个情况啊|车主说：就是方向盘不解锁了|技师说：有的车停那下去吃个饭，上车就解不了锁了，它要坏，不分时间的|技师说：我们一年碰到三四个|技师说：好好的就不解锁了|车主说：现在没有故障码了|车主说：他要是坏了不报故障码吗？|车主说：现在也没有故障码了？|车主说：不可能 就让我碰见了吧！|技师说：当地有没有搞防盗的，配钥匙的，他们应该会修这个锁|技师说：唉|车主说：没有|车主说：我们县城的 应该很少搞这个|技师说：我们七系上个月换个机油，洗完车，发不着了，起动机坏了|车主说：现在还有啥办法？|技师说：客户硬说保养坏了，培了一个马达|技师说：没有修的，就只能换了|车主说：客户本来就是这样|车主说：他不相信 能有啥办法|车主说：还有啥办法？|技师说：1与16短接了吗|车主说：没有|车主说：直接进去的|技师说：应该不用，我们原厂的，不短接，进不去|技师说：要不你短接一下再试试|车主说：可管短接，|车主说：其他东西烧坏吧！|车主说：咋短接的|技师说：找个铜线插到obd后面的孔里|技师说：另一头接个12伏，或直接接16号孔|技师说：就是给1号一个电源，让诊断电脑认为点火钥匙已经开了|技师说：还有，方向盘转转，转向柱敲敲振振|技师说：说不定就好了|技师说：最后一招，断电瓶|技师说：我的招数已尽|技师说：看你的了|车主说：1-16两个插头用线接一下吗？|车主说：在用电脑检测一次吗？|技师说：对|技师说：反复做|车主说：好吧！|车主说：我试试|车主说：一号 里面没有线|车主说：操！|车主说：[图片]|车主说：[图片]|技师说：是没线|技师说：有线就不让你短接了|车主说：咋接？|车主说：没有线  咋跟16号接？|技师说：找根线捅进去|车主说：啥线  火线吗？从电瓶拉一根火线直接插16号吗？|车主说：还是从16号 拉一根线 插1号线里面，|技师说：16到1|车主说：16号 。拉一根线出来  接到1号  就可以了吗？|技师说：是的|技师说：只要1号有火线给431就行了|车主说：好的|车主说：然后就用电脑重新复位  吗？|技师说：是|车主说：好|车主说：试试吧|车主说：还是没有用，|车主说：复位了 还是没有用|技师说：断电瓶|技师说：不想断，就先换转向柱|技师说：4s都是转向柱加cas一起换|车主说：会不会其他数据丢失了|车主说：需要重新匹配|车主说：断电不会导致其他东西出问题吧！|车主说：断电需不需要重新匹配其他的|技师说：最多frm死掉|技师说：其他不会|技师说：死个frm又得几百块修|车主说：frm什么东西？|技师说：脚步空间模块|技师说：我只能帮你到这了，老板|技师说：这车瘫上了，倒霉|技师说：我只能同情一下了|技师说：要不你平台上再悬赏一下|技师说：看看有没有高手能解决|车主说：算了  我一会请老师过来  专门修宝马 修宝马出身的|车主说：看看来不来|技师说：好的|技师说：能搞好，告诉我一声|技师说：我是4s技术总监|技师说：也想学学|车主说：好的??|车主说：OK??|车主说：你在想想  看看可有其他毛病了|车主说：宝马车是不是要断电才能维修发动机|技师说：想不出了|技师说：是的，|技师说：技术要求|车主说：不断电要是修了  是不是需要编程|技师说：没有这条规矩定|技师说：断电是防止短路|车主说：全部装好弄好  在不断电的情况下发动机  维修完是不是要编程|技师说：不需要|车主说：但是故障码上面显示 数据丢失|车主说：是几个意思|技师说：二档都打不开，肯定有些模块进不去，信息无法传递|技师说：不是问题|车主说：那现在怎么搞|车主说：确定不需要编程|技师说：可以让那个师傅用原厂电脑再复位试试|车主说：拆这些东西  确定不用编程|技师说：不用|车主说：吗？|技师说：等那师傅来了你问|技师说：能编就试试|技师说：反正死马当活马医|车主说：我现在都不知道咋办了|车主说：现在钥匙插进去都没有反应  还编个毛线啊！|车主说：方向盘还在锁住|技师说：如果师傅不来|技师说：就买二手的转向柱吧|车主说：可确定是他坏|技师说：给你看两个elv案例|技师说：[图片]|技师说：[图片]|技师说：[图片]|车主说：问题是  他报故障码没有报cas|技师说：二手elv多少钱|车主说：在不在？|车主说：方向主上面的四个线一个2白色  和4红色 有电 大概在11.64V|车主说：有电就能确定方向主坏了吗？|技师说：换吧|车主说：你也确定是他坏了吗？|车主说：换好还需要编程吗？|车主说：用之前那个复位 不了吗？|车主说：电脑里面的特殊功能复位不了吗？|车主说：换好以后能不能打着|技师说：能|技师说：不用编'"
      ]
     },
     "execution_count": 138,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "m_txt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "pytorch13_py37 Env",
   "language": "python",
   "name": "pytorch13_py37"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}