Colab Notebooks/https_github.com_s-ankur_wikiextract.ipynb

{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"name":"https://github.com/s-ankur/wikiextract","provenance":[],"collapsed_sections":[]},"kernelspec":{"name":"python3","display_name":"Python 3"}},"cells":[{"cell_type":"code","metadata":{"id":"kcKYI4cXbJCh","cellView":"code","executionInfo":{"status":"ok","timestamp":1604330447050,"user_tz":-330,"elapsed":1316,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"29ad774e-cafe-4122-d25c-092067c2a829","colab":{"base_uri":"https://localhost:8080/"}},"source":["!git clone \"https://github.com/s-ankur/wikiextract\"\n","%cd wikiextract/"],"execution_count":null,"outputs":[{"output_type":"stream","text":[""],"name":"stdout"}]},{"cell_type":"markdown","metadata":{"id":"ptGhnRN50tRO"},"source":["Run the setup file. It downloads the required repos and data dumps\n"]},{"cell_type":"code","metadata":{"id":"tNqdFvoNcy7X"},"source":["!bash setup.sh "],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"F8tYBkjDUCrf"},"source":["You need to run these two steps after every failed run. Because we use these to track the progress."]},{"cell_type":"code","metadata":{"id":"9FaXkifzMqWj"},"source":["!rm hindi.output hindi-pos-tagger-3.0/hindi.input.txt"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"jgi0tMg-N7ZR"},"source":["rm extracted"],"execution_count":null,"outputs":[]},{"cell_type":"markdown","metadata":{"id":"ySp7KaA1UUNd"},"source":["This step is used to run the actual code. it might take some time to run."]},{"cell_type":"code","metadata":{"id":"cvALMRk-2ekD","executionInfo":{"status":"ok","timestamp":1604260735524,"user_tz":-330,"elapsed":1417776,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"b49e6bd8-a037-429d-d1c5-4bd15b12daef","colab":{"base_uri":"https://localhost:8080/"}},"source":["!bash run_hiwiki.sh"],"execution_count":null,"outputs":[{"output_type":"stream","text":["+ SEED=42\n","+ OUTPUT_SENT=1000000\n","+ HIWIKI_FILE=hiwiki-pages-meta-current.xml\n","+ EXTRACTED_FILE=extracted\n","+ EXTRACT_TEXT='python3 WikiExtractor.py --quiet --no_templates --filter_disambig_pages   --min_text_length 20   $HIWIKI_FILE -b 5G -o -'\n","+ TOKENIZE_SENTENCE='python3 indic_sentence_tokenizer.py'\n","+ SELECT_RANDOM_SENTENCE='shuf -n $OUTPUT_SENT --random-source=<(get_seeded_random $SEED)'\n","+ INSERT_ERRORS='python3 insert_errors.py hindi.output  --single --edits'\n","+ '[' '!' -f extracted ']'\n","+ eval 'python3 WikiExtractor.py --quiet --no_templates --filter_disambig_pages   --min_text_length 20   $HIWIKI_FILE -b 5G -o ->extracted'\n","++ python3 WikiExtractor.py --quiet --no_templates --filter_disambig_pages --min_text_length 20 hiwiki-pages-meta-current.xml -b 5G -o -\n","+ '[' -f extracted ']'\n","+ '[' '!' -f hindi-pos-tagger-3.0/hindi.input.txt ']'\n","+ wc -l extracted\n","1419317 extracted\n","+ eval 'python3 indic_sentence_tokenizer.py<extracted>tmp.tok'\n","++ python3 indic_sentence_tokenizer.py\n","+ eval shuf -n '$OUTPUT_SENT' '--random-source=<(get_seeded_random' '$SEED)'\n","++ shuf -n 1000000 --random-source=/dev/fd/63\n","+++ get_seeded_random 42\n","+++ openssl enc -aes-256-ctr -pass pass:42 -nosalt\n","+ wc -l hindi.input.txt\n","1000000 hindi.input.txt\n","+ rm tmp.tok\n","+ mv hindi.input.txt hindi-pos-tagger-3.0/hindi.input.txt\n","+ '[' -f hindi-pos-tagger-3.0/hindi.input.txt ']'\n","+ '[' '!' -f hindi.output ']'\n","+ cd hindi-pos-tagger-3.0\n","+ make tag\n","chmod +x bin/*\n","cat hindi.input.txt | python2 bin/unitok.py -l hindi -n | sed -e 's/^\\.$/.\\n<\\/s>\\n<s>/g' |  python2 bin/normalize_vert.py  > hindi.tmp.words\n","./bin/tnt -v0 -H models/hindi   hindi.tmp.words | sed -e 's/\\t\\+/\\t/g' | python2 ./bin/lemmatiser.py models/hindi.lemma | python2 bin/tag2vert.py > hindi.output\n","rm hindi.tmp.words\n","echo \"Output stored in hindi.output\"\n","Output stored in hindi.output\n","+ wc -l hindi.output\n","18087894 hindi.output\n","+ cd ..\n","+ mv hindi-pos-tagger-3.0/hindi.output hindi.output\n","+ eval 'python3 insert_errors.py hindi.output  --single --edits>hiwiki.augmented.edits'\n","++ python3 insert_errors.py hindi.output --single --edits\n"],"name":"stdout"}]},{"cell_type":"markdown","metadata":{"id":"rtn79-wAUhDV"},"source":["A sample of the generated sentences"]},{"cell_type":"code","metadata":{"id":"cAa6n5YvTBp2","executionInfo":{"status":"ok","timestamp":1604264851812,"user_tz":-330,"elapsed":2255,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"37d2c2c6-5787-4995-f268-42709beb4091","colab":{"base_uri":"https://localhost:8080/"}},"source":["!head -4000 hiwiki.augmented.edits|python scripts/convert_to_wdiff.py|shuf -n 40"],"execution_count":null,"outputs":[{"output_type":"stream","text":["यह नदी काठगोदाम से होकर भी [-गुजरते-] {+गुजरती+} है , जिसके किनारे कई शानदार प्राकृतिक आकर्षण मौजूद हैं .\n","यह पोकीमॉन वीडियो गेम सीरीज़ पर आधारित है और पोकीमॉन फ्रेंचाइज़ी [-के-] {+का+} हिस्सा है .\n","देश के विभिन्न हिस्सों से जैन समाज के लोग यहां बड़ी आस्था [-का-] {+के+} साथ मूर्तियों के दर्शन करने आते हैं .\n","ओरछा के साथ टीकमगढ़ का राज्येतिहास भी यही [-हैं-] {+है+} .\n","27 दिसम्बर 1975 को भारत के इतिहास [-का-] {+के+} सबसे बडी़ खान दुर्घटना धनबाद से 20 किलोमीटर दूर चासनाला में घटी , .\n","यह संगठन निरंतर प्रगति की राह पर कार्य [-करता-] {+करते+} हुए दक्षिण पूर्वी क्षेत्र में आर्थिक विकास के लिए सहयोग करने की दिशा में कार्यरत है .\n","सभी नॉकआउट चरण मैचों को पुरुषों के टूर्नामेंट से प्रासंगिक मैच के साथ डबल हेडर के रूप में [-खेले-] {+खेला+} जाएगा .\n","डोगो द्वीप [-के-] {+का+} प्रमुख नगर सैगो है जो शिमाने द्वीप के सकाई बंदरगाह से ४० मील दूर है .\n","2011 की जनगणना के अनुसार विशाखापत्तनम शहर की जनसंख्या 1 , 728 , 128 [-हैं-] {+है+} .\n","पिंडी भिजवाया और खुद कराची के रास्ते पाकिस्तान [-पहुंचा-] {+पहुंचे+} तो पता चला कि पिताजी को कराची में तैनात कर दिया गया था .\n","वह पंजाब के एक हिन्दू राजपूत [-था-] {+थे+} .\n","अलीबाग़ यहां का प्रमुख शहर [-हैं-] {+है+} .\n","वे गोमांस भी कभी नहीं खाते , क्योंकि गाय को हिन्दू धर्म में माता समान [-माने-] {+माना+} गया है .\n","14 महीने के भीतर , [-पहला-] {+पहली+} दो \" हंगर गेम्स \" पुस्तकों की 15 लाख प्रतियां अकेले उत्तर अमेरिका में छपी .\n","ये सभी स्तनपायियों में उत्कृष्ट हैं , अधिकतर घास खाते हैं और पानी तथा नमक पसंद [-करता-] {+करते+} हैं .\n","माता गुजरी जी और साहिबजादे गंगू के घर [-चली-] {+चले+} तो गए लेकिन वे गंगू की असलियत से वाकिफ नहीं थे .\n","यह पनामा नहर का हिस्सा है और इस नहर का लगभग 33 किलोमीटर हिस्सा इस झील से [-गुजरते-] {+गुजरता+} है .\n","एक एकल के बी साइड [-का-] {+के+} एक \" संस्करण \" की रिकॉर्डिंग की बढ़ती प्रवृत्ति ने श्रुंग या ऑर्गन द्वारा असंख्य वाद्य संगीत पैदा किया .\n","इससे कुछ ही प्रजातियां लुप्तप्राय हो [-गया-] {+गई+} हैं .\n","मुगल सम्राट् शाहजहां [-की-] {+के+} प्रारंभिक काल में तीन हजारी 1500 सवार का मंसबदार हुआ .\n","यहां के लोगों [-की-] {+के+} घर लकड़ी के बने हुए हैं जो पर्वतीय आर्किटेक्चर का उत्कृष्ट नमूना हैं .\n","नैतिक कर्तव्य वे हैं जिनका संबंध मानवता [-के-] {+की+} नैतिक भावना , अंत करण की प्रेरणा या उचित कार्य की प्रवृत्ति से होता है .\n","फिर असत्कार्यों से निवृत्त होने के व्रत [-की-] {+का+} मतलब है , उसके विरोधी सत्कार्यों में मन , वचन और काय से प्रवृत्त होना .\n","पलामू जैसे किसी वन [-का-] {+के+} सबसे आकर्षक एवं रंगबिरंगे निवासी पक्षी ही होते हैं .\n","युद्ध में वह सदैव अग्रगामी रहता [-थीं-] {+था+} .\n","इसे विश्वविद्यालय अनुदान आयोग अधिनियम १९५६ के अनुभाग ३ [-की-] {+के+} तहत एक डीम्ड विश्वविद्यालय का दर्ज़ा हासिल है .\n","२९ अगस्त १९५४ को पूर्वी उत्तर प्रदेश [-की-] {+के+} गोरखपुर जिले की बांसगांव तहसील ( अब खजनी ) अन्तर्गत ग्राम कुण्डाभरथ में जन्म .\n","भाषा , या परिनिष्ठित भाषा अथवा आदर्श भाषा , विभाषा की विकसित स्थिति [-है-] {+हैं+} .\n","जय हिंद कॉलेज मुम्बई में स्थित एक प्रसिद्ध महाविद्यालय है , जिसकी स्थापना १९४८ में हुई [-था-] {+थी+} .\n","मजरूह सुल्तानपुरी ने पचास से ज्यादा सालों तक हिंदी फिल्मों [-की-] {+के+} लिए गीत लिखे .\n","उदयपुर , जयपुर , अजमेर , पुरी , इंदौर , जबलपुर , सागर और भुवनेश्वर रेल नेटवर्क के माध्यम से जुड़ा हुआ [-हैं-] {+है+} .\n","\" स्लाइसिंग \" और \" शॉटहैंडेड हिटिंग एक्शन \" दो मुख्य तकनीकी उपकरण हैं जो चालबाज़ी [-करना-] {+करने+} में सहूलियत देते हैं .\n","अधिकांश विश्व में इसी पद्धति के आधार पर पुराने वर्षों की गणना की जाती [-हैं-] {+है+} .\n","पांज नदी या पंज नदी मध्य एशिया में स्थित एक नदी है जो आमू दरिया [-का-] {+की+} एक उपनदी भी है .\n","संगणकों के आ जाने से इस विषय में शोध और विकास के कार्य तेजी से चलने लगे [-है-] {+हैं+} .\n","इन पर भी प्रांतस्था [-के-] {+का+} सर्वोपरि अधिकार रहता है .\n","न्यूयॉर्क में वाल स्ट्रीट के सामने कुछ लोगों द्वारा शुरू [-की-] {+किया+} गया प्रदर्शन देखते ही देखते अमरीका के कोने कोने में फैल गया .\n","दूसरी नाट्यशाला गुइन गो बनी परंतु यह सोरवोन विश्वविद्यालय [-की-] {+के+} विरोध के कारण बंद कर देनी पड़ी .\n","एन एच 10 सन् 2015 की एक भारतीय क्राइम थ्रिलर फ़िल्म है [-जिसके-] {+जिसका+} निर्देशन नवदीप सिंह द्वारा किया गया है .\n","जनवरी २०१९ में वह मध्य प्रदेश के देवेंद्र बुंदेला ( १४५ ) को पछाड़कर १४६ रणजी ट्रॉफी मैच खेलने का ऐतिहासिक रिकॉर्ड [-बनई-] {+बनाया+} .\n"],"name":"stdout"}]},{"cell_type":"markdown","metadata":{"id":"JWSkGnRRUewR"},"source":["This is the output file"]},{"cell_type":"code","metadata":{"id":"JJ1jg99T1QDC","executionInfo":{"status":"ok","timestamp":1604330476257,"user_tz":-330,"elapsed":24973,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"da289131-8b0b-474c-9a12-aaf6b2efdfc1","colab":{"base_uri":"https://localhost:8080/"}},"source":["!wc hiwiki.augmented.edits"],"execution_count":null,"outputs":[{"output_type":"stream","text":["   7778655   91007242 1112449366 hiwiki.augmented.edits\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"UBXsdYokULAT","executionInfo":{"status":"ok","timestamp":1604330476260,"user_tz":-330,"elapsed":12835,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"a227192b-b68b-4ac4-b017-09abd0640808","colab":{"base_uri":"https://localhost:8080/"}},"source":["total=7778655;\n","if total%3 :raise Exception(\"check the augmented file\")\n","total_edits=total//3\n","train=int(total_edits*.8)*3\n","val = total - train \n","tmp3=train+val\n","print(train,val)"],"execution_count":null,"outputs":[{"output_type":"stream","text":["6222924 1555731\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"vkIscCRHUQf7"},"source":["!head -$tmp3 hiwiki.augmented.edits>train\n","!tail -$val hiwiki.augmented.edits>val\n","!mkdir -p data"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"nlYTgJvgURMV"},"source":["def convert_to_srctrg(inp, src, trg):\n","    bad_words = ('### comment:', '### contributor:', '### id:', '### page:', '### timestamp:', '###')\n","    i = 0\n","    for line in inp:\n","        if line.isspace():\n","            continue\n","        if line.startswith(bad_words, 0):\n","            continue\n","        if i % 2 == 0:\n","            src.write(line)\n","        else:\n","            trg.write(line)\n","        i = i + 1\n","\n","\n","convert_to_srctrg(open('train'), open('data/train_merge.src','w'), open('data/train_merge.tgt','w'))\n","convert_to_srctrg(open('val'), open('data/valid.src','w'), open('data/valid.tgt','w'))"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"OWdA1YZKUUn_"},"source":["!rm train val\n","!bash shuffle.sh data/train_merge 42\n","!bash shuffle.sh data/valid 42"],"execution_count":null,"outputs":[]},{"cell_type":"code","metadata":{"id":"3HWa9h9UrLOI","executionInfo":{"status":"ok","timestamp":1604330613910,"user_tz":-330,"elapsed":25588,"user":{"displayName":"Ankur Sonawane IIT BHU","photoUrl":"https://lh3.googleusercontent.com/a-/AOh14GiomZZ49qkpD-2EzVuzljSKs6l31EBMkNaQw4YeAQ=s64","userId":"12554047614810864421"}},"outputId":"109c5656-3a34-4676-9676-9172fca4c955","colab":{"base_uri":"https://localhost:8080/"}},"source":["!wc data/*"],"execution_count":null,"outputs":[{"output_type":"stream","text":["   2592885   45503621  555239633 data/train_merge.src\n","   2592885   45503621  554616848 data/train_merge.tgt\n","    518577    9100826  111048886 data/valid.src\n","    518577    9100826  110925847 data/valid.tgt\n","   6222924  109208894 1331831214 total\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"id":"RBDMcwcgMBWq"},"source":["mv data ../data"],"execution_count":null,"outputs":[]}]}