shorter long text

elastic · Jan 25, 2024 · 3b2bf1d · 3b2bf1d
1 parent 6809794
commit 3b2bf1d
Show file tree

Hide file tree

Showing 2 changed files with 3 additions and 19 deletions.
diff --git a/notebooks/search/lorem-ipsum.txt b/notebooks/search/lorem-ipsum.txt
@@ -1,10 +1 @@
-Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Est pellentesque elit ullamcorper dignissim. Sit amet cursus sit amet dictum sit amet. Enim neque volutpat ac tincidunt vitae semper quis lectus. Nulla facilisi etiam dignissim diam quis enim lobortis. Id velit ut tortor pretium. Ut tortor pretium viverra suspendisse potenti nullam ac tortor. Senectus et netus et malesuada fames ac. Sed faucibus turpis in eu. Maecenas ultricies mi eget mauris pharetra. In iaculis nunc sed augue. Sit amet cursus sit amet dictum. Sit amet luctus venenatis lectus magna. Adipiscing tristique risus nec feugiat. Nisi quis eleifend quam adipiscing vitae proin sagittis nisl rhoncus. Scelerisque varius morbi enim nunc faucibus a. Purus semper eget duis at tellus at. Cursus metus aliquam eleifend mi. Tristique senectus et netus et malesuada fames. Netus et malesuada fames ac.
-Viverra aliquet eget sit amet tellus cras. Hac habitasse platea dictumst vestibulum rhoncus est pellentesque elit. Molestie ac feugiat sed lectus vestibulum mattis. Etiam erat velit scelerisque in dictum non. Dolor sit amet consectetur adipiscing elit duis tristique sollicitudin nibh. Diam vulputate ut pharetra sit amet aliquam id. Arcu non sodales neque sodales ut etiam sit. Neque vitae tempus quam pellentesque nec nam. Amet porttitor eget dolor morbi non arcu risus quis. Vitae semper quis lectus nulla at volutpat diam ut. Blandit volutpat maecenas volutpat blandit aliquam.
-Lobortis elementum nibh tellus molestie nunc. Lectus arcu bibendum at varius vel pharetra vel turpis nunc. In hac habitasse platea dictumst. Vitae suscipit tellus mauris a diam maecenas. Mi eget mauris pharetra et. Habitant morbi tristique senectus et netus. Eu lobortis elementum nibh tellus molestie nunc non. Scelerisque varius morbi enim nunc faucibus a. Tincidunt arcu non sodales neque sodales ut etiam sit amet. Tellus integer feugiat scelerisque varius. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Eget nunc lobortis mattis aliquam faucibus. Dignissim sodales ut eu sem integer vitae justo eget. Urna id volutpat lacus laoreet. Mauris nunc congue nisi vitae suscipit tellus mauris a diam. Scelerisque in dictum non consectetur a erat nam at lectus. Neque sodales ut etiam sit amet nisl.
-Blandit cursus risus at ultrices. Scelerisque mauris pellentesque pulvinar pellentesque habitant morbi tristique senectus et. Cursus vitae congue mauris rhoncus aenean vel elit scelerisque. Lobortis feugiat vivamus at augue eget arcu dictum. Sagittis orci a scelerisque purus semper eget duis at. Ornare suspendisse sed nisi lacus sed viverra tellus in hac. Massa sapien faucibus et molestie. Vulputate odio ut enim blandit volutpat maecenas volutpat. Mauris rhoncus aenean vel elit scelerisque mauris pellentesque pulvinar pellentesque. Massa sapien faucibus et molestie ac. Orci porta non pulvinar neque laoreet suspendisse interdum consectetur. Mauris commodo quis imperdiet massa. Volutpat consequat mauris nunc congue nisi vitae suscipit. Malesuada fames ac turpis egestas maecenas pharetra convallis. Cursus risus at ultrices mi tempus imperdiet. Non enim praesent elementum facilisis leo vel fringilla est. Felis bibendum ut tristique et. Felis donec et odio pellentesque diam volutpat commodo sed egestas. Ut porttitor leo a diam sollicitudin tempor id eu. Dolor purus non enim praesent.
-Tortor aliquam nulla facilisi cras. Rhoncus dolor purus non enim. Sed vulputate odio ut enim blandit volutpat maecenas. Consequat semper viverra nam libero justo laoreet. Eget nunc scelerisque viverra mauris. Id cursus metus aliquam eleifend mi in nulla. Mattis molestie a iaculis at erat pellentesque adipiscing. Enim nec dui nunc mattis. Hendrerit gravida rutrum quisque non tellus orci ac. Fermentum iaculis eu non diam phasellus vestibulum lorem sed. Adipiscing diam donec adipiscing tristique risus. Sit amet commodo nulla facilisi nullam vehicula ipsum. Amet consectetur adipiscing elit ut aliquam purus sit. Id diam vel quam elementum pulvinar etiam non quam. Nulla pharetra diam sit amet nisl suscipit adipiscing bibendum. Massa tempor nec feugiat nisl pretium fusce id. Vitae tortor condimentum lacinia quis vel eros donec ac.
-Nulla aliquet porttitor lacus luctus. In nibh mauris cursus mattis molestie. Fermentum posuere urna nec tincidunt praesent semper feugiat nibh. Consequat ac felis donec et odio pellentesque. Eget arcu dictum varius duis at consectetur lorem donec massa. Mattis aliquam faucibus purus in. Tincidunt praesent semper feugiat nibh sed. Vel pharetra vel turpis nunc eget lorem dolor sed. Elit pellentesque habitant morbi tristique senectus et netus. Dui faucibus in ornare quam viverra orci sagittis eu volutpat. Et egestas quis ipsum suspendisse ultrices gravida dictum fusce ut.
-Quis hendrerit dolor magna eget est lorem. Leo vel orci porta non. Eu ultrices vitae auctor eu augue ut. Vitae turpis massa sed elementum tempus egestas. Neque laoreet suspendisse interdum consectetur libero id faucibus nisl tincidunt. Sit amet luctus venenatis lectus magna. Quis eleifend quam adipiscing vitae proin. Vel eros donec ac odio tempor orci. Turpis egestas pretium aenean pharetra magna ac placerat vestibulum. Duis tristique sollicitudin nibh sit amet commodo nulla facilisi. Volutpat ac tincidunt vitae semper quis lectus nulla at. Id nibh tortor id aliquet lectus. Arcu odio ut sem nulla pharetra diam. Cursus sit amet dictum sit. Orci sagittis eu volutpat odio facilisis mauris sit amet massa. Vitae ultricies leo integer malesuada. Eu facilisis sed odio morbi. Amet nulla facilisi morbi tempus. Amet est placerat in egestas erat.
-Amet luctus venenatis lectus magna fringilla urna. Amet est placerat in egestas erat imperdiet sed euismod nisi. Lectus nulla at volutpat diam ut venenatis tellus in metus. Pellentesque dignissim enim sit amet venenatis urna cursus. Mi proin sed libero enim. Habitant morbi tristique senectus et. Nunc id cursus metus aliquam eleifend mi. Ornare aenean euismod elementum nisi. Dictum fusce ut placerat orci nulla pellentesque dignissim. Ullamcorper a lacus vestibulum sed arcu non odio. Vel facilisis volutpat est velit egestas dui id ornare. Phasellus faucibus scelerisque eleifend donec pretium vulputate sapien nec sagittis. Consectetur libero id faucibus nisl tincidunt. Malesuada fames ac turpis egestas integer. Et malesuada fames ac turpis egestas sed tempus. Augue mauris augue neque gravida. Vitae congue eu consequat ac felis donec. Sapien eget mi proin sed.
-Proin libero nunc consequat interdum varius sit. Consectetur adipiscing elit duis tristique sollicitudin nibh. Faucibus nisl tincidunt eget nullam non. Tincidunt praesent semper feugiat nibh sed pulvinar proin gravida hendrerit. Eu non diam phasellus vestibulum lorem sed risus. Blandit libero volutpat sed cras ornare arcu dui. Commodo ullamcorper a lacus vestibulum sed arcu. Turpis massa sed elementum tempus egestas sed. Nisi lacus sed viverra tellus in. Non sodales neque sodales ut etiam sit.
-Posuere lorem ipsum dolor sit amet consectetur adipiscing elit duis. Ut morbi tincidunt augue interdum velit. Imperdiet massa tincidunt nunc pulvinar sapien et ligula. Convallis a cras semper auctor. Ut ornare lectus sit amet est placerat in egestas. Magna ac placerat vestibulum lectus mauris. At urna condimentum mattis pellentesque id nibh tortor id aliquet. Faucibus vitae aliquet nec ullamcorper sit amet. A scelerisque purus semper eget duis at tellus at urna. Enim neque volutpat ac tincidunt vitae semper. Aliquam id diam maecenas ultricies mi eget mauris. Tortor consequat id porta nibh venenatis. Ante metus dictum at tempor commodo ullamcorper a. Tincidunt vitae semper quis lectus nulla at volutpat diam. Ut pharetra sit amet aliquam id diam. Semper auctor neque vitae tempus quam pellentesque nec. Semper eget duis at tellus at urna condimentum. Lectus arcu bibendum at varius. Arcu non odio euismod lacinia at.
+Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Est pellentesque elit ullamcorper dignissim. Sit amet cursus sit amet dictum sit amet. Enim neque volutpat ac tincidunt vitae semper quis lectus. Nulla facilisi etiam dignissim diam quis enim lobortis. Id velit ut tortor pretium. Ut tortor pretium viverra suspendisse potenti nullam ac tortor. Senectus et netus et malesuada fames ac. Sed faucibus turpis in eu. Maecenas ultricies mi eget mauris pharetra. In iaculis nunc sed augue. Sit amet cursus sit amet dictum. Sit amet luctus venenatis lectus magna. Adipiscing tristique risus nec feugiat. Nisi quis eleifend quam adipiscing vitae proin sagittis nisl rhoncus. Scelerisque varius morbi enim nunc faucibus a. Purus semper eget duis at tellus at. Cursus metus aliquam eleifend mi. Tristique senectus et netus et malesuada fames. Netus et malesuada fames ac. Viverra aliquet eget sit amet tellus cras. Hac habitasse platea dictumst vestibulum rhoncus est pellentesque elit. Molestie ac feugiat sed lectus vestibulum mattis. Etiam erat velit scelerisque in dictum non. Dolor sit amet consectetur adipiscing elit duis tristique sollicitudin nibh. Diam vulputate ut pharetra sit amet aliquam id. Arcu non sodales neque sodales ut etiam sit. Neque vitae tempus quam pellentesque nec nam. Amet porttitor eget dolor morbi non arcu risus quis. Vitae semper quis lectus nulla at volutpat diam ut. Blandit volutpat maecenas volutpat blandit aliquam. Lobortis elementum nibh tellus molestie nunc. Lectus arcu bibendum at varius vel pharetra vel turpis nunc. In hac habitasse platea dictumst. Vitae suscipit tellus mauris a diam maecenas. Mi eget mauris pharetra et. Habitant morbi tristique senectus et netus. Eu lobortis elementum nibh tellus molestie nunc non. Scelerisque varius morbi enim nunc faucibus a. Tincidunt arcu non sodales neque sodales ut etiam sit amet. Tellus integer feugiat scelerisque varius. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Eget nunc lobortis mattis aliquam faucibus. Dignissim sodales ut eu sem integer vitae justo eget. Urna id volutpat lacus laoreet. Mauris nunc congue nisi vitae suscipit tellus mauris a diam. Scelerisque in dictum non consectetur a erat nam at lectus. Neque sodales ut etiam sit amet nisl. Blandit cursus risus at ultrices. Scelerisque mauris pellentesque pulvinar pellentesque habitant morbi tristique senectus et. Cursus vitae congue mauris rhoncus aenean vel elit scelerisque. Lobortis feugiat vivamus at augue eget arcu dictum. Sagittis orci a scelerisque purus semper eget duis at. Ornare suspendisse sed nisi lacus sed viverra tellus in hac. Massa sapien faucibus et molestie. Vulputate odio ut enim blandit volutpat maecenas volutpat. Mauris rhoncus aenean vel elit scelerisque mauris pellentesque pulvinar pellentesque. Massa sapien faucibus et molestie ac. Orci porta non pulvinar neque laoreet suspendisse interdum consectetur. Mauris commodo quis imperdiet massa. Volutpat consequat mauris nunc congue nisi vitae suscipit. Malesuada fames ac turpis egestas maecenas pharetra convallis. Cursus risus at ultrices mi tempus imperdiet. Non enim praesent elementum facilisis leo vel fringilla est. Felis bibendum ut tristique et. Felis donec et odio pellentesque diam volutpat commodo sed egestas. Ut porttitor leo a diam sollicitudin tempor id eu. Dolor purus non enim praesent. Tortor aliquam nulla facilisi cras. Rhoncus dolor purus non enim. Sed vulputate odio ut enim blandit volutpat maecenas. Consequat semper viverra nam libero justo laoreet. Eget nunc scelerisque viverra mauris. Id cursus metus aliquam eleifend mi in nulla. Mattis molestie a iaculis at erat pellentesque adipiscing. Enim nec dui nunc mattis. Hendrerit gravida rutrum quisque non tellus orci ac. Fermentum iaculis eu non diam phasellus vestibulum lorem sed. Adipiscing diam donec adipiscing tristique risus. Sit amet commodo nulla facilisi nullam vehicula ipsum. Amet consectetur adipiscing elit ut aliquam purus sit. Id diam vel quam elementum pulvinar etiam non quam. Nulla pharetra diam sit amet nisl suscipit adipiscing bibendum. Massa tempor nec feugiat nisl pretium fusce id.
diff --git a/notebooks/search/tokenization.ipynb b/notebooks/search/tokenization.ipynb
@@ -260,16 +260,9 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 37,
+   "execution_count": 42,
    "metadata": {},
    "outputs": [
-    {
-     "name": "stderr",
-     "output_type": "stream",
-     "text": [
-      "Token indices sequence length is longer than the specified maximum sequence length for this model (2901 > 512). Running this sequence through the model will result in indexing errors\n"
-     ]
-    },
     {
      "data": {
       "text/plain": [
@@ -281,7 +274,7 @@
        " '##ra tellus in. non sodales neque sodales ut etiam sit. posuere lorem ipsum dolor sit amet consectetur adipiscing elit duis. ut morbi tincidunt augue interdum velit. imperdiet massa tincidunt nunc pulvinar sapien et ligula. convallis a cras semper auctor. ut ornare lectus sit amet est placerat in egestas. magna ac placerat vestibulum lectus mauris. at urna condimentum mattis pellentesque id nibh tortor id aliquet. faucibus vitae aliquet nec ullamcorper sit amet. a scelerisque purus semper eget duis at tellus at urna. enim neque volutpat ac tincidunt vitae semper. aliquam id diam maecenas ultricies mi eget mauris. tortor consequat id porta nibh venenatis. ante metus dictum at tempor commodo ullamcorper a. tincidunt vitae semper quis lectus nulla at volutpat diam. ut pharetra sit amet aliquam id diam. semper auctor neque vitae tempus quam pellentesque nec. semper eget duis at tellus at urna condimentum. lectus arcu bibendum at varius. arcu non odio euismod lacinia at. [SEP]']"
       ]
      },
-     "execution_count": 37,
+     "execution_count": 42,
      "metadata": {},
      "output_type": "execute_result"
     }