Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Tokenization notebook #173

Merged
merged 9 commits into from
Jan 26, 2024
Merged
Show file tree
Hide file tree
Changes from 4 commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
1 change: 1 addition & 0 deletions notebooks/search/lorem-ipsum.txt
maxjakob marked this conversation as resolved.
Show resolved Hide resolved
Original file line number Diff line number Diff line change
@@ -0,0 +1 @@
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Est pellentesque elit ullamcorper dignissim. Sit amet cursus sit amet dictum sit amet. Enim neque volutpat ac tincidunt vitae semper quis lectus. Nulla facilisi etiam dignissim diam quis enim lobortis. Id velit ut tortor pretium. Ut tortor pretium viverra suspendisse potenti nullam ac tortor. Senectus et netus et malesuada fames ac. Sed faucibus turpis in eu. Maecenas ultricies mi eget mauris pharetra. In iaculis nunc sed augue. Sit amet cursus sit amet dictum. Sit amet luctus venenatis lectus magna. Adipiscing tristique risus nec feugiat. Nisi quis eleifend quam adipiscing vitae proin sagittis nisl rhoncus. Scelerisque varius morbi enim nunc faucibus a. Purus semper eget duis at tellus at. Cursus metus aliquam eleifend mi. Tristique senectus et netus et malesuada fames. Netus et malesuada fames ac. Viverra aliquet eget sit amet tellus cras. Hac habitasse platea dictumst vestibulum rhoncus est pellentesque elit. Molestie ac feugiat sed lectus vestibulum mattis. Etiam erat velit scelerisque in dictum non. Dolor sit amet consectetur adipiscing elit duis tristique sollicitudin nibh. Diam vulputate ut pharetra sit amet aliquam id. Arcu non sodales neque sodales ut etiam sit. Neque vitae tempus quam pellentesque nec nam. Amet porttitor eget dolor morbi non arcu risus quis. Vitae semper quis lectus nulla at volutpat diam ut. Blandit volutpat maecenas volutpat blandit aliquam. Lobortis elementum nibh tellus molestie nunc. Lectus arcu bibendum at varius vel pharetra vel turpis nunc. In hac habitasse platea dictumst. Vitae suscipit tellus mauris a diam maecenas. Mi eget mauris pharetra et. Habitant morbi tristique senectus et netus. Eu lobortis elementum nibh tellus molestie nunc non. Scelerisque varius morbi enim nunc faucibus a. Tincidunt arcu non sodales neque sodales ut etiam sit amet. Tellus integer feugiat scelerisque varius. Magna fermentum iaculis eu non diam phasellus vestibulum lorem. Eget nunc lobortis mattis aliquam faucibus. Dignissim sodales ut eu sem integer vitae justo eget. Urna id volutpat lacus laoreet. Mauris nunc congue nisi vitae suscipit tellus mauris a diam. Scelerisque in dictum non consectetur a erat nam at lectus. Neque sodales ut etiam sit amet nisl. Blandit cursus risus at ultrices. Scelerisque mauris pellentesque pulvinar pellentesque habitant morbi tristique senectus et. Cursus vitae congue mauris rhoncus aenean vel elit scelerisque. Lobortis feugiat vivamus at augue eget arcu dictum. Sagittis orci a scelerisque purus semper eget duis at. Ornare suspendisse sed nisi lacus sed viverra tellus in hac. Massa sapien faucibus et molestie. Vulputate odio ut enim blandit volutpat maecenas volutpat. Mauris rhoncus aenean vel elit scelerisque mauris pellentesque pulvinar pellentesque. Massa sapien faucibus et molestie ac. Orci porta non pulvinar neque laoreet suspendisse interdum consectetur. Mauris commodo quis imperdiet massa. Volutpat consequat mauris nunc congue nisi vitae suscipit. Malesuada fames ac turpis egestas maecenas pharetra convallis. Cursus risus at ultrices mi tempus imperdiet. Non enim praesent elementum facilisis leo vel fringilla est. Felis bibendum ut tristique et. Felis donec et odio pellentesque diam volutpat commodo sed egestas. Ut porttitor leo a diam sollicitudin tempor id eu. Dolor purus non enim praesent. Tortor aliquam nulla facilisi cras. Rhoncus dolor purus non enim. Sed vulputate odio ut enim blandit volutpat maecenas. Consequat semper viverra nam libero justo laoreet. Eget nunc scelerisque viverra mauris. Id cursus metus aliquam eleifend mi in nulla. Mattis molestie a iaculis at erat pellentesque adipiscing. Enim nec dui nunc mattis. Hendrerit gravida rutrum quisque non tellus orci ac. Fermentum iaculis eu non diam phasellus vestibulum lorem sed. Adipiscing diam donec adipiscing tristique risus. Sit amet commodo nulla facilisi nullam vehicula ipsum. Amet consectetur adipiscing elit ut aliquam purus sit. Id diam vel quam elementum pulvinar etiam non quam. Nulla pharetra diam sit amet nisl suscipit adipiscing bibendum. Massa tempor nec feugiat nisl pretium fusce id.
Loading