近期 LLM 相關整理

[toonnyy8]

• 2023 LifeArchitect.ai data (shared), LLM Worksheet, AlpacaEval Leaderboard, MosaicML LLM Evaluation Scores & Open LLM Leaderboard, Chatbot Arena Leaderboard 內整理了近期主流的 LLM 效能評比與預訓練/微調資料集。

• LLM-Perf Leaderboard 依據 Open LLM Score 與模型的記憶體需求、吞吐量等數據進行綜合性排名。

• MTEB Leaderboard 比較了多個不同的 Sentence Encoder 的效能。

• LLaVA & LLaMA-Adapter 使用預訓練的開源 LLM 與 vision encoder 模仿 GPT-4 具備的多模態對話能力。

• MeZO 只需使用 forward 便能訓練模型，可應用在難以執行 backward 的 LLM。

• GPT4All Open-source assistant-style large language models that run locally on your CPU.

• LangChain Building applications with LLMs through composability

• prompt 相關技術整理 https://www.promptingguide.ai/

• Direct Preference Optimization 提出了比使用 RL 更加穩定快速的方式學習人類偏好的輸出。

• QLoRA 使用 4-bit quantized pretrained LLM + LoRA，大幅減少記憶體需求量並達到了跟 16-bit finetuning 相當的效能。

• Copy is All You Need 提出從給定的 text database 中抽取文本片段組合生成的 CoG，可以在不 finetune 的前提下透過更換 database 來變更生成的主題、風格與背景知識。

• 
  [2303.18223] A Survey of Large Language Models (arxiv.org) — Page 6

• 01.AI 開源了 Yi 系列模型，Yi-34 在 Open LLM Leaderboard 中取得了目前最好的表現（紀錄於 2023/11/18）

• MemGPT 藉由模仿 OS 管理記憶體的方法作到無限長的對話紀錄

  • 由於要讓 LLM 正確使用 API 與外部函數溝通，目前只有 GPT-4 能正確執行
  • 或許能透過 guidance 或 outlines 這類工具讓其他效能較差的模型也能正確使用 API

• 讓 LLM 高效運作的方法整理 https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey

• Mixtral AI 發佈新模型 Mixtral 8x7b: replicate, (huggingface)[https://huggingface.co/mistralai/Mixtral-8x7B-v0.1]

• fblgit 發布了由神秘的新方法 Uniform Neural Alignment (UNA) 微調的新模型 cybertron 與 xaberius，並在 Open LLM Leaderboard 取得了優異的成績。

• QuIP: 將 LLM 量化到 2bit 的方法

• Mamba: fast inference (5× higher throughput than Transformers) and linear scaling in sequence length, and its performance improves on real data up to million-length sequences.

• PowerInfer 混和 GPU 與 CPU 的快速推理框架

• AppAgent: Multimodal Agents as Smartphone Users: 使用 LLM 操控智慧型手機 APP 的研究

• 
  
  Retrieval-Augmented Generation for Large Language Models: A Survey

• Introducing ASPIRE for selective prediction in LLMs: 使用兩階段訓練 LLM 對生成的回應做可性度評估來減少幻覺。 by. Google

• Self-Rewarding Language Models: 在使用 DPO 微調微調 LLM 的期間也使用 LLM 自身來產出 reward，研究結果發現提出的方法讓 Llama 2 70B 的性能到達能與 GPT-4 競爭的水平。by. Meta

• unsloth Finetune Mistral, Llama 2-5x faster with 50% less memory!

  • https://huggingface.co/blog/unsloth-trl

資料集

排行榜

量化 & 壓縮

推理/應用框架

模型

其他

持續更新

[toonnyy8]

資料集

• TMMLU+: 繁體中文的語言模型新基準資料集
  https://blog.infuseai.io/tmmluplus-dataset-brief-introduction-ecfd00297838
• MathPile

[toonnyy8]

排行榜

• 2023 LifeArchitect.ai data (shared), LLM Worksheet, AlpacaEval Leaderboard, MosaicML LLM Evaluation Scores & Open LLM Leaderboard, Chatbot Arena Leaderboard 內整理了近期主流的 LLM 效能評比與預訓練/微調資料集。
• LLM-Perf Leaderboard 依據 Open LLM Score 與模型的記憶體需求、吞吐量等數據進行綜合性排名。
• MTEB Leaderboard 比較了多個不同的 Sentence Encoder 的效能。
• RULER 比較各種模型實際有效的上下文長度。

AI Coders Leaderboard

• inficoder-eval
• evalplus-leaderboard
• bigcode-models-leaderboard
• [Papers with Code] code-generation-on-humaneval SOTA

評估

• PromptBench: A Unified Library for Evaluation of Large Language Models

[toonnyy8]

量化 & 壓縮

• QLoRA 使用 4-bit quantized pretrained LLM + LoRA，大幅減少記憶體需求量並達到了跟 16-bit finetuning 相當的效能。
• QuIP: 將 LLM 量化到 2bit 的方法

[toonnyy8]

推理/應用框架

• Awesome-LLM-Inference
• llama.cpp Inference of LLaMA model in pure C/C++
• text-generation-inference huggingface 的 LLM 推理框架，快速高效，支持 huggingface API
• vLLM 高效 LLM 推理框架，支持 OpenAI API
• tricksy
  Fast approximate inference on a single GPU with sparsity aware offloading
  • ~15x faster than naive offloading
  • ~7x faster than partial dense offloading with same GPU memory usage
  • 58% of model size in GPU memory
• PowerInfer 混和 GPU 與 CPU 的快速推理框架
• GPT4All Open-source assistant-style large language models that run locally on your CPU.
• LangChain Building applications with LLMs through composability
• mixtral-offloading 讓 Mixtral-MoE 在消費集顯卡上高效推理的框架
  附註：根據 mixtral-offloading 的技術報告顯示 QMoE 的效果在 Mixtral-MoE 上表現並不好，因此不推薦使用 QMoE 作為新 MoE 模型的量化方法。附上 llama.cpp 的討論
• 使用模板、狀態機或正規表達式等方法更有效的控制 LLM 的生成結果
  • guidance
  • outlines
• Semantic Kernel
• detect-pretrain-code-contamination
  • LLM 在訓練過程中有可能使用到測試基準的訓練資料導致污染，為了避免研究受到影響，可以使用污染檢測工具先確定 LLM 是否有被污染。

[toonnyy8]

模型

• TinyLlama-1.1B-Chat-v1.0
• 01.AI 開源了 Yi 系列模型，Yi-34 在 Open LLM Leaderboard 中取得了目前最好的表現（紀錄於 2023/11/18）
  釋出了採用 LLaVA 建構的視覺語言模型 Yi-VL-6B/34B
• btlm-3b-8k
• Mixtral AI 發佈新模型 Mixtral 8x7b: replicate, (huggingface)[https://huggingface.co/mistralai/Mixtral-8x7B-v0.1]
• fblgit 發布了由神秘的新方法 Uniform Neural Alignment (UNA) 微調的新模型 cybertron 與 xaberius，並在 Open LLM Leaderboard 取得了優異的成績。

[toonnyy8]

其他

Survey

• [2303.18223] A Survey of Large Language Models (arxiv.org)
• Retrieval-Augmented Generation for Large Language Models: A Survey
• Large Language Models: A Survey

加速

• Accelerating Large Language Model Decoding with Speculative Sampling
• Blockwise Parallel Decoding for Deep Autoregressive Models
• Fast Inference from Transformers via Speculative Decoding
• https://x.com/karpathy/status/1697318534555336961?s=20

NLG 中的浮水印

• Excuse me, sir? Your language model is leaking (information)

幻覺研究

• Introducing ASPIRE for selective prediction in LLMs: 使用兩階段訓練 LLM 對生成的回應做可性度評估來減少幻覺。 by. Google
• Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training

將指定知識從模型中移除

• Who's Harry Potter? Approximate Unlearning in LLMs

外推/長文本技術

• CLEX: Continuous Length Extrapolation for Large Language Models
• With Greater Text Comes Greater Necessity: Inference-Time Training Helps Long Text Generation
  • 在推理時訓練 LoRA 將長文本直接編碼進模型裡面，這樣就可以避免輸入過長而消耗太多的資源