请问如何在该项目基础上做微调时启用FlashAttention-2的高效注意力？

[RethinkFun]

提交前必须检查以下项目

• 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
• 我已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
• 第三方插件问题：例如llama.cpp、text-generation-webui等，同时建议到对应的项目中查找解决方案

问题类型

其他问题

基础模型

Alpaca-2-7B

操作系统

Linux

详细描述问题

# 请在此处粘贴运行代码（如没有可删除该代码块）

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况

运行日志或截图

# 请在此处粘贴运行日志

[airaria]

flash-attention相关的训练代码还在整理中，可以先参考fastchat中使用flash-attention的代码：
https://github.com/lm-sys/FastChat/blob/main/fastchat/train/llama_flash_attn_monkey_patch.py

[RethinkFun]

flash-attention相关的训练代码还在整理中，可以先参考fastchat中使用flash-attention的代码： https://github.com/lm-sys/FastChat/blob/main/fastchat/train/llama_flash_attn_monkey_patch.py

感谢回复

[github-actions]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.