LLaMA-Factory介绍
LLaMA-Factory是一个基于Gradio的可视化界面,可以导入模型训练以及训练模型,对新手十分友好,且可以可视化训练过程。
项目部署
首先git clone LLaMA-Factory仓库
git clone https://github.com/hiyouga/LLaMA-Factory.git
使用conda创建所需要环境
conda create -n llamaFactory python=3.10
# 安装所需依赖
pip install -r requirements.txt
项目启动
由于我使用的wsl2可能和部分读者不一样,推荐使用linux ubuntu
# 启动LLaMA board
python src/train_web.py
以上就是启动页面,注意红框部分
- 选择模型名称
- 选择完模型之后模型路径会默认为Hugging Face模型标识符,我推荐下载到本地
当选择完之后我们就可以直接进行模型的加载
点击chat,选择加载模型,等待模型加载完毕,即可弹出对话框
准备数据集
数据集需要特定的格式
在项目的data文件夹下操作
项目默认的example中存在两个比较重要的文件分别为:dataset_info.json以及examples.json
dataset_info.json
{
"你的数据集名字": {
"file_name": "文件名.json",
"file_sha1": "文件sha1607f94a7f581341e59685aef32f531095232cf23"
},
"alpaca_zh": {
"file_name": "alpaca_data_zh_51k.json",
"file_sha1": "e655af3db557a4197f7b0cf92e1986b08fae6311"
}
}
examples.json
其中instruction,output是必须的,其他的可选
[
{
"instruction": "听起来很不错。人工智能可能在哪些方面面临挑战呢?",
"input": "",
"output": "人工智能面临的挑战包括数据隐私、安全和道德方面的问题,以及影响就业机会的自动化等问题。",
"history": [
["你好,你能帮我解答一个问题吗?", "当然,请问有什么问题?"],
["我想了解人工智能的未来发展方向,你有什么想法吗?", "人工智能在未来的发展方向可能包括更强大的机器学习算法,更先进的自然语言处理技术,以及更加智能的机器人。"]
]
},
{
"instruction": "好的,谢谢你!",
"input": "",
"output": "不客气,有其他需要帮忙的地方可以继续问我。",
"history": [
["你好,能告诉我今天天气怎么样吗?", "当然可以,请问您所在的城市是哪里?"],
["我在纽约。", "纽约今天晴间多云,气温最高约26摄氏度,最低约18摄氏度,记得注意保暖喔。"]
]
}
]
获取文件的sha1
sha1sum example.json
开始训练
当我们准备好数据集之后
选择我们的数据集,点击开始训练,便可以可视化看到我们训练的过程了。