获取LLaMA-Factory
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
2、创建虚拟环境
conda create -n llama python=3.11.1
conda activate llama
3.环境配置
pip install -e ".[torch,metrics]"
安装过程中出现了超时错误(ReadTimeoutError),这通常意味着在尝试从 Python 包索引(PyPI)或其他源下载包时,连接超时了。
加上清华镜像源重新执行即可。
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e ".[torch,metrics]"
安装完成后检查是否安装成功,在终端执行:
llamafactory-cli version
结果输出如下:
4.启动Web UI
启用命令:
export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui
这将启动一个本地Web服务器,可以通过访问http://0.0.0.0:7860来使用Web UI。
今天在这个地方卡了很久,直接打开弹出的链接一直处于加载中的空白页面,复制链接在浏览器打开显示无法访问,下面是解决方法。
这部分主要参考:服务器使用llama-factory 无法在本地打开webui问题处理_llamafactory 本地访问-CSDN博客
解决方案:将链接转为公共链接。
llamafactory-cli webui执行之后会出来一行信息:
中间会有启动不正常的情况。
LLaMA-Factory>pip install -r requirements.txt
官方肯定是少了这一步。
执行完就正常了。按官方的走。
分享到:
相关推荐
"llama-factory"是一个数据微调的工具或平台,主要与LoRa(Long Range)技术相关,这是一项低功耗广域网通信技术,常用于物联网(IoT)应用。在给定的文件列表中,我们可以看到以下几个关键文件: 1. **dataset_info....
llamaFactory/data/identity.json 身份数据集测试
llama3微调教程,基于llamafactory
这个“ChatGLM和LLaMA中文指令微调教程.zip”压缩包显然提供了一个详细的教程,旨在帮助用户了解如何对这两个模型进行微调,以便更好地理解和应用它们处理中文文本。下面,我们将深入探讨ChatGLM和LLaMA的基本概念、...
本文将深入探讨一个特别针对中文金融领域的智能问答系统,该系统基于LLaMA系列的大规模预训练模型,并经过精细的微调以适应特定的金融知识需求。下面我们将详细介绍LLaMA模型的训练、微调以及推理过程,同时也会涉及...
基于ChatGLM3基座模型和LLAMA-Factory框架进行微调的一个中医问答机器人.zip
大语言模型通常指的是使用深度学习技术训练的、能够生成和理解自然语言文本的模型。这些模型可以应用于各种任务,如文本生成、机器翻译、文本摘要、情感分析等。在处理这些任务时,通常会使用一个“提示”(prompt)...
本项目基于LLaMA-Factory项目和ChatGLM3-6B基座模型,通过指令微调旨在训练一个专注于中医问诊的聊天机器人。通过整合fastllm项目转化微调模型,同时应用模型量化技术,以提高推理速度,最终模型的推理速度实现了...
项目后端采用FastAPI框架,结合ChatGLM3和LLaMAFactory进行模型训练和微调,支持用户登录注册、历史记录存储、流式对话、自动微调、数据自动抓取和模型自动部署等功能。 ## 项目的主要特性和功能 1. 用户管理支持...