使用LLaMA-Factory训练ChatGLM3B
Quark自动化检测脚本
实用脚本-编码转换
LaTeX 语法
实用脚本-百度图片爬取
LLaMA-Factory介绍 LLaMA-Factory是一个基于Gradio的可视化界面，可以导入模型训练以及训练模型，对新手十分友好，且可以可视化训练过程。 项目部署 首先git clone LLaMA-Factory仓库 git clone https://github.com/hiyouga/LLaMA-Factory.git 使用con…
需要OKLink的APIKEY自行申请 将脚本放置于挖Quark的目录 import time import os import requests wallet_address = '生成的钱包地址' ok_access_key = 'OKLink的APIKEY' proxy = { 'http': 'http://192.168.0.69:789…
import os output_path = r'./data_erji_utf8' def gbk_to_utf8(path): """ 将GBK编码的文件转换为UTF-8编码 :param path: 文件路径 :return: None """ # 获取文件列表 file_list = os.listdir(path) for file_n…
文档结构 \documentclass{}: 定义文档类型。如 \documentclass[12pt]{article} 表示创建一个12点字体的文章。 \usepackage{}: 导入宏包。如 \usepackage{graphicx} 导入用于处理图像的宏包。 \begin{document} 和 \end{document}: 文档内容的…
import re import os import requests import tqdm header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139…
N100 WindowsServer2022 固件安装 网卡驱动
实用脚本–批量检测图片完整性
前言 购买了一个N100的小主机，准备打算来做软路由的，可是如果软路由的话就受限于openvrt，想做All IN ONE的话又怕很多东西不适配，最终选择Windows Server 2022的系统 + Hyper-V 虚拟化，但是在安装的过程中遇到了许多坑，特地分享一下。 系统安装 采用的镜像是NEXT TELL YOU的，这里就不多说了，大家可…
import os from PIL import Image from tqdm import tqdm def check_images(root_dir): broken_files = [] for subdir, dirs, files in os.walk(root_dir): for file in tqdm(files): …
一分钟快速获取交易对数据（Binance）
在早期我们还需要不断地拼凑最大limits来获取交易数据 但是币安已经提供了下载链接，理论上我们只需要清洗一下数据就ok了，现在获取数据已经不用那么麻烦了,一分钟获取了一年的，效率还是很高的 import os import zipfile import pandas as pd import requests BASE_DIR = os.path…
使用LangChain实现大语言模型对话解析PDF
Linux常用操作
1.具体思路 LLM分析PDF的话一种是可以通过PDF转文字，让大语言模型进行分析，但是这种方法存在局限性，如果PDF文字内容过多话，就涉及到最大Token的问题，即使是本地部署的大语言模型，也会遇到Token限制，或者是显存溢出问题。 这个时候就可以用到LangChain中的Chroma来构建我们的向量知识库，具体流程如下： PyPDFL…
Linux 命令参考手册（Markdown格式） 目录操作 markdownCopy code - `rm -rf mydir`：删除名为'mydir'的目录。 - `cd mydir`：进入名为'mydir'的目录。 - `cd -`：回到上一级目录。 - `cd ..`：回到父目录。 - `cd ~`：回到根目录。 - `mv tools to…