import os output_path = r'./data_erji_utf8' def gbk_to_utf8(path): """ 将GBK编码的文件转换为UTF-8编码 :param path: 文件路径 :return: None """ # 获取文件列表 file_list = os.listdir(path) for file_n…
import re import os import requests import tqdm header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139…
import os from PIL import Image from tqdm import tqdm def check_images(root_dir): broken_files = [] for subdir, dirs, files in os.walk(root_dir): for file in tqdm(files): …
使用LangChain实现大语言模型对话解析PDF
FastAPi操作
Anaconda操作与安装
1.具体思路 LLM分析PDF的话一种是可以通过PDF转文字，让大语言模型进行分析，但是这种方法存在局限性，如果PDF文字内容过多话，就涉及到最大Token的问题，即使是本地部署的大语言模型，也会遇到Token限制，或者是显存溢出问题。 这个时候就可以用到LangChain中的Chroma来构建我们的向量知识库，具体流程如下： PyPDFL…
基础框架 import logging import os import uvicorn from fastapi import FastAPI from starlette.middleware.cors import CORSMiddleware env = os.environ # app = FastAPI(docs_url=None, r…
安装 官网：https://www.anaconda.com/download 点下一步安装安装 基本操作 conda create -n env_name python=xx版本 conda activate env_name pip install --upgrade pip pip config set global.index-url ht…