import re import os import requests import tqdm header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139…
import os from PIL import Image from tqdm import tqdm def check_images(root_dir): broken_files = [] for subdir, dirs, files in os.walk(root_dir): for file in tqdm(files): …
一分钟快速获取交易对数据（Binance）
在早期我们还需要不断地拼凑最大limits来获取交易数据 但是币安已经提供了下载链接，理论上我们只需要清洗一下数据就ok了，现在获取数据已经不用那么麻烦了,一分钟获取了一年的，效率还是很高的 import os import zipfile import pandas as pd import requests BASE_DIR = os.path…
使用LangChain实现大语言模型对话解析PDF
FastAPi操作
Anaconda操作与安装
1.具体思路 LLM分析PDF的话一种是可以通过PDF转文字，让大语言模型进行分析，但是这种方法存在局限性，如果PDF文字内容过多话，就涉及到最大Token的问题，即使是本地部署的大语言模型，也会遇到Token限制，或者是显存溢出问题。 这个时候就可以用到LangChain中的Chroma来构建我们的向量知识库，具体流程如下： PyPDFL…
基础框架 import logging import os import uvicorn from fastapi import FastAPI from starlette.middleware.cors import CORSMiddleware env = os.environ # app = FastAPI(docs_url=None, r…
安装 官网：https://www.anaconda.com/download 点下一步安装安装 基本操作 conda create -n env_name python=xx版本 conda activate env_name pip install --upgrade pip pip config set global.index-url ht…