【代码实践】使用 FastAPI+Supabase+LangChain 开发 AI 应用

import osimport openaiopenai.organization = "org-kjUiGhsu6S3CI2MUch25dMOF"openai.api_key = os.getenv("OPENAI_API_KEY")
openai.ChatCompletion.create(  model="gpt-3.5-turbo",  messages=[        {"role": "system", "content": "You are a helpful assistant."},        {"role": "user", "content": "Who won the world series in 2020?"},        {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},        {"role": "user", "content": "Where was it played?"}    ])

from fastapi import FastAPIapp = FastAPI()
@app.get("/hello")async def hello():    return {"message": "你好"}

# 安装依赖pip install "uvicorn[standard]==0.23.1" "fastapi[all]==0.99.1"
# 运行服务uvicorn main:app --reload

curl http://127.0.0.1:8000/hello

from fastapi import FastAPIimport openai
app = FastAPI()
openai.organization = "org-kjUiGhsu6S3CI2MUch25dMOF"openai.api_key = os.getenv("OPENAI_API_KEY")
@app.get("/openai")async def openai():    return openai.ChatCompletion.create(      model="gpt-3.5-turbo",      messages=[            {"role": "system", "content": "You are a helpful assistant."},            {"role": "user", "content": "Who won the world series in 2020?"},            {"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},            {"role": "user", "content": "Where was it played?"}        ]    )

from fastapi import FastAPI, Requestfrom fastapi.responses import JSONResponsefrom openai import OpenAIError
app = FastAPI()
# 捕获异常，并返回JSON格式的错误信息@app.exception_handler(OpenAIError)async def openai_exception_handler(request: Request, exc: OpenAIError):    return JSONResponse(        status_code=exc.http_status,        content={'code': exc.code, 'message': exc.error},    )

from langchain.document_loaders import WebBaseLoaderloader = WebBaseLoader("https://lilianweng.github.io/posts/2023-06-23-agent/")data = loader.load()

from langchain.text_splitter import RecursiveCharacterTextSplittertext_splitter = RecursiveCharacterTextSplitter(chunk_size = 500, chunk_overlap = 0)all_splits = text_splitter.split_documents(data)

import osfrom supabase.client import Client, create_clientfrom langchain.vectorstores import SupabaseVectorStorefrom langchain.embeddings import OpenAIEmbeddings
supabase_url = os.environ.get("SUPABASE_URL")supabase_key = os.environ.get("SUPABASE_SERVICE_KEY")client: Client = create_client(supabase_url, supabase_key)
vector_store = SupabaseVectorStore.from_documents(    all_splits, OpenAIEmbeddings(), client=client)

-- Enable the pgvector extension to work with embedding vectorscreate extension vector;
-- Create a table to store your documentscreate table documents (    id bigserial primary key,    content text, -- corresponds to Document.pageContent    metadata jsonb, -- corresponds to Document.metadata    embedding vector(1536) -- 1536 works for OpenAI embeddings, change if needed);
CREATE FUNCTION match_documents(query_embedding vector(1536), match_count int)   RETURNS TABLE(       id uuid,       content text,       metadata jsonb,       -- we return matched vectors to enable maximal marginal relevance searches       embedding vector(1536),       similarity float)   LANGUAGE plpgsql   AS $   # variable_conflict use_columnBEGIN   RETURN query   SELECT       id,       content,       metadata,       embedding,       1 -(documents.embedding <=> query_embedding) AS similarity   FROM       documents   ORDER BY       documents.embedding <=> query_embedding   LIMIT match_count;END;$;

query = "How to build llm auto agent"matched_docs = vector_store.similarity_search(query)

messages=[   {"role": "assistant", "content": doc.page_content} for doc in matched_docs]messages.append({"role": "user", "content": query})response = openai.ChatCompletion.create("gpt-3.5-turbo", messages=messages)

content = '\n'.join[doc.page_content for doc in matched_docs]content += f'\n问题：{query}'messages=[   {"role": "user", "content": content }]response = openai.ChatCompletion.create("gpt-3.5-turbo", messages=messages)

docs = '\n'.join[doc.page_content for doc in matched_docs]content = f"'''{docs}'''"content += f'\n问题：{query}'
messages = [    {"role": "system", "content": "我会将文档内容以三引号(''')引起来发送给你，如果你无法从我提供的文档内容中找到答案，请回答：\"我无法找到该问题的答案\"。请使用中文回答问题。"},    {"role": "user", "content": content }]response = openai.ChatCompletion.create("gpt-3.5-turbo", messages=messages)

-- 历史消息表定义create table history_messages (    id bigserial primary key,    session_id text, -- 会话id    role text, -- 会话角色（user or ai）    message text, -- 会话信息    create_at timestamp default(now()) -- 创建时间)

import osfrom supabase.client import Client, create_clientfrom langchain.vectorstores import SupabaseVectorStore
# 初始化客户端url = os.environ.get("SUPABASE_URL")key = os.environ.get("SUPABASE_SERVICE_KEY")client: Client = create_client(url, key)
# 往会话xxxxx插入一条历史消息client.table("history_messages").insert({"session_id": "xxxxx", "role": "user", "message": "你好"}).execute()
# 查询会话id是xxxxx的所有历史消息client.table("history_messages").select("*").eq("session_id", "xxxxx").execute()

-- Enable the pgvector extension to work with embedding vectorscreate extension vector;
-- Create a table to store your documentscreate table documents (    id uuid primary key,    content text, -- corresponds to Document.pageContent    metadata jsonb, -- corresponds to Document.metadata    embedding vector(1536) -- 1536 works for OpenAI embeddings, change if needed);
CREATE FUNCTION match_documents(query_embedding vector(1536), match_count int)   RETURNS TABLE(       id uuid,       content text,       metadata jsonb,       -- we return matched vectors to enable maximal marginal relevance searches       embedding vector(1536),       similarity float)   LANGUAGE plpgsql   AS $   # variable_conflict use_columnBEGIN   RETURN query   SELECT       id,       content,       metadata,       embedding,       1 -(documents.embedding <=> query_embedding) AS similarity   FROM       documents   ORDER BY       documents.embedding <=> query_embedding   LIMIT match_count;END;$;

pip install -r app/requirements.txt

export DOCS_PATH=./docsexport SUPABASE_URL="your-api-url"export SUPABASE_KEY="your-service-role-key"export OPENAI_API_KEY="your-openai-api-key"

uvicorn main:app --reload --host 0.0.0.0

docker build -t memfirecloud-qa:v1 .docker run -p 8000:80 \    -e SUPABASE_URL="your-api-url" \    -e SUPABASE_KEY="your-service-role-key" \    -e OPENAI_API_KEY="your-openai-api-key" \    -v ./docs:/docs \    memfirecloud-qa:v1

uvicorn main:app --reload --host 0.0.0.0

# 本地文档路径export DOCS_PATH=./docs
# memfire cloud 应用的API URL和Service role keyexport SUPABASE_URL="your-api-url"export SUPABASE_KEY="your-service-role-key"
# 使用openai / baidu 的大模型export QA_BACKEND="openai" # 默认值
# openai 相关配置（QA_BACKEND=openai是需要）export OPENAI_ORGANIZATION="your-openai-organization"export OPENAI_API_KEY="your-openai-api-key"export OPENAI_MODEL="gpt-3.5-turbo"  # 默认值
# 百度相关配置（QA_BACKEND=baidu时需要）export BAIDU_API_KEY="your-baidu-api-key"export BAIDU_API_SECRET="your-baidu-api-secret"export BAIDU_MODEL="ERNIE-Bot-turbo" # 默认值