写点什么

结合 LangChain 实现网页数据爬取

作者:测试人
  • 2024-07-18
    北京
  • 本文字数:854 字

    阅读完需:约 3 分钟

LangChain 非常强大的一点就是封装了非常多强大的工具可以直接使用。降低了使用者的学习成本。比如数据网页爬取

在其官方文档-网页爬取中,也有非常好的示例。

应用场景

  • 信息爬取。

  • RAG 信息检索。

实践应用

需求说明

  • 从 ceshiren 论坛网站中获取每个帖子的名称以及其对应的 url 信息。

实现思路



对应源码

# 定义大模型from langchain_openai import ChatOpenAIllm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-0613")
# 定义提取方法def extract(content: str, schema: dict): from langchain.chains import create_extraction_chain return create_extraction_chain(schema=schema, llm=llm).invoke(content)
import pprintfrom langchain_text_splitters import RecursiveCharacterTextSplitterdef scrape_with_playwright(urls, schema): # 加载数据 loader = AsyncChromiumLoader(urls) docs = loader.load() # 数据转换 bs_transformer = BeautifulSoupTransformer() # 提取其中的span标签 docs_transformed = bs_transformer.transform_documents( docs, tags_to_extract=["span"] ) # 数据切分 splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder( chunk_size=1000, chunk_overlap=0) splits = splitter.split_documents(docs_transformed) # 因为数据量太大,输入第一片数据使用,传入使用的架构 extracted_content = extract(schema=schema, content=splits[0].page_content) pprint.pprint(extracted_content) return extracted_content
urls = ["https://ceshiren.com/"]schema = { "properties": { "title": {"type": "string"}, "url": {"type": "string"}, }, "required": ["title", "url"],}extracted_content = scrape_with_playwright(urls, schema=schema)
复制代码

总结

  1. 了解网页爬取的实现思路以及相关技术。

  2. 通过 LangChain 实现爬取测试人网页的标题和 url。

软件测试开发免费视频教程分享


发布于: 17 分钟前阅读数: 8
用户头像

测试人

关注

专注于软件测试开发 2022-08-29 加入

霍格沃兹测试开发学社,测试人社区:https://ceshiren.com/t/topic/22284

评论

发布
暂无评论
结合LangChain实现网页数据爬取_软件测试_测试人_InfoQ写作社区