写点什么

结合 LangChain 实现网页数据爬取

  • 2025-01-21
    北京
  • 本文字数:1069 字

    阅读完需:约 4 分钟

全面解析软件测试开发:人工智能测试、自动化测试、性能测试、测试左移、测试右移到DevOps如何驱动持续交付

LangChain 非常强大的一点就是封装了非常多强大的工具可以直接使用。降低了使用者的学习成本。比如数据网页爬取

在其官方文档-网页爬取中,也有非常好的示例。

应用场景

实践应用

需求说明

  • 从 ceshiren 网站中获取每个帖子的名称以及其对应的 url 信息。

  • ceshiren 论坛地址:https://ceshiren.com/

实现思路

对应源码

# 定义大模型from langchain_openai import ChatOpenAIllm = ChatOpenAI(temperature=0, model="gpt-3.5-turbo-0613")# 定义提取方法def extract(content: str, schema: dict):    from langchain.chains import create_extraction_chain    return create_extraction_chain(schema=schema, llm=llm).invoke(content)import pprintfrom langchain_text_splitters import RecursiveCharacterTextSplitterdef scrape_with_playwright(urls, schema):    # 加载数据    loader = AsyncChromiumLoader(urls)    docs = loader.load()    # 数据转换    bs_transformer = BeautifulSoupTransformer()    # 提取其中的span标签    docs_transformed = bs_transformer.transform_documents(        docs, tags_to_extract=["span"]    )    # 数据切分    splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(    chunk_size=1000, chunk_overlap=0)    splits = splitter.split_documents(docs_transformed)    # 因为数据量太大,输入第一片数据使用,传入使用的架构    extracted_content = extract(schema=schema, content=splits[0].page_content)    pprint.pprint(extracted_content)    return extracted_contenturls = ["https://ceshiren.com/"]schema = {    "properties": {        "title": {"type": "string"},        "url": {"type": "string"},    },    "required": ["title", "url"],}extracted_content = scrape_with_playwright(urls, schema=schema)
复制代码

总结

  1. 了解网页爬取的实现思路以及相关技术。

  2. 通过 LangChain 实现爬取测试人网页的标题和 url。

推荐学习

人工智能测试开发训练营,为大家提供全方位的人工智能测试知识和技能培训。行业专家授课,实战驱动,并提供人工智能答疑福利。内容包含 ChatGPT 与私有大语言模型的多种应用,人工智能应用开发框架 LangChain,视觉与图像识别自动化测试,人工智能产品质量保障与测试,知识图谱模型驱动测试,深度学习应用,带你一站式掌握人工智能测试开发必备核心技能,快速提升核心竞争力!


用户头像

社区:ceshiren.com 微信:ceshiren2023 2022-08-29 加入

微信公众号:霍格沃兹测试开发 提供性能测试、自动化测试、测试开发等资料、实事更新一线互联网大厂测试岗位内推需求,共享测试行业动态及资讯,更可零距离接触众多业内大佬

评论

发布
暂无评论
结合LangChain实现网页数据爬取_测试_测吧(北京)科技有限公司_InfoQ写作社区