大模型数据分析平台 LangSmith 介绍

 LangSmith is a platform for building production-grade LLM applications. It allows you to closely monitor and evaluate your application, so you can ship quickly and with confidence. Use of LangChain is not necessary - LangSmith works on its own!

​​LangSmith​​ 是 LangChain 自主研发的 LLM 应用程序开发、监控和测试的平台。

LangChain 是一款使用 LLM 构建的首选开源框架，一个链接面向用户程序和 LLM 之间的一个中间层，允许 AI 开发者将像 ​​GPT-4​​ 、文心一言等大型语言模型与外部的计算和数据源有机结合起来。目前，它提供了 Python 和 JavaScript（确切地说是 TypeScript）的软件包。

三个阶段

LangSmith 平台将大模型生命周期分为三个阶段

• Prototyping

• Beta Testing

• Production

通过 LangSmith 平台,用户可以方便地进行原型开发、测试和生产,涵盖了整个大模型生命周期的环节。

Prototyping

即原型开发阶段，主要关注代码调试、基础测试、playground 和对测试结果比对。

Beta Testing

即测试阶段，主要是指 LLM 大模型产品的适运营阶段，这个阶段说明已经有一部分用户开始参与了大模型产品的公测当中，这个阶段会收到客户的对大模型产品使用的反馈、及通过 LangSmith 收集到的 trace 信息，可以对大模型进行调优，从而更好的优化我们的大模型产品。

Production

即生产阶段，我们会关注监控信息、也会做一些 A/B 测试，同时还可以做一些自动化操作，比如创建对应的规则，对 trace 进行管理：比如发送到对应的数据集当中、或者对模型的在线评估等。

LangSmith Agent

LangSmith Agent 是 LangSmith 平台用于收集 LLM 大模型数据的探针，接入文档地址为：​​https://docs.smith.langchain.com/​​

Dashboard

通过 LangSmith Agent 上报数据后，可以通过平台进行查看、跟踪、分析和监控。

Projects

项目集，列表页可以看到目前有哪些项目，这些项目所耗费 Token、延迟等信息。默认开通帐号后会生成一个名为 ​​default​​的项目。

进入项目，可以看到具体的调用列表，详细记录了时间、延迟、每一次 token 的消耗、调用状态等。

当点击某一个 trace 时，可以看到更为详细的信息，如 trace 的结构，即 AI Agent 内部调用链，以及模型每一步的输入和输出信息，同时还可以进行打标操作。

Monitor

监控，可以监控如 Token 的消耗、模型调用的耗时等信息，同时可以按照不同维度进行监控分析，如项目、大模型的类型等。

Datasets & Testing

数据集（Datasets）& 测试集（Testing），用于归类 Projects 数据，即把一些符合要求的调用链归集到同一个数据集当中

进入数据集，可以看到模型训练的结果

Prompts

Prompts（提示词）在人工智能领域中扮演着重要的角色，是与大模型交互的关键工具，它们使得模型能够更加灵活和有效地应用于各种场景和任务。如通过给定的 Prompts，可以引导大模型生成特定主题或格式的文本;也可以为模型提供上下文信息，帮助它更好地理解任务和生成相关的内容。

Bill

LangSmith 是一款商业产品，使用它需要承担一定的成本。尽管如此，LangSmith 也提供了每个月 5000 次的免费额度给开发者使用。