langchain 中的 chat models 介绍和使用
简介
之前我们介绍了 LLM 模式，这种模式是就是文本输入，然后文本输出。
chat models 是基于 LLM 模式的更加高级的模式。他的输入和输出是格式化的 chat messages。
一起来看看如何在 langchain 中使用 caht models 吧。
chat models 的使用
首先 langchain 对 chat models 下支持的模型就少很多了。一方面是可能有些语言模型本身是不支持 chat models 的。另外一方面 langchain 也还是在一个发展中的过程，所以有些模型还需要适配。
目前看来 langchain 支持的 chat models 有：ChatAnthropic,AzureChatOpenAI,ChatVertexAI,JinaChat,ChatOpenAI 和 PromptLayerChatOpenAI 这几种。
langchain 把 chat 消息分成了这几种：AIMessage, HumanMessage, SystemMessage 和 ChatMessage。
HumanMessage 就是用户输入的消息，AIMessage 是大语言模型的消息，SystemMessage 是系统的消息。ChatMessage 是一种可以自定义类型的消息。
在使用的时候，只需要在 chat 中传入对应的消息即可：
当然和 LLM 一样，你也可以使用批量模式如下：
chat models 的高级功能
其实和 LLM 类似，基本上 LLM 有的高级功能 chat models 都有。
比如有用的比如缓存功能，可以缓存之前的输入和输出，避免每次都调用 LLM，从而可以减少 token 的开销。
以 InMemoryCache 为例子：
除了 InMemoryCache,langchain 还支持 FullLLMCache,SQLAlchemyCache,SQLiteCache 和 RedisCache 等等。
同样的，chat models 也是支持流模式的：
只需要在构建 ChatOpenAI 的时候，把 StreamingStdOutCallbackHandler 传入 callbacks 即可。
如果要在 chat models 中使用 PromptTemplate，因为 chat models 的消息格式跟 LLM 是不一样的，所以对应的 PromptTemplate 也是不一样的。
和对应的 chat models 消息对应的 PromptTemplate 是 ChatPromptTemplate,SystemMessagePromptTemplate,AIMessagePromptTemplate 和 HumanMessagePromptTemplate。
我们看下是如何使用 prompt template 来构建 prompt:
chat models 下消息构建确实比直接使用 LLM 要复杂点，大家在使用的时候需要注意。
总结
chat models 是 LLM 的高阶表现形式。如果我们需要进行对话模型的话，就可以考虑使用这个。
更多内容请参考 www.flydean.com
最通俗的解读，最深刻的干货，最简洁的教程，众多你不知道的小技巧等你来发现！
欢迎关注我的公众号:「程序那些事」,懂技术，更懂你！
版权声明: 本文为 InfoQ 作者【程序那些事】的原创文章。
原文链接:【http://xie.infoq.cn/article/41dade7153a26408f0f4acc33】。文章转载请联系作者。
关注公众号：程序那些事，更多精彩等着你！ 2020-06-07 加入
最通俗的解读，最深刻的干货，最简洁的教程，众多你不知道的小技巧，尽在公众号：程序那些事！
评论