Baihai IDP
0 人感兴趣 · 14 次引用
- 最新
- 推荐
LLM 分布式训练六大关键技术介绍
编者按: 本文聚焦于分布式去中心化神经网络训练技术,作者系统阐述了在大规模模型训练中提高硬件使用效率的创新方法。
从 Llama 1 到 3.1:Llama 模型架构演进详解
编者按: 面对 Llama 模型家族的持续更新,您是否想要了解它们之间的关键区别和实际性能表现?本文将探讨 Llama 系列模型的架构演变,梳理了 Llama 模型从 1.0 到 3.1 的完整演进历程,深入剖析了每个版本的技术创新,还通过实际实验对比了 Llama 2 和 Llama
AI 像人一样操控电脑:多模态 AI Agents 和屏幕交互新范式
编者按: 未来我们与计算机的交互方式将发生怎样的变革?当 AI 能像人类一样自如地操控电脑和手机,我们的工作方式会有什么改变?
Llama 3.2 Vision & Molmo:多模态开源生态系统基础
编者按: 视觉功能的融入对模型能力和推理方式的影响如何?当我们需要一个既能看懂图像、又能生成文本的 AI 助手时,是否只能依赖于 GPT-4V 这样的闭源解决方案?
怎样在 10k 个 H100 GPU 上训练模型?
编者按: 怎样在 10,000 个 H100 GPU 上训练大模型?如何充分利用每一块 GPU 的算力?如何在这个复杂的 GPU 网络中高效传递数据?当不可避免的硬件故障发生时,又该如何快速恢复训练进度?我们今天为大家带来的文章中,作者为我们揭示了应对这些挑战的关键策
RAG vs 长上下文 LLMs:谁主沉浮?
编者按:随着大语言模型(LLMs)的上下文窗口不断扩大,您是否开始思考:我们还需要花费大量时间和资源来构建复杂的检索增强生成(RAG)系统吗?
对 AI 产品定价模式的新思考:基于人数 or 工作量?
编者按:传统的基于用户数量的定价模式是否还适用于AI产品?我们今天为大家带来的这篇文章中,作者提出:AI 产品应该采用基于工作量的定价模式,而非传统的基于用户数量的定价方式。
快速理解 GraphRAG:构建更可靠、更智能的 Chatbot
编者按:传统的检索增强生成(RAG)技术在处理需要深入理解实体关系的问题时常常力不从心,那么有什么新的技术可以突破这一限制吗?
化“腐朽”为“神奇”:5 种 RAG 优化技术应对千奇百怪的 Query
编者按:您是否曾经遇到这样的情况:明明构建了一个功能强大的 RAG 系统,但用户却频繁抱怨“找不到想要的信息”或“返回的结果不够准确”?这是许多 RAG 应用开发者面临的共同挑战。
从工程师视角看 “Multi-Agent as a Service (MAaaS)”
编者按:目前 AI Agents 在各行各业的应用前景广阔,越来越多的企业开始尝试部署 AI Agents ,然而如何在企业生产环境中有效部署和管理 AI Agents,是工程师们面临的一大挑战。你是否曾面临这样的困惑:如何确保 AI Agents 在生产环境中稳定可靠地运行?如何
理性看待、正确理解 AI 中的 Scaling “laws”
编者按:LLMs 规模和性能的不断提升,让人们不禁产生疑问:这种趋势是否能一直持续下去?我们是否能通过不断扩大模型规模最终实现通用人工智能(AGI)?回答这些问题对于理解 AI 的未来发展轨迹至关重要。
相同的 LLM 在「不同 GPU 上」会产生不同输出?为什么?
编者按: 在大语言模型(LLMs)的部署及其相关的算力扩容过程中,更换 GPU 是否也可能会对模型的输出产生重大影响?这个问题的答案对于确保 LLMs 在不同硬件环境下的一致性和可靠性至关重要。
Mistral AI vs. Meta:两大 Top 开源模型的对比
编者按: 随着大模型的不断升级和参数量的持续扩大,越来越多人开始重视大模型存在的硬件资源要求高、碳排放量较大等问题。如何在保持模型性能的同时,降低计算成本和资源消耗,成为了业界一个迫切需要解决的问题。
微调语言模型前,需要考虑这三个关键方面
编者按:随着大语言模型(LLM)的迅速发展,越来越多团队希望针对特定领域进行模型微调。但是实践运用中总是存在一些困难,直接应用并不总是能达到理想效果。