Martin

东信集团 | 首席架构师

在大模型时代，数据工程成为推动模型能力提升的核心驱动力。本文将围绕“质量、多模态、思维链”三大核心要素，探讨大模型数据工程的体系构建及其在营销领域的应用与未来展望。

01.大模型需要大数据工程

数据质量是大模型能力的基础

高质量的数据是大模型训练成功的关键。传统的数据工程强调数据的数量积累，但随着模型复杂度的增加，数据的质量显得尤为重要。例如，东信营赛洞见大模型在营销内容生成中，通过数据清洗和去噪技术，对海量的用户行为数据和市场反馈信息进行处理，确保数据的准确性和可用性。数据清洗和去噪技术的应用，如敏感信息过滤和去重处理，进一步提升了数据的可用性。

多模态数据驱动模型能力提升

多模态数据集的构建是当前大模型发展的必然趋势。随着技术的进步，单一模态的数据已经难以满足复杂场景下的应用需求，而多模态数据的融合能够为模型提供更全面、更丰富的信息。通过整合文本、图像、音频等多种模态的数据，大模型能够更准确地理解复杂的语义和场景，从而在营销、医疗、教育等多个领域实现更高效的应用。这种多模态协同的方式不仅增强了模型的理解能力，还为复杂场景下的应用提供了更丰富的语义支持，有助于提升模型的泛化能力和适应性。

思维链的引入优化模型逻辑

思维链作为连接输入与输出的桥梁，能够显著提升模型的逻辑推理能力。例如，DeepSeek R1 通过上下文学习和思维链（CoT）推理方法，使模型能够更好地理解复杂问题并生成高质量的回答，不仅提升了模型的决策能力，还为模型在实际场景中的应用提供了更多可能性。

02.大模型数据工程体系解构

大模型数据工程体系是支撑大模型高效运行的核心架构，涵盖了从数据采集、预处理到质量优化、多模态融合以及思维链构建的全流程。

通过整合多源数据，如文本、图像等，并结合先进的数据清洗、标注和增强技术，该体系能够为大模型提供高质量、多样化的训练素材。同时，借助思维链设计和强化学习优化，模型的逻辑推理能力得以显著提升。

这一体系不仅保障了数据的可用性和可靠性，还通过多模态协同和思维链优化，推动大模型在复杂任务中的表现，为各领域应用奠定了坚实基础。

多模态高质量数据集构建

高质量的数据集是大模型发展的基石。当前，多模态数据集的构建需要从数据采集、预处理到标注全流程进行严格管理，例如，东信营赛洞见大模型通过整合多模态数据，构建了覆盖多个营销场景的高质量语料库。

数据集质量评价体系与质量优化

数据质量直接影响模型性能。为此，行业提出了多种质量评价方法，如基于统计分析的数据一致性检测和基于模型反馈的数据有效性验证。同时，通过引入合成数据技术，可以有效扩展原始数据并增强其多样性。

在实际应用中，企业通常会建立多维度的数据质量评估指标，包括数据的完整性、准确性、一致性和时效性等。以数据一致性检测为例，通过统计分析方法可以发现数据中的异常值和缺失值，确保数据的可靠性。此外，合成数据技术在扩展数据规模和增强数据多样性方面发挥了重要作用，能够有效弥补真实数据的不足，提升模型的泛化能力。

数据合成与增强

数据合成是解决数据稀缺问题的重要手段。例如，DeepSeek 利用深度学习模型生成高质量的虚拟数据，从而弥补了真实数据不足的问题。此外，基于知识图谱的数据增强技术也被广泛应用，通过实时挖掘和知识图谱生成，为大模型提供持续更新的数据支持。

深度学习模型如生成对抗网络（GAN）和变分自编码器（VAE）能够生成与真实数据分布相似的合成数据，在保护隐私的同时，为模型训练提供了更多的样本。知识图谱则通过整合领域知识，为数据增强提供了丰富的语义信息。例如，在医疗领域，通过知识图谱可以将疾病、症状、治疗方法等信息关联起来，生成更具代表性的训练数据，提升模型在医疗诊断等复杂场景中的性能。

数据标注

数据标注是数据工程的重要环节，通过人工或自动标注，将数据转换为可供模型学习的格式。例如，东信营赛洞见大模型在营销内容生成中，对大量文本和图像数据进行标注，以提升模型的理解和生成能力。在文本标注方面，常见的标注类型包括命名实体识别、情感分析、语义角色标注等，这些标注信息能够帮助模型更好地理解文本的含义和上下文关系。对于图像数据，标注方式包括目标检测、图像分类、像素级语义分割等，通过精确的标注，模型可以更准确地识别图像中的内容。

03.东信营赛洞见在数据工程的实践

东信营赛洞见大模型通过构建全链路智能决策闭环，在数据工程与知识工程方面取得了显著成就。

<全链路智能决策闭环流程图>

在数据集架构上，采用分层架构整合文本、图像、视频等异构数据，形成覆盖全生命周期的多模态数据体系。数据湖支持大规模数据更新与写入，算法特征工厂利用 Flink 实现实时特征提取与对齐，任务适配层则根据训练场景动态调度数据资源，提升数据利用效率。这种架构与 MarRAG 技术相结合，增强了模型对不同数据类型的适应性。

在智能标注生态方面，融合主动学习与自监督学习技术，构建人机协同标注模式，提高标注效率与质量。系统自动识别高价值样本并结合知识图谱进行语义约束与逻辑验证，确保标注数据的准确性。MarRAG 技术通过整合营销知识库，为标注提供丰富语义信息，使其更契合营销场景需求。

在数据质量治理上，建立覆盖数据全生命周期的动态治理体系，从数据输入端的多维度检测，到特征工程环节的语义与分布评估，再到模型训练阶段的决策追溯与训练集优化，全方位保障数据质量。

04.大模型数据工程的未来

未来，大模型数据工程将在数据合成、思维链与强化学习结合、多模态协同进化等方面取得一系列突破。

基于深度学习的生成式 AI 技术将提升合成数据的质量和多样性，同时，数据要素流通将成为数据合成提升的关键，通过标准化的数据交易市场和开放平台，打破数据孤岛，激发创新应用。

思维链与强化学习的结合将优化模型的逻辑推理能力，实现动态优化，其中，思维链分解复杂问题，强化学习通过奖励信号引导模型学习最优策略。例如，在智能客服领域，这种结合使模型更好地理解用户问题，提供精准解决方案，提升用户体验。

多模态数据融合将推动大模型发展，使其更好地理解复杂场景并生成高质量内容。例如，自动驾驶需处理多种模态信息以准确感知环境。在智能创作领域，模型可根据文本主题生成图像、视频等多媒体内容，精准表达文本含义，多模态协同进化有助于解决单一模态数据的不足，提高模型的鲁棒性和泛化能力。

大模型的发展离不开高质量的数据工程支撑，在数字化营销向认知智能跃迁的进程中，数据工程是大模型落地的“地基工程”。通过构建多模态数据集、优化数据质量以及引入思维链技术，可以显著提升模型的能力。在营销领域，东信营销科技的成功案例表明，高质量的数据工程能够显著提升多模态大模型内容生成质量、提升营销场景的应用效果。

关于东信 /深圳市东信时代信息技术有限公司 /东信时代 /东信营销科技

深圳市东信时代信息技术有限公司/东信营销科技成立于 2004 年，总部位于深圳，员工约 1500 人。作为中国 MarTech 领域的先行者和领导者，拥有大模型、AI 算法、大数据技术相关发明专利 130 多项。以“营赛洞见 ”大模型等 4 大全链路数智产品为底座，行业首创的“品效销云”一体化解决方案服务于 130 多个垂直行业。东信位列“中国互联网综合实力百强企业”第 61 位，广东企业 500 强及粤港澳大湾区高科技高成长 40 强、深圳创新企业 100 强、深圳行业领袖企业 100 强。