写点什么

多模态

0 人感兴趣 · 10 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/1a/1a9dd1ed3ad508199776d6ad6aefcde3.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

测试 CLIP zero-shot learning | 深度学习

用户头像
AIWeker
04-22

CLIP是OpenAI在Learning Transferable Visual Models From Natural Language Supervision提出的多模态的预训练模型,CLIP利用文本和图像的配对数据,基于对比学习的方式训练的预训练模型,对于方便迁移到下游任务,如图像分类识别,精细图像分类,OCR,动作识

https://static001.geekbang.org/infoq/22/226f004eed628d11d6292ba07bb3ef54.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

多模态交互在数智化营销服中的技术实践

用户头像
中关村科金
2022-12-29

数字经济从2019年起已连续4年写入政府工作报告,数字经济被看作是与农业经济、工业经济相对应的新的经济形态,数字化转型实际上是从工业经济向数字经济的转变。在如今这样一个充满不确定性的经济环境中,企业竞争的一个关键生产要素就是数据,或早或晚,任何

https://static001.geekbang.org/infoq/85/85537da4989290d504ac358e36921f64.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

一文读懂 Jina 生态的 Dataclass

用户头像
Jina AI
2022-09-21

Jina AI 始终致力于构建简单、易用、全托管的最佳工具,来帮助开发者快速搭建多模态、跨模态应用。而作为工程师,我们一直在努力开发新的功能和 API,以满足用户对多模态数据处理的诸多场景需要。

https://static001.geekbang.org/infoq/c9/c991485181bade2f6d0764ea2f334936.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

多模态算法在视频理解中的应用

用户头像
之家技术
2022-08-22

现阶段视频分类算法,主要聚焦于视频整体的内容理解,给视频整体打上标签,粒度较粗。较少的文章关注时序片段的细粒度理解,同时也从多模态角度分析视频。本文将分享使用多模态网络提高视频理解精度的解决方案,并在youtube-8m 数据集中取得较大提升。

https://static001.geekbang.org/infoq/4e/4e80b5951c9fe6b2b95e7337e4cdc4fb.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

2022 全球 AI 模型周报

用户头像
Zilliz
2022-08-19

本周介绍了 5 个多模态的深度学习模型:CLIP 连接文本与图像、 BLIP 统一图文理解与生成、 LightningDot 加速图文跨模态检索、 Data2Vec 兼容文本与音频、 Perceiver 进一步模拟人类处理不同模态数据。

https://static001.geekbang.org/infoq/8d/8d972a29c868234568cc776cdc7394d2.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

多模态语义检索 | 基于 MetaSpore 快速部署 HuggingFace 预训练模型

用户头像
Geek_a02d1e
2022-06-02

首先,附上 Github 链接LakeSoul:https://github.com/meta-soul/MetaSpore,可搜索公众号元灵数智,在底部菜单了解我们 - 用户交流获取官方技术交流群二维码,进群与业内大佬进行技术交流。

https://static001.geekbang.org/infoq/c0/c07827ec1885c4387475a69c828512f9.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

这些大咖想和你聊聊什么是行业期待的多模态学习

尽管多模态从上个世界70年代诞生至今,经历了几十年的发展,但在当下的工业界多模态的落地依然面临着诸多挑战,以至于一些场景呈现“伪多模态”的应用状态,从而影响了用户体验。所以,如今当学界和业界再次高度聚焦多模态的时候,究竟在讨论什么?

带你读 AI 论文:SDMG-R 结构化提取—无限版式小票场景应用

​​​​​​​​​​摘要:在文档图像中提取关键信息在自动化办公应用中至关重要。传统基于模板匹配或者规则的方法,在通用性方面、未见过版式模板数据方面,效果都不好;为此,本文提出了一种端到端的空间多模态图推理模型(SDMG-R),能有效的从未见过的模

从 5 大挑战带你了解多模态机器学习

​​摘要:多模态机器学习旨在从多种模态建立一种模型,能够处理和关联多种模态的信息。考虑到数据的异构性,MMML(Multimodal Machine Learning)领域带来了许多独特的挑战,总体而言五种:表示、转化、对齐、融合、协同学习。

多模态_多模态技术文章_InfoQ写作社区