Transformer
0 人感兴趣 · 14 次引用
- 最新
- 推荐
ChatGPT 最好的替代品
前两天我们邀请了微软工程师为我们揭秘 ChatGPT，直播期间有个读者问到：有了 ChatGPT，BERT 未来还有发展前途吗？我想起来最近读过的一篇博客“最好的 ChatGPT 替代品”。
Transformer：让 ChatGPT 站在肩膀上的巨人？
编者按：ChatGPT以近乎狂热之势席卷了全网。在沉浸于“ChatGPT潮”的同时，让我们也来深入了解一下它和基石技术 - 大模型 Transformer吧。
人工智能自然语言处理之 Transformer 阐述
输入单词首先编码成词向量a（Input Embedding），然后直接和该单词在语句中的位置编码向量b（Positional Encoding）相加得到c。 c向量输入到一个Muti-Head Attention + Add & Norm + Feed Forward + Add & Norm的Block中得到向量d，d再输入到Nx Block中。
2022 全球 AI 模型周报
本周介绍了 5 个多模态的深度学习模型：CLIP 连接文本与图像、 BLIP 统一图文理解与生成、 LightningDot 加速图文跨模态检索、 Data2Vec 兼容文本与音频、 Perceiver 进一步模拟人类处理不同模态数据。
阿里云机器学习平台 PAI 与华东师范大学论文入选 SIGIR 2022
论文主导通过引入稀疏自注意力的方式来提高Transformer模型处理长序列的效率和性能
CVPR2022 | 上科大 x 小红书首次提出动作序列验证任务，可应用于体育赛事打分等多场景
在CVPR2022上，上海科技大学和小红书多模态算法团队共同提出了一项新颖的动作序列验证任务，此方法能够用于娱乐/体育领域的自动打分，并有助于更精准地为用户推荐相关笔记。
CVPR2022 ｜小红书首创多图交互建模挑战热门研究课题，大幅提升行人重识别性能
在CVPR2022上，小红书多模态算法组提出一种新颖的用于行人重识别的网络NFormer，对多张输入图像进行交互式建模以获得更好的特征表达。
espnet 中的 transformer 和 LSTM 语言模型对比实验
本文以aishell为例，通过对比实验为大家介绍transformer和LSTM语言模型。
带你读 AI 论文丨用于细粒度分类的 Transformer 结构—TransFG
摘要：本文解读了《TransFG: A Transformer Architecture forFine-grained Recognition》，该论文针对细粒度分类任务，提出了对应的TransFG。
带你读 AI 论文：基于 Transformer 的直线段检测
摘要：本文提出了一种基于Transformer的端到端的线段检测模型。采用多尺度的Encoder/Decoder算法，可以得到比较准确的线端点坐标。作者直接用预测的线段端点和Ground truth的端点的距离作为目标函数，可以更好的对线段端点坐标进行回归。
This post is all you need（①多头注意力机制原理）
各位朋友大家好，欢迎来到月来客栈。今天要和大家介绍的一篇论文是谷歌2017年所发表的一篇论文，名字叫做”Attention is all you need“[1]。当然，网上已经有了大量的关于这篇论文的解析，不过好菜不怕晚笔者只是在这里谈谈自己对于它的理解以及运用。对于这
AI 论文解读：基于 Transformer 的多目标跟踪方法 TrackFormer
摘要：多目标跟踪这个具有挑战性的任务需要同时完成跟踪目标的初始化、定位并构建时空上的跟踪轨迹。本文将这个任务构建为一个帧到帧的集合预测问题，并提出了一个基于transformer的端到端的多目标跟踪方法TrackFormer。
