AI 日报｜国产大模型迎来新卷王，天工 MoE 全球首用 4090 推理，马斯克计划豪掷 90 亿购买 GPU
文章推荐
AI日报｜斯坦福团队被曝抄袭国内大模型已删库跑路！英伟达打破摩尔定律，机器人时代到来
AI 内容相关视频
我们即将制作 AI 内容相关视频，因此想提前通过五个问题，调研各位小伙伴对内容有哪些期待～感谢您的宝贵意见，期待制作精彩有趣的 AI 内容视频呈现给大家
⭐️问卷调查地址：https://w.wjx.com/vm/OtQXUxV.aspx#
今日热点
昆仑万维开源 2 千亿稀疏大模型天工 MoE，全球首创能用 4090 推理
6 月 3 日，昆仑万维宣布开源 2 千亿稀疏大模型 Skywork-MoE。
Skywork-MoE 基于其之前开源的 Skywork-13B 模型中间 checkpoint 扩展而来，是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE 大模型，
目前各大主流模型评测榜单的结果显示。在相同的激活参数量 20B（推理计算量）下，Skywork-MoE 能力在行业前列，接近 70B 的 Dense 模型，使得模型的推理成本有近 3 倍的下降。
同时 Skywork-MoE 的总参数大小比 DeepSeekV2 的总参数大小要小 1/3，用更小的参数规模做到了相近的能力。
Skywork-MoE 也是首个支持用单台 4090 服务器推理的开源千亿 MoE 大模型。8x4090 服务器一共有 192GB 的 GPU 显存，在 FP8 量化下（weight 占用 146GB），使用非均匀 Tensor Parallel 并行推理方式，Skywork-MoE 可以在合适的 batch size 内达到 2200 tokens/s 的吞吐。
模型权重下载：
https://huggingface.co/Skywork/Skywork-MoE-base
https://huggingface.co/Skywork/Skywork-MoE-Base-FP8
模型技术报告：https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe-tech-report.pdf
模型推理代码：（支持 8x4090 服务器上 8 bit 量化加载推理）
澜舟科技正式开源轻量化大模型孟子 3-8B，助力 AI 爱好者
在今年 3 月底成功开源 Mengzi3-13B 大模型后，澜舟科技再次推出全新轻量化大模型 Mengzi3-8B，并已正式开源，支持免费商用。
Mengzi3-8B 在写作、代码生成、摘要和阅读理解等多个场景中表现优异，模型参数规模更为精简，更适合个人开发者和 AI 爱好者使用。
Mengzi3-8B 适用于多种自然语言处理任务，包括高质量文本生成、智能对话系统，以及提升开发者编码效率的代码生成。
Mengzi3-8B 的核心优势具有以下两点：
具有低显存、高推理速度的优势。半精度下显存占用小于 16G，适用于 PC 和大部分消费级显卡如 RTX 4090、RTX 4080、RTX 4070Ti，特别适合个人开发者和 AI 爱好者；
知识处理效果卓越。中文能力、英语、世界知识（MMLU）、编程及数学等领域的知识处理和问题解决能力，均显著超越同尺寸开源模型。
用户可通过 Huggingface 和 Modecope 平台获取模型和相关信息。
Huggingface：
https://huggingface.co/Langboat/Mengzi3-8B-Base
Modescope：
https://www.modelscope.cn/models/langboat/Mengzi3-8B-Base/summary
微软斥资 32 亿美元在瑞典扩展 AI 和云业务
微软计划投资 32 亿美元，扩展其在瑞典的人工智能（AI）和云业务。
微软此次投资的一个重要目标是在瑞典的数据中心部署 20,000 个最先进的图形处理单元（GPU），这些 GPU 能够加速计算。微软计划使用英伟达更快的处理器，并可能采用 AMD 和自己的芯片。
不久前，微软和亚马逊承诺向法国的云和 AI 基础设施及就业领域共同投资 52 亿欧元（约合 57 亿美元）。这个大手笔的投资行为，也是在欧洲首个 AI 法规出台之后进行的。
埃隆·马斯克称明年将斥资 90 亿美元，为 xAI 购买 30 万台 NVIDIA B200 芯片
当 xAI 在新一轮融资后估值达到 180 亿美元时，马斯克准备将至少 50%的净资产用于购买 NVIDIA 的 GPU。
虽然聊天机器人 Grok 目前是 xAI 的唯一产品，但这家初创公司打算通过加大对 GPU 集群的投资来大幅扩展其与 AI 相关的产品组合。
近期，Elon Musk 在回应一项在线调查时透露，xAI 的“下一大步”可能是到明年夏天，并使用 CX8 网络进行配套。该公司计划购买约 30 万台 NVIDIA 最新的 B200 GPU，并使用 CX8 网络进行配套。
根据 NVIDIA CEO Jensen Huang 的预测，每台 B200 GPU 售价预计在 3 万到 4 万美元之间，这意味着 xAI 将在未来投入约 90 亿美元购置 GPU。
报道称奥特曼已投资 400 多家公司，持股价值至少 28 亿美元
据《华尔街日报》报道，Sam Altman 及其创投基金已投资超过 400 家公司，成为硅谷最活跃的个人投资者之一。截至今年初，他的投资组合总价值至少为 28 亿美元。
Altman 投资了 Reddit、Stripe 等公司，还利用长期合作的个人银行 JPMorgan 的信贷额度，向众多私营初创企业投资了数亿美元。Altman 的多项投资与 OpenAI 有业务往来，引发了公众对其潜在利益冲突的质疑。
例如，Reddit 宣布与 OpenAI 合作后，股票上涨超过 10%，使 Altman 的个人持股收益增加了 6900 万美元。对此，OpenAI 在一篇博客文章中表示，该合作由公司首席运营官领导，并经独立董事会批准。
尽管外界对其投资决策存在疑虑，但 OpenAI 董事会主席 Bret Taylor 强调，Altman 始终遵循政策，透明公开地处理其投资事务。
https://uk.finance.yahoo.com/news/sam-altman-reportedly-invested-more-110450424.html?
版权声明: 本文为 InfoQ 作者【可信AI进展】的原创文章。
原文链接:【http://xie.infoq.cn/article/91aa4106bd7216981d7a162e5】。文章转载请联系作者。
分享SPG，AGL，ACE和LLM在金融领域的进展。 2023-12-25 加入
还未添加个人简介
评论