跳到正文
10月29日周四
10月21日周三
  1. Latent Space

    DeepSeek 开源 DeepInfer 推理引擎,公布 155T tokens/day 产量与 $38/卡·小时收入

    DeepSeek 在 PyTorch Conf 开源 DeepInfer,作为 V4.1 Flash 的推理引擎,提供分布式推理、推测解码、SWA Bounded Replay 等功能,并兼容 NVIDIA SM100 和华为 Ascend 950 等平台。

    阅读原文 来源:Latent Space

    推荐理由DeepSeek 在 PyTorch Conf 开源 DeepInfer,这是其 V4.1 Flash 推理引擎的核心组件,提供分布式推理、推测解码、SWA Bounded Replay 等功能,并公布了 155T tokens/day 的产量数据和每卡每小时 $38 的离峰收入。文章通过对比 vLLM 的复现结果,揭示了 DeepInfer 架构细节(如 KV 缓存、专家并行、调度策略)以及其开源与闭源组件的边界,同时引发了业界对推理成本、硬件效率和模型可移植性的深度讨论。

8月25日周二
  1. Mistral AI一手

    Mistral 与 HUMAIN 合作推进中东主权 AI

    Mistral 与 HUMAIN 宣布战略合作,旨在推进中东地区主权 AI。双方将在 AI 基础设施、模型开发及解决方案部署方面合作,重点聚焦网络安全和语音等领域,并开发针对 Arabic 的前沿模型。

    阅读原文 来源:Mistral AI

    推荐理由原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。