使用 AWS CDK 编排 SageMaker AI 端点自动扩缩容
原文介绍了使用 AWS CDK 构造解决 SageMaker AI 端点配置更新导致自动扩缩容失效的问题。通过三个自定义 CloudFormation 资源,在端点更新前自动注销可扩缩目标,更新配置后再注册并绑定扩缩容策略。
原文介绍了使用 AWS CDK 构造解决 SageMaker AI 端点配置更新导致自动扩缩容失效的问题。通过三个自定义 CloudFormation 资源,在端点更新前自动注销可扩缩目标,更新配置后再注册并绑定扩缩容策略。
OpenAI 利用 Azure Cosmos DB 与多租户架构,将 ChatGPT 读取速度提升 12 倍。该方案通过可靠的全球缓存与多租户支持,成功服务超过 10 亿用户。
Hugging Face 推出 TorchNeuron 后,发布 aws-neuron/torch-neuronx-model-support Space,可查询主流模型在 AWS Trainium 上的兼容性与性能表现。该工具提供模型运行结果、Trainium 核心数、编译耗时及峰值显存数据,支持查询特定模型版本与编译器配置,帮助用户判断模型是否可在 Trainium 上无修改运行。
OpenAI 与波兰 NASK 合作推进 AI 安全、安全与技术研究,旨在加强防护机制并支持更具弹性的数字生态系统。
Anima 将 OpenAI GPT-6 和 GPT-Live 模型整合进诊所系统,帮助护理团队提升患者响应能力,使来电等待时间缩短 75%。
OpenAI 发布 Decisions API,旨在帮助开发者为应用添加快速、聚焦且低成本的决策功能。该 API 支持自定义工具和模型,可用于构建代理和自动化工作流。目前处于有限预览阶段,定价基于使用量。
该研究发布了 ThinkingBox-Training,通过构建基于数据库终态状态的可执行奖励函数,对 Qwen3.8-27B 进行了 50 步的 GRPO 微调。
推荐理由基于可执行数据库状态的奖励函数对 Qwen3.8-27B 进行了 50 步 GRPO 微调,使其在 ThinkingBox-Bench 基准测试中通过全部 20 次尝试的任务数从 38 例提升至 107 例,pass@1 从 51.70% 提升至 60.78%,展示了通过离线策略相对难度筛选训练任务后,模型可重复成功率的显著提升。
文章展示了如何通过在 SageMaker AI 上流式传输 Kokoro-82M TTS 模型,在代理生成完整响应前即开始语音合成,将首个音频字节的延迟从 329.3ms 降至 156.7ms,并在部署运行时实现 2.4-3.5 倍的加速。文章详细介绍了 WebSocket 双向流传输、增量句子切分、基于二进制音频与 JSON 控制帧的传输方式以及基准测试结果。
推荐理由原文展示了如何通过在 SageMaker AI 上流式传输 Kokoro-82M TTS 模型,在代理生成完整响应前即开始语音合成,将首个音频字节的延迟从 329.3ms 降至 156.7ms,并在部署运行时实现 2.4-3.5 倍的加速,读者可直接获取流式 TTS 的实现细节和成本对比。
Amazon Quick是一个HIPAA-eligble的AI工作空间,支持通过知识库和Amazon Quick Sight处理非结构化和结构化PHI。文章阐明了HIPAA eligible与compliant的区别,并提供了涵盖KMS密钥管理、ACL感知知识库、身份模型配置、审计日志和分层安全控制的分步实施指南。
推荐理由文章详细阐述了Amazon Quick在HIPAA合规环境下的部署能力、数据流设计和治理控制,提供了从基础定义到实施步骤的完整指南,帮助读者理解如何在受监管环境中安全使用Agentic AI。
Amazon SageMaker 发布 training session APIs,让用户在本地 Python 进程中驱动 GPU-backed 会话,用于自定义 LLM 训练循环。
推荐理由原文介绍了 SageMaker training session APIs 的编程模型和三大 SDK 客户端,并通过 GRPO 示例展示了自定义训练循环的四步操作,读者可直接获取无服务器 GPU 基础设施下的算法控制与运维分离的具体实现方式。
AWS SageMaker AI 发布了 serverless model customization training sessions 功能,提供了无服务器的多轮强化学习训练能力。
推荐理由原文发布了 SageMaker AI serverless model customization training sessions,提供了无服务器的多轮 RL 训练能力,读者可以了解如何在不管理 GPU 的情况下实现自定义训练循环。
IskayPet 利用 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手,解决跨四国、四语言的 SharePoint 文档检索难题。
Amazon Polly升级其生成式语音引擎,新增14个语音并首次提供印地语和芬兰语支持。升级现已普遍可用,为现有应用提供无缝的drop-in升级,无需代码变更。
Uber 向全员推出 ChatGPT Work,帮助团队研究、分析数据、制作演示文稿并完成复杂工作流。该工具已部署至 30,000 名员工。
Rescale 使用 Strands Agents 和 AI-DLC 框架在 Amazon Bedrock 上构建了一个 AI 诊断代理,该代理可在 Amazon EKS 上自动分类并路由夜间端到端测试失败。
推荐理由原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
原文详细介绍了在 Amazon SageMaker AI 上部署 Kokoro-82M TTS 模型的自动扩缩容配置方法。文章通过两次实际测量(Q_max 和 T_total)替代传统的猜测式配置,Q_max 为单实例在 SLO 约束下可承受的最大并发请求数(测得 50),T_total 为从请求扩容到流量恢复的总耗时(测得 320.2 秒)。
推荐理由原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
Hugging Face 发布 OlmoEarth v1.3,这是一个全球卫星嵌入模型,可将一年卫星时间压缩为每 10 米像素 128 维向量。该模型在 27 项评估中以 128 维嵌入在 20 项任务中得分最高,64 维嵌入在 18 项任务中领先。
推荐理由OlmoEarth v1.3 发布全球卫星嵌入模型并开放预计算嵌入,提供交互式浏览器工具,读者可直接获取跨年份变化分析方法和具体案例。
Microsoft Research 发布 Flint-interactive,这是一个用于创建交互式数据可视化的语言。它允许用户和 AI 代理通过高语义事件和更新算子定义行为,利用编译器自动处理交互逻辑和视觉依赖,从而生成可直接交互的图表,支持链接刷选、跨图交互以及与文本、表格的连动。
NVIDIA 发布 Minerva AIOps 平台,通过统一基础设施和 AI 工作负载的遥测数据,利用专用模型将其转化为可操作的洞察。该平台通过动态知识图谱将 GPU、网络、存储和作业在数十万级规模下逻辑关联,帮助运维快速定位故障根因。
推荐理由原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。
GeForce NOW 本周新增六款游戏,使命召唤:现代战争 4 同步上线并提供 RTX 5080 级性能,Fire TV Stick 现可直接购买会员,FF RESONANCE 与 ESO 更新同步上线,为玩家提供新的云游戏体验和入口。
推荐理由GeForce NOW 本周新增六款游戏,其中 Call of Duty: Modern Warfare 4 同步上线并提供 RTX 5080 级性能,Fire TV Stick 现可直接购买会员,FF RESONANCE 与 ESO 更新同步上线,为玩家提供新的云游戏体验和入口。
IBM 发布 Granite Timeseries Ensemble,提供四种不同架构(PatchTST-FM、Conformer、FlowState、TTM)的预训练模型集成方案,无需训练即可生成点预测和分位数预测。
NVIDIA 与欧洲多国政府及合作伙伴合作,推动开放模型在公共部门的应用。欧洲委员会在 Berlin 扩展 Haystack Enterprise Platform。
NVIDIA 发布 Earth-2 开放模型套件,提供全球天气预测、区域预报和环境研究工具。StormScope EU 模型利用 EUMETSAT 卫星观测预测 16 条 Meteosat 通道的云条演变,每 10 分钟更新一次。
推荐理由NVIDIA 发布 Earth-2 开放模型套件,提供全球天气预测、区域预报和环境研究工具,开发者可自定义模型以应对区域需求。
Shopify 后训练 Nemotron 3.5 Lightning 使 GraphQL 子代理准确率超越顶级前沿模型,服务成本降低 90%,响应速度提升 7 倍。
推荐理由Shopify 通过后训练 Nemotron 3.5 Lightning 实现成本降低 90% 与速度提升 7 倍,Zooplus 与 Photoroom 等欧洲零售商展示了搜索精度与营收提升的实际效果,Mirakl 通过开源模型保持技术主权,L’Oréal 与 Omi 结合数字孪生与 3D 生成加速研发与创意产出,NVIDIA 发布三款零售蓝图助力仿真与运营优化。
NVIDIA 发布 DSX AI Factory 平台,旨在打破电力瓶颈。平台整合了电网与 AI 工厂系统,涵盖从电网模拟到算力优化的全链路能力。
NVIDIA 发布 Cosmos 平台新工具,提供训练、评估和部署世界模型的全套方案。Cosmos Data Factory 新增五大云原生蓝图,涵盖自动驾驶数据生成。
推荐理由NVIDIA 发布 Cosmos 平台新工具,提供训练、评估和部署世界模型的全套方案,包括数据工厂蓝图和模型微调优化能力,可帮助开发者加速物理 AI 的训练和部署。
欧洲金融机构展示了在自有基础设施上使用开放模型构建专有智能体的生产案例。Starling Bank 在英国主权云基础设施上训练了代理模型 Starling Intelligence。
推荐理由欧洲金融机构展示了在自有基础设施上使用开放模型构建专有智能体的生产案例,涵盖了从模型训练到推理的全流程,读者可了解行业落地实践和成本对比。
Cloudflare 利用 OpenAI Daybreak 进行漏洞调查并提出修复方案供审查;开发者使用 OpenAI Codex 构建更快的代码并提升代码质量。
AWS发布Deep Insight,一个将复杂数据分析自动化的多智能体系统。系统通过协调者、规划者、监督者和专业执行者(码农、验证者、报告者、追踪者)层层协作,从CSV数据生成带图表的DOCX报告。
推荐理由原文列出了5大生产挑战及Deep Insight的架构解法,读者可以学到分层协作、模型角色分配和安全沙箱等可迁移的技术要点。
Amazon Quick 通过 AWS PrivateLink 配置 VPC 端点与连接,实现企业内部数据源(如 PostgreSQL、MySQL、SQL Server、Oracle、Confluence、SharePoint、Amazon S3)的私有访问,确保数据不经过公网传输,满足 HIPAA、FedRAMP、PCI-DSS 合规要求,并提供低延迟、可审计的网络架构。
AAIF 框架利用 Strands Agents 架构,通过本地运行的 1B 参数 SLM(llama3.2:1b)作为决策层对请求进行分类,常规任务(如设备遥测、摄像头分析)在本地通过 Ollama 完成,复杂分析则通过 Amazon Bedrock 调用前沿模型完成,实现成本与延迟的平衡。
U.S. Hunger 利用 Amazon Quick 实现跨组织数据直接探索,领导者可在共享定义中查看财务信息并结合家庭报告的情况。CEO Rick Whitted 通过 Quick 的 Spaces 功能让领导团队围绕 KPI 与财务模型协同决策,并计划将数据通过 Redshift 与 Boomi 管道共享,以支持更广泛的研究与公共资源。
文章展示了在 AWS Trainium 上使用 torchtitan 训练 Qwen3-4B-Instruct-2507 的三种配置:第一种使用 Transformers v5 通过 AutoModelForCausalLM 加载 Hub 模型并读写 safetensors。
AT&T 与 OpenAI 合作,LegalEdge 团队重新思考法律知识获取与案件评估流程,旨在通过 AI 让内部法律资源更易访问并规模化。
IBM 发布 Granite Speech 5.0 系列三款模型:新模型 granite-speech-5.0-2b 提供更准确的多语言转录和翻译,支持 2000 词关键词偏置和语言 ID 提示。
推荐理由原文发布了三款更新的语音模型,提供了转录、翻译、说话人归属等新能力和性能数据,读者可以直接对比新旧版本的 WER、RTFx 与时间戳改进。
OpenAI 利用其 LLM 理解对话意图,并将广告与答案分离,以大规模交付相关广告。该系统旨在提升广告的相关性和用户信任,标志着 OpenAI 进入广告业务的技术探索阶段。
OpenAI 将 ChatGPT Ads 扩展至 26 个新国家,平台累计用户已突破 10 万。 advertisers 可在 ChatGPT 中接触正在探索、比较并决定购买的用户。
OpenAI 与 Google Cloud 联手,将 GPT-4o、o1-preview、o1-mini 等前沿模型以及 Codex 工作流引入 Gemini Model Garden,现已通过 Google Cloud Marketplace 提供。
NVIDIA cuDSS 正式发布,通过 GPU 加速大规模稀疏线性系统求解。Applied Materials 将 Ginestra 仿真加速 10 倍,COMSOL 与 ZEISS 在 EUV 等离子体模拟中实现 4 倍速up,Dassault Systèmes 在结构模拟中报告 8-10 倍提升。该库支持 C、C++、Python、Fortran 接口,可从工作站扩展至大规模计算集群。
NVIDIA 发布 Factory Operations Blueprint (FOX),提供路径让开发者构建工厂管理代理,协调机器作业及专用代理(如视觉检测、故障分析、报告生成、车队管理),并可连接 NVIDIA Cosmos 与 Nemotron 等前沿模型。