近日，谷歌DeepMind科学家Jacob Austint在X上， 发布了基于JAX和TPU的大模型Scaling教科书《How to Sacle Your Model》。 进入教科书网站，可以看到大写的标题：「如何扩大模型规模（ How ...

本文约6,000字，建议收藏阅读 作者 | 北湾南巷出品 | 芯片技术与工艺DeepSeek 是近年来在人工智能（AI）领域崭露头角的大模型之一，专注于自然语言处理（NLP）与生成式 AI（AIGC）。其核心目标是优化 AI ...

DeepSeek-V3 官方报告解读https://arxiv.org/abs/2412.194371. 论文背景：为什么要开发 DeepSeek-V3？近年来，大型语言模型（LLM）发展迅速，不仅闭源模型（如 ...

并行执行：并行查询、并行DML的使用，以及并行度（Degree of Parallelism）的配置。 RAC（Real Application Clusters）：RAC的基本概念、安装和配置，以及集群件（Clusterware）的管理。 Data Guard：Data Guard的配置和管理，包括物理和逻辑备用数据库的使用。 备份与恢复策略 ...

与社区共同打造大模型极致推理性能，充分释放昇腾算力 vLLM Ascend即将在昇腾平台支持vLLM多个高阶特性，如请求调度算法chunked prefill，大模型分布式并行策略 Tensor Parallelism (TP)、Pipeline Parallelism (PP)，投机解码speculative decoding等，开源社区最新加速能力平滑 ...

2025年2月20日，经过vLLM社区与昇腾的持续合作和共同努力，vLLM开源社区已官方支持昇腾，并创建vLLMAscend这一社区维护的官方项目。这意味着用户可直接在昇腾上无缝运行vLLM，开发者可通过vLLM调用昇腾进行模型适配。

thereby fully exploiting the spatial parallelism of AI Engines. The proposed method demonstrated a 226-fold throughput increase in simulation-based evaluation, outperforming a naive approach. These ...

目前，主要的并行计算策略包括： a) 数据并行 (Data Parallelism)：将训练数据拆分成多个批次或子集，分配到多个设备上执行局部计算。各设备独立计算梯度后，通过梯度同步或聚合机制实现全局参数更新。 b) 模型并行 (Model Parallelism)：将模型按照参数或模块划分 ...

批处理和并行性（Batch Processing & Parallelism） 由于 ECS 可以按组件类型进行批处理，系统可以一次性操作大量相同类型的组件。这种批量操作更容易并行化，特别是在多核 CPU 上，系统可以同时处理不同的组件数据集，极大提高了性能。 例子：当你需要更新游戏中 ...