DeepSeek首次公布模型推理系統優化細節 估成本利潤率達545％

文章指出，假定GPU租賃成本為每小時2美元，每天的總成本為近8.71萬美元，如果所有tokens全部按照DeepSeek R1的定價計算，理論上一天的總收入為約56.2萬美元，成本利潤率545％。

文章表示，DeepSeek-V3／R1推理系統的最佳化目標是更大的吞吐，更低的延遲；為實現這兩個目標，其方案是使用大規模跨節點專家並行（EP），但方案亦增加系統複雜性。文章的主要內容就是關於如何使用EP增長批量大小(batch size)、隱藏傳輸耗時、以及進行負載平衡。