云基礎(chǔ)設(shè)施初創(chuàng)公司 Together AI Inc. 在最新一輪融資中籌集了 3.05 億美元，估值達(dá)到 33 億美元。

該公司今日宣布完成由 General Catalyst 和 Prosperity7 共同領(lǐng)投的 B 輪融資。超過(guò)十幾家投資方參與其中，包括 Nvidia Corp.、Salesforce Ventures 以及思科系統(tǒng)公司前首席執(zhí)行官 John Chambers。

總部位于舊金山的 Together AI 運(yùn)營(yíng)著一個(gè)針對(duì) AI 模型運(yùn)行優(yōu)化的公有云平臺(tái)。該平臺(tái)使開(kāi)發(fā)者能夠配置具有數(shù)千個(gè)圖形處理器的服務(wù)器集群。Together AI 的數(shù)據(jù)中心配備了多種 Nvidia Corp. GPU，包括芯片制造商最新最強(qiáng)大的處理器 Blackwell B200。

Together AI 在名為 Inference Engine 的軟件系統(tǒng)上運(yùn)行客戶的 AI 模型。據(jù)該公司稱，其推理性能是主要公有云服務(wù)的兩倍以上。該軟件實(shí)現(xiàn)高速度的方式之一是將 FlashAttention-3 算法應(yīng)用于客戶的 AI 模型。

大語(yǔ)言模型在分析用戶輸入時(shí)會(huì)考慮上下文數(shù)據(jù)，如歷史提示。它們使用注意力機(jī)制組件來(lái)實(shí)現(xiàn)這一點(diǎn)。Together AI 使用的性能優(yōu)化算法 FlashAttention-3 通過(guò)重新組織 LLM 注意力機(jī)制執(zhí)行計(jì)算的順序來(lái)工作。此外，該算法還減少了 LLM 在底層 GPU 邏輯電路和 HBM 內(nèi)存之間傳輸?shù)臄?shù)據(jù)量。

Together AI 的 Inference Engine 還實(shí)現(xiàn)了第二個(gè)性能優(yōu)化技術(shù)：推測(cè)解碼。大語(yǔ)言模型通常一次生成一個(gè) token（數(shù)據(jù)單位）的提示響應(yīng)。推測(cè)解碼允許大語(yǔ)言模型同時(shí)生成多個(gè) token 以加快工作流程。

據(jù) Together AI 稱，Inference Engine 使企業(yè)能夠在其平臺(tái)上部署現(xiàn)成和定制模型。

對(duì)于選擇構(gòu)建定制大語(yǔ)言模型的客戶，該云服務(wù)提供商提供了一套名為 Training Stack 的訓(xùn)練工具。與 Inference Engine 一樣，它使用 FlashAttention-3 來(lái)加速處理。Together AI 創(chuàng)建了一個(gè)包含超過(guò) 30 萬(wàn)億個(gè) token 的開(kāi)源數(shù)據(jù)集，以加快客戶的 AI 訓(xùn)練進(jìn)程。

對(duì)于希望在其平臺(tái)上運(yùn)行現(xiàn)成大語(yǔ)言模型的開(kāi)發(fā)者，該公司提供了超過(guò) 200 個(gè)開(kāi)源神經(jīng)網(wǎng)絡(luò)庫(kù)。內(nèi)置的微調(diào)工具使用組織的訓(xùn)練數(shù)據(jù)來(lái)定制這些算法成為可能。Together AI 表示，開(kāi)發(fā)者只需一個(gè)命令就可以啟動(dòng)微調(diào)項(xiàng)目。

Together AI 首席執(zhí)行官 Vipul Ved Prakash 表示："我們?yōu)檫@個(gè) AI 優(yōu)先的世界構(gòu)建了一家云計(jì)算公司——將最先進(jìn)的開(kāi)源模型和高性能基礎(chǔ)設(shè)施與 AI 效率和可擴(kuò)展性的前沿研究相結(jié)合。"

此次融資公告之際，公司年度經(jīng)常性收入已達(dá)到 1 億美元。Together AI 表示，其平臺(tái)被超過(guò) 45 萬(wàn)開(kāi)發(fā)者使用，包括 Salesforce Inc.、DuckDuckGo Inc. 和 Mozilla Foundation 的工程師。

該公司將利用新資金增強(qiáng)其云平臺(tái)。它最近獲得了 20 千兆瓦的發(fā)電能力，以支持新的 AI 集群。其中一個(gè)即將建成的集群將配備 36,000 個(gè) Nvidia Corp. 的 GB200 NVL72 芯片，每個(gè)芯片包含兩個(gè)中央處理器和四個(gè) Blackwell B200 圖形卡。