科技界存在一種假設集中化的敘事:資料移至雲端,運算在那裡進行,結果再傳回。對於雲端基礎設施公司來說,這種敘事很方便。但對於實際建構需要在真實環境中可靠、快速且安全運作的AI系統的公司而言,這種敘事越來越受限。
邊緣運算——將運算能力轉移到更接近資料產生和需要做出決策的地方——並不是新概念。新的是它的迫切性。即時AI需求、隱私法規、網路頻寬限制,以及物聯網和自主系統新興複雜性的結合,正使邊緣運算不再是小眾的架構選擇,而是整個應用類別的核心要求。
我一直透過NexaTech Ventures密切關注這一轉變,因為它代表了自遷移到雲端運算以來,科技基礎設施中最重要的架構轉型之一。
雲端架構的局限之處
雲端運算建立在一個假設之上,這個假設在網際網路的前二十年被證明是正確的:將資料傳輸到中央運算資源比在網路中分散運算更便宜。對於大多數網路應用——搜尋、社交媒體、電子商務——這仍然成立。但對於不斷擴大的應用集合,這個假設正在瓦解。
以自動駕駛車輛為例。自動駕駛汽車根據感測器資料在毫秒內做出安全關鍵決策。將原始感測器資料發送到遠端雲端服務,等待回應,然後接收決策回饋,不僅效率低下;而且根本無法運作。延遲是不可接受的,可靠性要求無法滿足。運算必須在車輛本身即時進行,使用本地處理。
或者考慮醫療保健或金融服務中受隱私法規約束的應用。GDPR和類似法規越來越要求敏感個人資料在特定司法管轄區並在特定安全控制下處理。將醫療資料或金融交易詳情串流到另一個國家的雲端服務,即使是為了合法分析,也會產生合規複雜性,使集中式處理在法律和營運上存在風險。
或者考慮工廠車間的製造。一個從生產設備產生TB級感測器資料的製造設施,無法實際將所有資料串流到雲端服務進行分析。頻寬成本過高,即時流程調整的延遲不可接受,營運彈性風險太高。運算需要在本地進行。
這些不是邊緣案例。這些是新興應用的核心類別。而雲端運算架構從設計上來說,並不適合所有這些應用。
所需的技術轉變
邊緣AI需要與基於雲端的AI不同的技術架構。機器學習模型需要更小、更高效,並針對資源受限的裝置進行最佳化。推論管道需要對間歇性網路連接具有穩健性。安全模型需要適用於分散式系統,而不是集中式資料中心。更新和版本控制機制需要高效且安全地將變更推送到數千或數百萬個邊緣裝置。
這些都是艱難的問題,它們需要與雲端AI開發不同的方法。解決這些問題的公司不是雲端運算公司;它們是建構邊緣最佳化AI基礎設施的新公司。
幾個技術趨勢正在匯聚,使這一轉變成為可能。模型壓縮和量化技術正在快速改進,允許複雜的AI模型在具有部分運算資源的邊緣裝置上執行。專用硬體——TPU、NPU和其他AI加速器——正在邊緣裝置中提供,提供必要的運算能力。邊緣部署的開放標準正在出現,打破對專有平台的鎖定。
在NexaTech Ventures,我們支持邊緣AI基礎設施中三個類別的公司。首先,模型最佳化和部署平台,將大型AI模型壓縮以供邊緣執行。其次,針對低延遲、分散式執行最佳化的邊緣推論引擎。第三,邊緣編排系統,管理分散式邊緣基礎設施上AI工作負載的部署、更新和監控。
歐洲的定位
歐洲在邊緣運算方面的基礎設施優勢微妙但真實。該大陸在電信基礎設施和5G部署上投入巨資,提供了邊緣運算所需的網路容量和低延遲連接。歐洲資料保護法規遠非障礙,而是推動對保持敏感資料本地化的邊緣運算解決方案的需求。
更重要的是,歐洲製造、汽車和工業部門正在推動對邊緣AI的真實需求。德國汽車公司需要邊緣AI用於自動駕駛車輛。義大利製造商需要邊緣運算用於精密製造。荷蘭農業需要邊緣AI用於精準農業系統。這創造了一個良性循環,需求推動邊緣AI基礎設施的投資,吸引人才和資本,提高技術能力,進而推動進一步採用。
美國的邊緣運算敘事目前由試圖將其平台擴展到邊緣的雲端公司主導。AWS、Google Cloud和Azure都在提供邊緣服務。但這些本質上是以雲端為中心的架構,邊緣只是附加的。變革性的邊緣AI架構是由那些從運算發生在邊緣、雲端是例外而非規則這一假設出發的公司建構的。
投資案例
邊緣運算和邊緣AI代表軟體部署和執行方式的結構性轉變。這不是暫時的趨勢或利基市場。這是由雲端運算無法滿足的真實技術要求驅動的基本架構轉型。
投資機會存在於多個層面。在基礎設施層,建構邊緣最佳化AI平台和部署工具的公司正在創造持久的競爭優勢。在應用層,為邊緣執行重新架構其軟體的公司——自動駕駛車輛、工業系統、醫療保健裝置——將獲得難以取代的性能和可靠性優勢。
在NexaTech Ventures,我們尋找既了解技術要求又了解營運挑戰的邊緣AI公司。最好的公司不只是最佳化演算法;它們為邊緣部署建構完整系統,包括監控、安全、更新管理和營運支援。
從集中式雲端到分散式邊緣運算的轉變代表了自遷移到雲端以來科技領域最重要的基礎設施轉型。在這一轉型中及早定位的公司將建立實質且可防禦的業務。
Scott Dylan是NexaTech Ventures的創辦人。他撰寫有關科技基礎設施、AI和深度科技投資的文章。更多資訊請訪問scottdylan.com。
