Der KI-Chips-Sektor bewegt sich hin zu einem neuen Leistungskriterium. Bei der Hot Chips-Konferenz haben führende Unternehmen darauf hingewiesen, die Datenverarbeitungsleistung unter strengen Strombegrenzungen zu maximieren. Analysten bemerken, dass "Tokens pro Watt" als entscheidender Massstab hervorgekommen ist und die eingeschränkte Kapazität von Rechenzentren und den steigenden Bedarf an Rechenkapazität widerspiegelt, der den Angebotspuls übersteigt.
AMD skizzierte die Verbesserungen am Transcendental-Engine und stellte einen Tensor-Data-Mover vor, um die Rechenleistung zu steigern, und ging gleichzeitig mit Cerebras eine Partnerschaft bei disaggregierten Inferenzarchitekturen ein. Microsoft präsentierte eine neue Architektur namens Software Defined Local Access Dataflow, die die Verwendung expliziter Softwareorchestrierung nutzt, um durch verbesserte Energieeffizienz die Gesamtbetriebskosten zu senken.
Nvidia stellte einen spekulativen Dekodierungsansatz vor und enthüllte seine NVHBM-Technologie, die eine Verbesserung der Speicherverbindungsgeschwindigkeit um 30 %, einen Abbau des Stromverbrauchs für HBM um 15 % und einen Anstieg der nutzbaren Rechnerfläche um 25 % im Vergleich zu standardmässiger HBM4E bietet. Das Unternehmen betonte ausserdem den Fokus auf die Optimierung der Stromeffizienz angesichts der zunehmenden Energiebedürfnisse von Rechenzentren.
Cerebras verfolgt die abgesplitterte Inferenz durch Partnerschaften mit AMD und AWS, eine Strategie, die der Barclays-Analyst Tom O'Malley als potentiell eine "Stufen verbesserte Leistung" in Token pro Sekunde pro Kilowatt beschrieb. Das Unternehmen untersucht ausserdem gestapelte 3D-DRAM-Konfigurationen in Zusammenarbeit mit Samsung.
OpenAI verfolgt einen anderen Ansatz mit seinem Jalapeño-Chip, indem es die PreFill-, Draft-und Decode-Funktionen auf einem einzigen Chip konsolidiert, anstatt sie auf verschiedene Hardware zu verteilen. Google hingegen sourcet Dual die benutzerdefinierten Chips, indem es MediaTek für eine Zeile und Marvell für eine Inferenzvariante verwendet, während Marvell und Broadcom ihre Expertise in SerDes und die Fähigkeiten ihrer Lieferketten ausnutzen, um ihre Wettbewerbsposition im Modell Chips-on-Tile zu sichern.
