Der Bereich der Chips für künstliche Intelligenz befindet sich auf dem Weg zu energieeffizienten Architekturen, da die Verringerung des Stromverbrauchs und der Platz in Rechenzentren die Prioritäten neu definieren, so die Diskussionen auf der Konferenz Hot Chips.
Die Führungskräfte der Branche betonen die Kennzahl "Tokens pro Watt" als eine kritische Leistungskennzahl inmitten der explosionsartigen Nachfrage nach AI-Inferenzaufgaben und des geringen Angebots an Rechenkapazität. Der Barclays-Analyst Tom O'Malley stellte fest, dass die gesamte Systemleistung – gemessen auf Rack-Niveau – jetzt im Mittelpunkt steht, und Unternehmen optimieren Ihre Energieeffizienz und Speichereffizienz.
Nvidia präsentierte sein NVHBM-Speicherinterface und behauptete, dass es bei der Bandbreite bis zu eine 30% Verbesserung gibt, im Vergleich zu HBM4E eine 15% Reduzierung des Stromverbrauchs und eine 25% Erhöhung der nutzbaren Rechenfläche. Das Unternehmen diskutierte auch einen spekulativen Dekodierungsansatz, um die Inferenzeffizienz zu steigern.
AMD erläuterte Verbesserungen am Transcendental-Engine und stellte einen Tensor Data Mover vor, um die Rechenleistung zu verbessern und gleichzeitig den Stromverbrauch zu reduzieren. Das Unternehmen arbeitet zusammen mit Cerebras an disaggregierten Inferenzlösungen, die nach Angaben von O'Malley möglicherweise eine Verbesserung um eine Grössenordnung bei Tokens pro Sekunde pro Kilowatt bringen.
Microsoft führte die Software Defined Local Access Dataflow-Architektur ein, die darauf abzielt, die Gesamtbetriebskosten durch softwaregesteuerte Energieoptimierung zu senken. OpenAI nahm dagegen einen kontrastierenden Ansatz mit seinem Jalapeño-Chip ein, indem es die Funktionen zur Vorhinzufügung, Erstellung von Entwürfen und Dekodierung auf einer einzigen Chipdichte konsolidierte, anstatt sie auf verschiedene Hardware-Komponenten zu verteilen.
Google diversifiziert seine Chip-Zulieferkette und setzt bei einer Produktlinie auf MediaTek und bei einer Inferenzvariante auf Marvell. Broadcom und Marvell wurden aufgrund ihrer SerDes-Expertise und ihrer Lieferkettenfähigkeiten erwähnt, während Samsung trotz thermischen und leistungsbezogener Herausforderungen 3D-Stacked DRAM-Konfigurationen in der Frühstadiumentwicklung untersucht.
