Le HBM sono di fatto esaurite per il 2026 — e la memoria è oggi il principale fattore di costo nell'inferenza AI. La High Bandwidth Flash (HBF) è la scommessa del settore per cambiare le cose.
L'HBF prende la NAND flash — economica e densa — e la ricostruisce con lo stacking e il packaging tipici delle HBM, così da poter stare sul package della GPU e alimentare direttamente l'acceleratore.
I numeri chiave (proiezioni):

~1,6 TB/s di banda in lettura per stack — vicino al range delle HBM
Fino a 512GB per stack, contro i circa 48–64GB di uno stack HBM4 — ~10 volte i dati a un costo per GB inferiore
SanDisk e SK hynix stanno standardizzando l'HBF nell'ambito dell'Open Compute Project, e Samsung starebbe esplorando la stessa direzione

Perché funziona: i dati dell'inferenza si dividono in due compiti. I pesi del modello e le cache dei contesti lunghi vengono letti in continuazione ma riscritti raramente — un abbinamento perfetto per la flash, i cui punti deboli (resistenza alla scrittura e latenza) contano poco in quel ruolo. I dati che cambiano a ogni token restano nelle HBM. SK hynix chiama questa divisione H³: HBF e HBM non sono rivali — una contiene i dati che si muovono, l'altra i dati che restano fermi.

I primi risultati sono incoraggianti, ma arrivano da simulazioni dei vendor, non da silicio in produzione. Il modello H³ di SK hynix (HBM + HBF su una Blackwell B200) ha mostrato fino a 2,69x di throughput per watt rispetto a un sistema solo HBM, e 6,14x token al secondo con contesti da 10 milioni di token. Il meccanismo del "più economico" non sono componenti scontati: è più lavoro utile estratto da ogni GPU.
Tempistiche: primi campioni nel secondo semestre 2026, primi sistemi di inferenza in campionatura a inizio 2027.

La nostra analisi: la storia più profonda è che la memoria per l'AI si sta frammentando in livelli — HBM4 per la velocità, HBF e CXL per la capacità, PIM per il movimento dei dati, moduli LPDDR per la memoria di massa efficiente — e vinceranno i sistemi che sapranno combinarli bene, non una singola tecnologia.

buysellram.com/blog/high-bandw…

Un mini PC grande quanto un libro tascabile è oggi in grado di eseguire localmente un modello da 200 miliardi di parametri. Ma la scelta non dipende solo dal prezzo. La capacità della memoria determina quali modelli possono essere caricati, la larghezza di banda influisce sulla velocità di esecuzione e lo stack software — CUDA, ROCm o Metal — stabilisce se gli strumenti che utilizi funzioneranno davvero. Ecco un confronto tra le quattro principali opzioni disponibili nel 2026, con prezzi e benchmark aggiornati.

buysellram.com/blog/how-to-cho…

#AIlocale #LLM #MiniPC #HardwareAI #StrixHalo #DGXSpark #AppleSilicon #EdgeAI #InfrastrutturaAI #Ollama #RyzenAI #AIPC #AMD #NVIDIA #Apple

La Corea del Sud ha appena annunciato **550 miliardi di dollari** di nuovi investimenti negli impianti di produzione di memoria da parte di Samsung e SK Hynix, all'interno di un piano di investimenti aziendali molto più ampio da **3.100 miliardi di dollari**. La maggior parte della nuova capacità produttiva sarà dedicata a **DRAM per server** e **HBM**, piuttosto che alla memoria tradizionale utilizzata nei normali PC e server.

Secondo le previsioni del settore, un reale miglioramento dell'offerta difficilmente arriverà prima della fine del **2027**, mentre alcuni analisti iniziano già a segnalare un possibile rischio di eccesso di offerta negli anni successivi.

Scopri tutti i dettagli:
buysellram.com/blog/will-samsu…

#DRAM #Semiconduttori #MemoryShortage #SKHynix #Samsung #Micron #HBM #SupplyChain #DataCenter #ITAD #CXMT #AIInfrastructure

As AI clusters become larger and GPUs become faster, networking and optical communication are becoming just as important as the compute hardware itself. Copper connections consume too much power and suffer from signal loss at very high speeds, so the industry is gradually moving toward optical interconnects. TrendForce forecasts the combined CPO/NPO market could grow from roughly $100 million in 2025 to over $39 billion by 2030, illustrating how strategic this technology is expected to become.

AI isn't just becoming a compute problem anymore—it's becoming a networking problem. Faster GPUs don't help much if data can't move between them efficiently, so it's not surprising to see optical interconnects becoming a strategic technology for future AI data centers.

trendforce.com/presscenter/new…

#AI #AIInfrastructure #DataCenter #GPU #OpticalNetworking #SiliconPhotonics #CPO #HighSpeedNetworking #HPC #Semiconductors #TechNews #FutureOfAI

Running AI in production? A lot of the bill is memory. Every token a model generates is served from fast memory next to the GPU — and that memory, HBM, is scarce and expensive.
High Bandwidth Flash (HBF) is built to attack that cost: much of HBM's bandwidth at a fraction of the price per GB. A new explainer covers what HBF is, how it could lower inference costs, and how close it actually is.

How HBF could make AI inference cheaper

#HBF #HighBandwidthFlash #AIinference #HBM #AImemory #GPU #DataCenter #Semiconductors #NAND #SKhynix #SanDisk #MemoryWall

A mini PC the size of a paperback can now run a 200-billion-parameter model locally. But choosing one isn't about the lowest price tag. Capacity sets what fits, bandwidth sets how fast it runs, and the software stack — CUDA, ROCm, or Metal — decides whether your tools work at all. Here's how the four real options compare in 2026, with current prices and benchmarks.
buysellram.com/blog/how-to-cho…

#LocalAI #LLM #MiniPC #AIhardware #StrixHalo #DGXSpark #AppleSilicon #EdgeAI #AIinfrastructure #Ollama #RyzenAI #AIPC #AMD #NVIDIA #Apple

AMD's newest acquisition isn't a chip maker. It's MEXT, whose software makes NAND flash look like DRAM to the operating system, so a server runs on far less expensive memory. An AI engine predicts which data is about to be needed and moves it into DRAM before the app asks. With DRAM prices up sharply in 2026, here's the logic behind the deal, and why a 50x cost gap won't land in your budget intact.

buysellram.com/blog/amd-mext-f…

#AMD #MEXT #DRAM #NANDFlash #MemoryTiering #AIInfrastructure #DataCenter #ServerHardware #SSD #ITAD #Semiconductors #HBM

Nvidia’s latest pricing shift highlights how quickly GPU economics are tightening across the AI hardware stack. A $300 wholesale increase on the RTX 5090, effective May 13, is being absorbed by board partners such as ASUS, MSI, and Gigabyte. While the official MSRP remains listed at $1,999, real-world availability tells a different story, with most retail configurations now exceeding $4,000.

This divergence is not incidental. The RTX 5090’s heavy reliance on 32GB of GDDR7 memory has pushed memory costs to more than 80% of the card’s total bill of materials. At the same time, AI data center demand is consuming wafer capacity at scale, tightening supply across the entire memory ecosystem. Nvidia’s decision to reduce RTX 50 series production by up to 40% and cancel the RTX 50 Super line further constrains future supply, effectively extending the next major refresh cycle toward 2028.

For enterprise infrastructure teams, this creates a dual pressure scenario: rising acquisition costs and increasing scarcity of high-end compute. In many sustained workload environments, on-prem GPU deployments can still outperform cloud pricing on total cost of ownership, but the margin advantage is narrowing as hardware markets reprice in real time. As a result, secondary GPU assets are appreciating significantly, making timing a critical factor in both procurement and divestment strategies.

In this environment, asset recovery strategies become materially more important. Organizations evaluating surplus or underutilized hardware can capture stronger resale value while the market remains elevated. Sell GPU

Reference: buysellram.com/blog/why-rtx-50…

NVIDIA ha appena consegnato a mano il primo processore Vera CPU di produzione ad Anthropic, OpenAI, SpaceXAI e Oracle Cloud Infrastructure — di persona, con un cacciavite. L’immagine è insolita.

Ma il segnale sottostante è ancora più interessante. Per quattro anni, i data center AI sono stati costruiti attorno all’addestramento: rack pieni di GPU dedicate alle moltiplicazioni di matrici. La CPU era un direttore d’orchestra silenzioso.

Ora l’equilibrio sta cambiando. L’inferenza è sulla buona strada per consumare due terzi della potenza di calcolo AI nel 2026. Gartner prevede che entro la fine dell’anno il 40% delle applicazioni enterprise integrerà agenti AI specializzati. E i carichi di lavoro agentici mettono sotto pressione la CPU in modi che il training non faceva: chiamate sequenziali agli strumenti, gestione dello stato su contesti lunghi, coerenza GPU, logica di orchestrazione.

Vera è la risposta di NVIDIA. AMD ha MI300A. Anche Intel e l’ecosistema Arm per server cloud stanno reagendo. La CPU è tornata nel percorso critico.

buysellram.com/blog/behind-nvi…
How AI Agents Are Reshaping Data Center CPUs

#NVIDIA #VeraCPU #AIagents #DataCenter #AIinfrastructure #AgenticAI #EnterpriseAI #ServerCPU