Budućnost podataka: 400g optički modul

 

 

Ratovi forme o kojima niko ne govori iskreno

 

Uđite na bilo koju konferenciju o optičkom umrežavanju i čut ćete QSFP-DD i OSFP debatu uokvirenu kao tehničko poređenje. Nije. To je politička borba obučena u listove sa specifikacijama.

QSFP-DD je pobijedio u borbi za količinu prije isporuke prvog 400G prekidača. Kompatibilnost unatrag sa QSFP28 kavezima znači da svaki mrežni operater može teoretski nadograditi bez kidanja postojeće infrastrukture. To "teoretski" predstavlja težak zadatak-Gledao sam inženjere kako provode čitave vikende pokušavajući natjerati naslijeđeni firmver prekidača da prepozna module dvostruke{6}}module koji su fizički sposobni, ali se električno loše ponašaju.

OSFP je došao iz Aristinog kampa sa jednostavnim potezom: veći modul, bolja termika, dizajnirana za 400G od nule umjesto da se osam traka gura u kavez izgrađen za četiri. Integrisani rashladni element podnosi 15-20 vati bez znojenja. QSFP-DD na 12 vati? Već pomičemo termičke granice u primjenama visoke gustine.

Industrija je ipak izabrala QSFP-DD. Kompatibilnost pobjeđuje. Uvek jeste.

Ali evo šta članci o uporedbi faktora forme nikada ne pominju: razlike u termičkom kapacitetu se dramatično povećavaju na skali. Prekidač sa 32-porta 400G, potpuno popunjen QSFP-DD modulima, troši otprilike 640 vati samo iz optike. To je prije prekidača ASIC-a, upravljačkog plana, ventilatora, napajanja. Govorimo o ukupno 1,5-2 kilovata u šasiji od 1RU. Inženjering protoka zraka potreban da se ti moduli drže ispod granica temperature spoja graniči se s dizajnom u svemiru.

 

PAM4 je sve učinio težim

 

Svi slave PAM4 zbog udvostručavanja spektralne efikasnosti. Niko ne pominje inženjersku noćnu moru koju je stvorio.

NRZ je bio jednostavan. Dva nivoa napona. Signal ili predstavlja jedan ili nulu. Vaš dijagram oka ima jedan otvor. Ako je čist, ti si zlatan.

PAM4 prenosi dva bita po simbolu koristeći četiri nivoa amplitude. Tri naslagana otvora za oči. Svako oko je otprilike jedna-trećina visine ekvivalentnog NRZ oka. Granice buke se smanjuju. Odjednom je svaki milimetar PCB traga bitan. Svaki prolaz stvara refleksiju. Svaki diskontinuitet impedanse između glavnog ASIC-a i kaveza optičkog modula postaje problem pouzdanosti.

Proveo sam šest mjeseci otklanjajući greške u 400G implementaciji gdje su se na određenim portovima pojavile nasumične CRC greške. Osnovni uzrok? Malo izvan{2}}od-konektora na matičnoj ploči stvorio je dovoljno povratnog gubitka da ošteti najniže PAM4 oko. Savršeno dobro za 100G saobraćaj. Katastrofalno za 400G.

Odgovor industrije bio je obavezni FEC. Ne možete pokrenuti 400G PAM4 optiku bez naprijed ispravljanja grešaka-neobrađeni BER jednostavno premašuje upotrebljive pragove. RS(544,514) dodaje otprilike 300 nanosekundi latencije. Nije ogroman. Ali recite to HPC klasteru koji izvodi MPI poslove gdje svaka mikrosekunda kašnjenja repa utječe na vrijeme završetka posla.

 

 

Silicijum fotonika je trebala da nas spasi

 

Visina silikonske fotonike zvuči savršeno na papiru. Iskoristite decenije fantastičnog ulaganja u CMOS. Integrirajte modulatore, fotodetektore i talasovode na jedan čip. Ostvarite ekonomiju obima koju diskretne komponente InP i GaAs nikada nisu mogle. Potrošnja energije pada 20-30%. Troškovi na kraju dostignu paritet, a zatim potkopavaju tradicionalne pristupe.

Intel je isporučio preko tri miliona 100G silikonskih fotonskih primopredajnika. Alibaba je rasporedila 400G DR4 silikonske fotonske module u svojoj mreži u oblaku počevši od 2020. Tehnologija radi.

Ali silicijumska fotonika ima prljavu tajnu: izvori svetlosti još uvek ne mogu biti silicijum.

Potreban vam je eksterni laser-obično matrica od indijum fosfida-bilo vezana za silikonski PIC ili spojena preko vlakana. Ta hibridna integracija dodaje složenost proizvodnje. Pate prinosi. Troškovna prednost koju su svi obećavali stalno izbacuje još jednu generaciju.

Kompanije koje udvostručuju silicijumske fotonike za 400G uključuju neke veoma pametne ljude koji se klade na veoma skupe. Ciscova akvizicija kompanija Luxtera i Acacia iznosila je 3,26 milijardi dolara. To nije novac iz budžeta za istraživanje i razvoj. To je strateško ulaganje u infrastrukturu.

Podaci o tržišnom udjelu govore složeniju priču. Prema LightCountingu, silicijumski fotonski moduli i dalje predstavljaju manje od 10% od ukupnih 400G isporuka uprkos godinama hype. Tradicionalni primopredajnici bazirani na EML-u dominiraju DR4 i FR4 aplikacijama. Tehnološka tranzicija se odvija sporije nego što se navodi u saopštenjima za javnost.

 

Šta specifikacije skrivaju o Reach-u

 

IEEE konvencija o imenovanju za 400G optiku čini se korisnom dok ne pokušate stvarno kupiti module.

400G-SR8: 100 metara preko multimodnog vlakna. Osam paralelnih traka na 850 nm. Dobro za veze unutar{7}}rack-a. Užasno za bilo šta drugo.

400G-DR4: 500 metara preko jednog-modnog vlakna. Četiri paralelne trake na 1310 nm. Radni konj za većinu interkonekcija centara podataka.

400G{{1}FR4: 2 kilometra, single-mod, CWDM talasne dužine multipleksirane na jedan par vlakana. Koristi skupe eksterno modulirane lasere.

400G-LR4: 10 kilometara. Ista šema talasnih dužina kao FR4, ali sa optičkim pojačanjem za proširenje dosega.

Dovoljno jednostavno. Osim što proizvođači stalno igraju brzo i slobodno s ovim oznakama.

Vidio sam "DR4-kompatibilne" module koji su dostigli 500 metara u laboratorijskim uslovima i otkazali na 300 metara sa stvarnim postrojenjem za vlakna koje ima blago povećan gubitak konektora. Specifikacija kaže 500 metara sa budžetom veze od 7dB. Matematika funkcionira savršeno pretpostavljajući netaknute veze posvuda. Stvarnost uključuje prljave konektore, nesavršene spojeve i vlakna koja su prošla malo duži put kroz plafon nego što je naznačeno na crtežima upravljanja kablovima.

Domet FR4 od 2 km zvuči adekvatno dok ne povežete zgrade u kampusu i otkrijete da vaš put vlakana iznosi 2,3 kilometra. Sada su vam potrebni LR4 moduli po tri puta većoj cijeni, ili ćete postati kreativni s pojačanjem, ili prihvatite da ova veza zapravo neće raditi.

 

Odluka DR4 protiv FR4

 

Ovo je zapravo važno za stvarne implementacije i niko to dobro ne objašnjava.

DR4 koristi četiri paralelna vlakna za prijenos i četiri za prijem. Ukupno osam vlakana. MPO-12 konektor sa četiri neiskorištena položaja. Maksimalni doseg 500 metara. Potrošnja energije je obično 8-10 vati. Cijena modula je otprilike 60% od ekvivalentnog FR4.

FR4 koristi multipleksiranje s podjelom talasnih dužina da stavi sve četiri trake na jedan par vlakana. Duplex LC konektor. Maksimalni doseg 2 kilometra. Potrošnja energije je obično 10-12 vati. Premium cijena jer EML laseri nisu jeftini.

Topologija vlakana određuje sve.

Greenfield data centar sa strukturiranim kablovima koji ste odredili? Paralelno vlakno ima smisla. Provedite MPO kablove za prtljažnik između redova. Koristite DR4 svuda. Niži troškovi optike nadoknađuju dodatno vlakno.

Brownfield okruženje sa postojećom fabrikom dupleks vlakana? FR4 ili vučete novi kabel.

Mješovito okruženje s nekim paralelnim pogonima i nekim dupleksnim naslijeđenim postrojenjem? Dobrodošli u noćnu moru kompatibilnosti. Na kraju ćete imati oba tipa modula, različite stilove konektora i barem jedan ormarić u kojem je neko koristio pogrešan patch kabel i proveo četiri sata rješavajući probleme s upozorenjima o "link down".

 

Pitanje proboja

 

400G-DR4 modul sadrži četiri 100G trake. Svaka traka radi nezavisno na optičkom sloju. Ovo omogućava raskid-povezivanje jednog 400G porta komutatora na četiri odvojena 100G uređaja pomoću sklopa vlakana za prekid.

Ekonomija zvuči uvjerljivo. Jedan 400G port. Četiri 100G servera. Nema potrebe za dodatnim portovima prekidača.

Stvarnost je komplikovanija.

Switch ASIC-ovi ne podržavaju uvijek proizvoljne konfiguracije prekida. Neke platforme zahtijevaju poseban firmver. Drugi dozvoljavaju samo probijanje na određenim grupama portova. Nekoliko implementira proboj u hardveru, ali softverski stog ne otkriva opciju konfiguracije.

Još gore: kablovi za lomljenje stvaraju noćne more podrške. Da li je problem u 400G modulu, sklopu za razbijanje ili jednom od četiri 100G porta uređaja? Rješavanje problema zahtijeva zamjenu kablova, testiranje svake noge nezavisno i molitvu da se problem ponovi.

Vidio sam kako se organizacije standardiziraju na izvornom 100G svugdje posebno kako bi se izbjegla složenost proboja. Optika košta skuplje. Gustina portova komutatora trpi. Ali pobjeđuje operativna jednostavnost.

 

 

Realnost potrošnje energije

 

Svaki tehnički list modula 400G navodi potrošnju energije. Brojevi su tehnički tačni i praktično beskorisni.

QSFP-DD DR4 može imati tipično 8,5 vati. To je modul koji se izvlači iz 3.3V šine prekidača u normalnim radnim uslovima. Ne uključuje dodatnu snagu koju prekidač ASIC troši na tih osam 50G PAM4 traka. Ne uzima u obzir nadzemno upravljanje toplotom-snažnije ventilatore, dodatni protok vazduha, možda dodatno hlađenje.

Sa 32 porta po sviču, razlika između modula od 8 vati i 12 vati se povećava na 128 vati. To nije trivijalno kada planirate distribuciju električne energije za cijeli red regala.

Prelazak sa 100G na 400G ne četverostruko povećava potrošnju energije po portu-pomaže u efikasnosti integracije i poboljšanja DSP-a. Ali ukupna snaga po prekidaču se apsolutno povećala. Data centri koji su planirali električnu i rashladnu infrastrukturu oko 100G gustine otkrivaju ograničenja kapaciteta prilikom nadogradnje na 400G pri punoj populaciji.

 

Kompatibilnost nije binarna

 

Prodavci vole da tvrde da je "kompatibilan sa svim glavnim platformama prekidača". Ova izjava je tehnički opravdana i praktično obmanjujuća.

Kompatibilnost optičkog modula ovisi o više od fizičke sposobnosti i električne signalizacije. DOM (Digital Optical Monitoring) protokoli se razlikuju od proizvođača. CMIS (Common Management Interface Specification) implementacije imaju dovoljno fleksibilnosti da dvije "usklađene" implementacije možda neće raditi na čist način. Neki prekidači provjeravaju identifikacijske kodove dobavljača i odbijaju u potpunosti da pale neprepoznate module.

Sivo tržište za "kompatibilnu" 400G optiku eksplodiralo je upravo zato što su brend{1}}moduli koštali 3-5x više od alternativa treće strane. Neke od tih alternativa rade besprijekorno. Drugi uzrokuju suptilne probleme koji se manifestiraju samo pod određenim prometnim obrascima ili nakon tjednima trčanja.

Lično sam testirao 400G DR4 module treće strane-koji su prošli svako pojedinačno mjerenje usaglašenosti u laboratoriji, a zatim su bacili neispravljive FEC greške na 2% saobraćaja pod proizvodnim opterećenjem. Temperatura unutar modula u trajnom-operativnom opsegu je premašila ono što su optičke komponente mogle podnijeti. Modul je radio. Sve dok nije.

 

Šta 800G znači za 400G

 

Prelazak na 800G je već u toku. Hyperscalers danas postavljaju 800G. Ostatak industrije će uslijediti u roku od 18-24 mjeseca.

Ovo ne zastareva 400G-moduli će se isporučivati ​​godinama-ali mijenja ekonomiju.

800G koristi osam 100G traka umjesto 400G osam 50G traka. Ista PAM4 modulacija, veća brzina simbola po traci. Fizika postaje teža. Termalni omotači guraju prema 20-25 vati po modulu. OSFP-ova prednost termičkog prostora postaje relevantnija na ovim nivoima snage.

Što je još važnije, 800G moduli mogu preći na dvostruke 400G konfiguracije. Jedan 800G-2xDR4 modul pruža dvije nezavisne 400G veze. Za okruženja sa mješovitim zahtjevima 400G i 800G, ova mogućnost razbijanja pojednostavljuje upravljanje zalihama.

Operateri centara podataka sa kojima razgovaram uglavnom drže 400G radi povezivanja na leaf-kičmi, dok procjenjuju 800G za interkonekcije GPU klastera gdje je gustina propusnog opsega najvažnija. Radna opterećenja AI obuke sa svim-do-svim komunikacijskim obrascima istinski naglašavaju 400G veze na način na koji tradicionalni sjever-jug saobraćaj nikada nije učinio.

 

Co{0}}Pakovana optika Horizon

 

Svi u industriji znaju da CPO dolazi. Optički primopredajnici integrirani direktno sa prekidačima ASIC-a. Uopšte nema priključnih modula. Potrošnja energije pada sa 15 pikodžula po bitu na možda 5, potencijalno ispod 1 pikodžula kako tehnologija sazrijeva.

NVIDIA je objavila CPO planove za hardver 2025/2026. Meta i Microsoft su demonstrirali prototipove. OIF standardizuje interfejse.

Pitanje nije da li se CPO dešava. Radi li se o tome da li se to događa dovoljno brzo da je važno za vaš trenutni ciklus planiranja.

Moje čitanje: priključna optika dominira barem do 2028. za većinu implementacija. CPO se može pojaviti u prilagođenim verzijama hiperskalera ranije. Operativna fleksibilnost vrućih-zamjenjivih modula-sposobnost zamjene neispravne optike bez isključivanja prekidača-od velike je važnosti za okruženja bez N+1 redundanse svuda.

Planirajte priključne 400G i 800G već danas. Budžet za evaluaciju CPO za tri godine. Ne dozvolite da slajdovi mape puta dobavljača ubrzaju vremenske okvire koje proizvodna stvarnost ne može podržati.

 

Praktični vodič koji zapravo pomaže

 

Za nove verzije: standardizirajte na DR4 s paralelnom infrastrukturom vlakana. Ušteda u odnosu na FR4 spoj preko hiljada modula. Planirajte snagu i hlađenje za 10 vati po modulu čak i ako specifikacije obećavaju 8.

Za nadogradnje: opsesivno pregledajte postojeću fabriku vlakana. Znajte stvarni izmjereni gubitak na svakom segmentu. Otkrijte kršenja ograničenja DR4 na 400 metara prije nego što vaša optika stigne.

Za AI klastere: 800G je već pravi odgovor. Zahtjevi za propusnim opsegom opravdavaju premiju. Nemojte upola-koračiti na 400G ako će vaše opterećenje prerasti to za 18 mjeseci.

Za sve: opsežno testirajte-optiku treće strane prije implementacije volumena. Uštede su realne. Kao i neuspjesi. Potvrdite sa svojim specifičnim platformama prekidača pod realnim opterećenjem prije nego što uplatite inventar.

Tehnologija radi. Dvadeset miliona 400G i 800G modula isporučeno je 2024. s razlogom. Ali prijelaz sa 100G zahtijeva pažnju na detalje koje specifikacije i marketinški materijali jednostavno izostavljaju. Fiziku nije briga za vašu vremensku liniju implementacije.