Jaringan di Era AI: Dari mana permintaan berasal, ke mana inovasi akan bergerak?

Jaringan adalah kunci dari era model AI besar. Di era model besar, kita sudah mulai melihat percepatan iterasi perangkat jaringan seperti modul optik, switch, dll., dengan permintaan yang meledak. Namun, pasar masih kurang memahami mengapa kartu grafis perlu dilengkapi dengan banyak modul optik, serta mengapa komunikasi menjadi titik masalah bagi model besar. Artikel ini akan membahas dari prinsip, mengapa jaringan menjadi "C position" yang baru di era AI, dan mendiskusikan inovasi di sisi jaringan serta peluang investasi di balik perubahan industri terbaru.

Dari mana permintaan jaringan berasal?

Masuk ke era model besar, jarak antara ukuran model dan batas maksimum kartu tunggal dengan cepat semakin lebar, industri beralih untuk mencari kluster server multi untuk menyelesaikan masalah pelatihan model, yang juga membentuk dasar "peningkatan" jaringan di era AI. Sementara itu, dibandingkan dengan masa lalu yang hanya digunakan untuk mentransfer data, kini jaringan lebih banyak digunakan untuk menyinkronkan parameter model antar kartu grafis, yang menuntut kebutuhan yang lebih tinggi terhadap kepadatan dan kapasitas jaringan.

Ukuran model yang semakin besar:

1. Waktu pelatihan = skala data pelatihan x jumlah parameter model / kecepatan komputasi
2. Laju perhitungan = Laju perhitungan per perangkat x Jumlah perangkat x Efisiensi paralel multi-perangkat

Saat ini, dengan pencarian ganda untuk skala data pelatihan dan parameter di industri, satu-satunya cara untuk mempercepat efisiensi komputasi adalah dengan mengurangi waktu pelatihan. Pembaruan laju komputasi perangkat tunggal memiliki siklus dan batasan, sehingga bagaimana memanfaatkan jaringan untuk memperluas "jumlah perangkat" dan "efisiensi paralel" sebesar mungkin secara langsung menentukan daya komputasi.

Komunikasi kompleks dari sinkronisasi multi-kartu: Dalam proses pelatihan model besar, setelah membagi model menjadi satu kartu, setiap kali melalui perhitungan, kartu-kartu tunggal perlu melakukan penyelarasan ( Reduce, Gather, dll ). Selain itu, dalam sistem primitif komunikasi Nvidia NCCL, All-to-All ( di mana semua node dapat saling mendapatkan nilai dan melakukan penyelarasan ) adalah operasi yang cukup umum, sehingga memberikan tuntutan yang lebih tinggi terhadap transmisi dan pertukaran antar jaringan.

Biaya kerusakan yang semakin mahal: Pelatihan model besar seringkali berlangsung lebih dari beberapa bulan, dan jika terjadi gangguan, perlu kembali ke titik pemulihan beberapa jam atau bahkan beberapa hari sebelumnya untuk pelatihan ulang. Satu bagian perangkat keras atau perangkat lunak dalam jaringan yang mengalami kerusakan, atau latensi yang terlalu tinggi, dapat menyebabkan gangguan. Lebih banyak gangguan berarti kemajuan yang terhambat dan biaya yang semakin tinggi. Jaringan AI modern telah berkembang menjadi kristalisasi kemampuan rekayasa sistem manusia yang setara dengan pesawat terbang, kapal induk, dan sebagainya.

Ke mana inovasi jaringan akan pergi?

Perangkat keras bergerak sesuai permintaan, setelah dua tahun, skala investasi kekuatan komputasi global telah membengkak hingga tingkat ratusan miliar dolar, sementara ekspansi parameter model dan pertarungan sengit antara raksasa industri masih berlangsung. Saat ini, "menurunkan biaya", "keterbukaan", dan keseimbangan antara skala kekuatan komputasi akan menjadi isu utama dalam inovasi jaringan.

Perubahan media komunikasi: cahaya, tembaga, dan silikon adalah tiga media utama dalam transmisi manusia. Di era AI, modul cahaya mengejar kecepatan yang lebih tinggi, sekaligus mengambil langkah-langkah menuju pengurangan biaya seperti LPO, LRO, dan silikon cahaya. Pada titik waktu saat ini, kabel tembaga menguasai koneksi di dalam kabinet karena faktor rasio harga terhadap kinerja dan tingkat kerusakan. Sementara itu, teknologi semikonduktor baru seperti Chiplet dan Wafer-scaling sedang mempercepat eksplorasi batas konektivitas berbasis silikon.

Persaingan protokol jaringan: protokol komunikasi antar chip dan ikatan kuat dengan kartu grafis, seperti NV-LINK dari Nvidia, Infinity Fabric dari AMD, dan sebagainya, menentukan batas kemampuan dari satu server atau satu node komputasi, yang merupakan medan perang yang sangat brutal bagi para raksasa. Sedangkan pertarungan antara IB dan Ethernet adalah melodi utama komunikasi antar node.

Perubahan arsitektur jaringan: Saat ini, arsitektur jaringan antar node umumnya menggunakan arsitektur leaf-spine, yang memiliki karakteristik yang nyaman, sederhana, dan stabil. Namun, seiring dengan meningkatnya jumlah node dalam satu cluster, arsitektur leaf-spine yang sedikit berlebihan dapat menyebabkan biaya jaringan yang besar untuk cluster super besar. Saat ini, arsitektur baru seperti arsitektur Dragonfly, arsitektur rail-only, dan lainnya diharapkan menjadi arah evolusi untuk generasi berikutnya dari cluster super besar.

Saran Investasi

Sistem komunikasi inti: Zhongji Xuchuang, Xinyi Sheng, Tianfu Communication, Industrial Fu Lian, Yingweike, Hu Dian Co.

Inovasi Sistem Komunikasi: Yangtze Optical Fiber, Taichung Technology, Yuanjie Technology, Shengke Communication-U, Cambrian, Dekoli.

Peringatan Risiko

1. Permintaan AI tidak sesuai harapan
2. Hukum skala gagal
3. Persaingan industri semakin ketat