Abstrak
Apabila kecerdasan buatan (AI) berkembang pesat, rangkaian pusat data tradisional menghadapi cabaran besar apabila membawa trafik AI. Penggunaan lebar jalur yang tinggi dan sebilangan kecil aliran gajah boleh menjadikan pengimbangan beban setiap-konvensional tidak berkesan, mengakibatkan kesesakan dan kehilangan paket yang meningkatkan dengan ketara latihan model AI dan masa penyiapan kerja. Kertas putih ini mengkaji teknologi penghalaan pintar dinamik yang menggabungkan-kesedaran masa sebenar dengan-membuat keputusan pintar. Ia menggunakan-ukuran kualiti laluan, penyegerakan atribut-BGP yang dilanjutkan,-berwajaran dinamik kos berbilang laluan (WCMP),-penyingkiran laluan tidak normal dan
Pengimbangan beban automatik (ALB) peringkat aliran-untuk memperbaik penjadualan trafik dalam persekitaran AI. Reka bentuk ini juga menggunakan virtualisasi untuk menyediakan berbilang-pengasingan penyewa dan menawarkan senario aplikasi dan panduan perancangan untuk rangkaian pusat data AI yang cekap, stabil dan pintar.
Pengenalan: Evolusi Rangkaian dalam AI Era
Mengapa Rangkaian Tradisional Bergelut dengan AI Trafik
Dalam rangkaian pusat data tradisional, sebilangan besar aliran kecil membolehkan setiap-pengimbangan beban aliran untuk mencapai pengedaran yang boleh diterima dan mengelakkan kesesakan walaupun tanpa kesedaran-masa sebenar tentang keadaan rangkaian. Trafik AI sangat berbeza: penggunaan lebar jalur sangat tinggi dan trafik sering dikuasai oleh hanya beberapa aliran gajah. Oleh itu, perlanggaran cincang boleh meletakkan berbilang aliran besar pada laluan yang sama manakala laluan lain masih kurang digunakan. Sebaik sahaja kehilangan paket berlaku, masa penyiapan keseluruhan beban kerja AI mungkin meningkat dengan ketara. Atas sebab ini, industri semakin menumpukan pada algoritma pengimbangan beban-yang dioptimumkan untuk fabrik AI supaya trafik diagihkan dengan lebih sekata merentas berbilang laluan .
Rajah 1. Perbandingan trafik aliran-gajah AI dan trafik aliran kecil-tradisional.
Menggabungkan Kesedaran Dinamik dengan Pembuatan-Pintar
Penghalaan pintar dinamik ialah teknologi pengimbangan-beban{1}}berasaskan kesedaran. Ia menggunakan kualiti laluan yang dikesan oleh suis dalam fabrik untuk melaraskan pemilihan laluan tempatan dan menyokong pengimbangan beban berwajaran secara dinamik. Dibina pada BGP, teknologi ini mentakrifkan atribut komuniti-lanjutan baharu.
Pengukuran ketepatan berbilang-berbilang dimensi,-tinggi digunakan untuk menilai kualiti laluan dan hasilnya disebarkan melalui BGP untuk membimbing pemajuan trafik berikutnya. Ini meningkatkan-pengedaran beban luas rangkaian dan mengurangkan masa tindak balas aplikasi [1].
Rajah 2. Kesedaran dinamik, keputusan dan aliran kerja pelaksanaan.
Teknologi Teras: Penjadualan Trafik Pintar
Pendekatan pengimbangan beban rangkaian arus perdana-termasuk:
- ECMP setiap-aliran: Pendekatan yang paling biasa, berdasarkan lima-cincangan tuple. Ia berfungsi dengan baik apabila terdapat banyak aliran dan mengekalkan susunan paket, tetapi perlanggaran cincang boleh menghasilkan pengimbangan yang lemah apabila kiraan aliran rendah, seperti dalam latihan AI [1].
- Pengimbangan berasaskan aliran-: Bergantung pada konfigurasi yang betul bagi jurang antara-aliran. Konfigurasi yang tepat adalah sukar apabila kependaman peringkat laluan global-tidak diketahui [1].
- Setiap-paket ECMP: Menyediakan keseimbangan teori yang sangat baik tetapi boleh membuat penyusunan semula paket yang meluas pada penerima [1].
Pendekatan penghalaan pintar dinamik yang digunakan oleh suis XingRongyuan CX-N Series RoCE (berasaskan SONiC-) menggabungkan setiap-pengimbangan berasaskan ECMP dan Flowlet-. Ia memperkenalkan WCMP dinamik (Weighted Cost Multipath) dan Flowlet-based ALB (Auto Load Balancing) [1].
Pengukuran Kualiti Laluan
Sistem menilai kualiti laluan rangkaian menggunakan faktor yang sangat mempengaruhi fabrik kelompok AI, termasuk penggunaan lebar jalur, penggunaan baris gilir dan kependaman pemajuan .
Kaunter Perangkaan
Penggunaan lebar jalur dan baris gilir diukur melalui pembilang perkakasan ASIC dengan ketepatan pada tahap seratus-milisaat. ASIC merekodkan port-pemajuan dan baris gilir-kaunter pemajuan dalam masa nyata. Satah kawalan SONiC membaca pembilang melalui antara muka SAI pada ketepatan sub-saat dan menyimpannya dalam Redis. Proses kawalan-penghalaan menilai kualiti antara muka menggunakan pembilang ini dan mengiklankan hasilnya melalui BGP. Untuk mengehadkan-beban pesawat, iklan dihantar pada masa ini-selang tahap kedua, dengan purata wajaran digunakan pada berbilang sampel; sampel yang lebih baru menerima berat yang lebih tinggi.
Dalam-Telemetri Band
Pemajuan-ukuran kelewatan adalah berdasarkan INT (Dalam-Jalur Telemetri Rangkaian) dan boleh mencapai tahap ketepatan-nanosaat. HDC (High Delay Capture) menangkap paket yang mengalami kependaman tinggi di dalam ASIC. Apabila paket melebihi ambang kelewatan-yang ditetapkan pengguna, suis menghantar 150 bait pertama paket asal bersama-sama dengan metadata, termasuk port masuk, port keluar dan kependaman, kepada pengumpul. Dalam reka bentuk ini, CPU bertindak sebagai pengumpul dan penganalisis HDC, mendayakan -pemajuan ketepatan tinggi-ukuran kelewatan dan laluan yang lebih tepat-penilaian kualiti.
Rajah 3. Laluan-penyebaran kualiti dan pemasangan WCMP.
Teknologi ini menggunakan atribut komuniti-BGP lanjutan baharu, Komuniti Lanjutan Lebar Jalur Laluan, untuk menunjukkan kualiti agregat laluan ke destinasi. Bait tertib-tinggi bagi medan jenis-lanjutan ialah 0x00 dan bait tertib-rendah ialah 0x05. Dalam medan nilai, subbidang Pentadbir Global mewakili nombor AS. Kualiti laluan dikodkan dalam empat bait menggunakan format titik terapung-IEEE dan dinyatakan dalam GB/s .
Apabila NIC1 berkomunikasi dengan NIC2, NIC2 terlebih dahulu mengiklankan alamat IPnya kepada Leaf2. Leaf2 mengiklankan alamat kepada Spine bersama-sama dengan-nilai kualiti pautan ke arah NIC2 didarab dengan berat pautan bawah Leaf2. Spine menambah kualiti pautan berwajarannya sendiri dan menghantar nilai terkumpul kepada Leaf1. Leaf1 meringkaskan kualiti laluan dan memasang laluan yang membimbing pemajuan. Dalam dua-Leaf{13}}fabrik tulang belakang, port dikelaskan sebagai pautan atas Daun, pautan bawah Daun dan port Spine, dengan pekali pengiraan boleh dikonfigurasikan untuk setiap kelas.
WCMP dinamik
Pengimbangan beban mengagihkan trafik merentasi berbilang pautan. Dalam persekitaran AI, ini penting untuk membina fabrik Ethernet tanpa kerugian dengan kehilangan paket yang minimum, kependaman dan kemerosotan daya pemprosesan. ECMP ialah mekanisme konvensional dalam pusat data. WCMP memanjangkan ECMP dengan mengedarkan
trafik secara berkadar merentasi pautan. Dalam penghalaan pintar dinamik, pemberat WCMP dilaraskan dalam masa nyata mengikut kualiti laluan. Sebagai contoh, jika dua laluan wujud antara NIC1 dan NIC2, sistem mungkin mengira nisbah 3:7. Apabila trafik berubah, maklumat kualiti laluan-yang dikemas kini disebarkan melalui BGP ke setiap suis Daun, di mana laluan WCMP dinamik dijana untuk membimbing pemajuan.
Penyingkiran Laluan Tidak Normal
Apabila kualiti agregat laluan jatuh di bawah ambang yang dipersetujui, laluan itu dianggap tidak boleh digunakan untuk beban kerja AI dan dialih keluar daripada pemajuan. Laluan yang selebihnya terus membawa trafik melalui WCMP dinamik. Setelah laluan kembali normal, ia dipulihkan. Walaupun ini mungkin menyebabkan beberapa kapasiti tidak digunakan buat sementara waktu, ia menghalang kesesakan yang lebih serius dan kehilangan paket [1].
Imbangan Beban Pintar (ALB)
ALB menyediakan pengagihan beban berasaskan Flowlet-. ASIC mengukur beban dan kependaman pada port yang berbeza dalam masa nyata dan mengarahkan setiap Flowlet ke pautan dengan beban yang lebih rendah atau kelewatan yang lebih rendah. Ini menambah-penjadualan terperinci di atas ECMP tradisional. ALB juga menyokong failover port dan mengagihkan semula trafik secara automatik apabila pautan keluar gagal [1].
Virtualisasi
Rangkaian-depan selalunya memerlukan sokongan-berbilang penyewa supaya sumber GPU yang berbeza boleh diperuntukkan kepada pengguna yang berbeza. Penyelesaiannya menggunakan VRF (Penghalaan Maya dan Pemajuan) untuk mengasingkan penyewa, dengan satu VRF diperuntukkan kepada setiap pengguna. Subnet berkaitan GPU-diletak ke dalam VRF pengguna dan PRE ACL dalam ASIC mengklasifikasikan trafik masuk supaya setiap trafik pengguna dimajukan hanya dalam VRF yang sepadan [1].
Senario Aplikasi
1.Cara WCMP Dinamik Menyerap Lonjakan Trafik
Untuk fabrik dengan port GPU 256 x 400G, seni bina Clos dua peringkat-boleh direka bentuk dengan pautan bawah 1:1-ke-nisbah penumpuan pautan atas untuk mengekalkan daya pemprosesan tinggi, lebar jalur tinggi dan kapasiti simetri. Model produk yang sesuai termasuk XingRongyuan CX864E-N atau CX732Q-N [1]. Di bawah ECMP konvensional, sebilangan kecil aliran gajah AI boleh dicincang ke Tulang Belakang yang sama, menyebabkan kesesakan pautan atas atau kehilangan paket. WCMP dinamik terus melaraskan pengedaran trafik mengikut{15}}kualiti laluan masa sebenar, mengurangkan lonjakan trafik dan mengelakkan kesesakan [1].
2. Aliran-Pengimbangan Beban Tahap
Dalam fabrik GPU 256 x 400G yang sama, tidak setiap peranti atau beban kerja dilayan dengan terbaik oleh WCMP dinamik. Suis boleh memilih ALB berasaskan Flowlet-secara dinamik. ALB mengukur beban dan kependaman pautan dalam kumpulan ECMP dan menghantar Flowlet ke pautan dengan penggunaan atau kelewatan yang lebih rendah. Jika antara muka menjadi terlampau beban atau kelewatan pemajuannya meningkat, ASIC secara automatik mengelakkan keluar itu sehingga keadaan kembali normal [1].
Perancangan dan Reka Bentuk Rangkaian AI
Perkhidmatan AI biasanya merangkumi tiga peringkat: pengumpulan dan prapemprosesan data, latihan model dan inferens AI. Setiap peringkat mengenakan keperluan yang berbeza pada rangkaian.
1.Pengumpulan Data dan Prapemprosesan
Rangkaian pengumpulan data dan prapemprosesan-latihan global mesti menyediakan-skala besar, sumber IP awam dan jalur lebar yang anjal supaya set data mentah yang besar dapat dikumpulkan dengan cekap daripada internet global. Reka bentuk mesti memastikan penghantaran yang selamat dan stabil sambil meningkatkan prestasi pengagregatan data dan prapemprosesan [2].
1.1 Pembahagian VPC
Reka bentuk VPC untuk pengumpulan data-berasaskan awan hendaklah mengikut-keistimewaan, pengasingan berlapis, kawalan keselamatan dan prinsip kebolehskalaan anjal. Sama ada berbilang VPC atau berbilang subnet dalam satu VPC boleh digunakan [2].
- Segmen mengikut peringkat perkhidmatan: Gunakan pengumpulan data, prapemprosesan, penyimpanan, latihan dan inferens dalam subnet atau VPC yang berasingan. Letakkan titik masuk pengumpulan dalam VPC DMZ atau subnet awam; letakkan data prapemprosesan dan sementara dalam VPC pemprosesan khusus; letakkan data mentah dan latihan AI yang sensitif dalam-VPC keselamatan tinggi tanpa akses awam langsung.
- Asingkan mengikut tahap keselamatan: Cipta VPC atau subnet keselamatan yang tinggi-, sederhana- dan rendah-dan gunakan kumpulan keselamatan, ACL rangkaian dan ketersambungan peribadi untuk mengawal trafik subnet-VPC dan silang-rentas.
- Asingkan mengikut penyewa atau projek: Berikan VPC berasingan kepada penyewa atau projek yang berbeza untuk mengasingkan sumber, rangkaian dan data.
1.2 Rangkaian Keluar Pengumpulan Data
Gerbang NAT: Gunakan kumpulan EIP dan SNAT melalui get laluan NAT, membenarkan program pengumpulan mengakses internet daripada alamat IP awam yang dipilih secara rawak.
Proksi -dibina sendiri: Gunakan pelayan proksi yang mengekalkan pemetaan antara proses pengumpulan dan alamat IP awam, dan mengedarkan permintaan pengumpulan tunggal merentas berbilang proksi.
Pembekal perkhidmatan IP: Sambung kepada pembekal perkhidmatan IP melalui rangkaian peribadi awan untuk kos yang lebih rendah, keselamatan terkawal dan kualiti yang stabil [2].
1.3 Pengagregatan dan Prapemprosesan Data-Rentas Wilayah
Pilih rantau OSS mengikut prapemprosesan-pelan kelompok dan cipta data-VPC pengagregatan di rantau yang sama. Buat Penghala Transit (TR) di setiap wilayah, sambungkan VPC tempatan dan sambungkan TR supaya VPC koleksi wilayah boleh mengakses OSS pusat secara terus. Perkhidmatan seperti PAI-iTAG, MaxCompute dan Flink kemudiannya boleh melaksanakan pelabelan dan prapemprosesan data di rantau OSS [2].
2. Rangkaian Latihan Model
Rangkaian latihan-model disepadukan rapat dengan rangkaian pengumpulan dan prapemprosesan untuk membentuk fabrik global yang menghubungkan pusat data awan, nod tepi dan-IDC premis.
Sambungan-kelajuan tinggi menyediakan-kependaman rendah,-pergerakan data throughput tinggi, manakala lebar jalur, dasar keselamatan, kawalan akses dan pemulihan bencana mesti direka bentuk hujung ke hujung [2].
- Dalam-rentas wilayah-kumpulan pengiraan kelompok: Penghala Transit menyambungkan berbilang VPC dalam rantau yang sama. ENI pelayan bersambung ke suis VPC dan boleh dikonfigurasikan untuk daya pemprosesan yang diperlukan dan RDMA.
- Merentasi-kumpulan pengiraan awan: Litar khusus menyambungkan IDC atau awan lain ke VPC-rantau yang sama. Alibaba Cloud VBRs bersambung di Lapisan 3 ke peranti setara, dengan BGP, BFD dan failover pantas untuk penumpuan pantas.
Kumpulan pengiraan global: Pautan-rentas wilayah antara TR diperuntukkan mengikut trafik antara-rantau puncak, dengan QoS antara-rantau pilihan untuk mencipta kumpulan pengiraan bersatu merentas rantau [2].
3. Rangkaian Perkhidmatan-Inferens Global
Rangkaian inferens global memilih model penggunaan mengikut sumber dan perkhidmatan awan yang tersedia di setiap rantau dan menyediakan pengedaran dan akses perkhidmatan yang cekap [2].
- Penetapan Model atau Ejen: Gunakan pengerahan Model Studio MaaS, PAI-EAS atau fungsi Compute PaaS atau pengerahan IaaS pada infrastruktur logam EGS, ACK, ACS atau Lingjun-dalam VPC pelanggan.
- Pengedaran perkhidmatan: Buat inferens-VPC pengedaran dan sambungkan rangkaian peribadi menggunakan VPC Peering, VPC perkhidmatan-awan yang berkaitan atau PrivateLink. Gunakan ALB atau ALB yang dipertingkatkan sebagai titik akses dan permintaan proksi kepada model atau Ejen yang berbeza.
- Akses perkhidmatan: Pengguna internet tempatan boleh mengakses ALB yang dipertingkatkan secara terus; pengguna jauh boleh menggunakan Global Accelerator (GA); pengguna perusahaan Alibaba Cloud dalaman atau luaran boleh berhubung secara peribadi melalui PrivateLink .
Kesimpulan dan Pandangan
Kertas putih ini menerangkan cabaran yang dihadapi oleh rangkaian IDC dalam era AI dan cara penghalaan pintar dinamik boleh menanganinya. Kesedaran dinamik, membuat keputusan pintar-, maya WCMP, ALB dan VRF meningkatkan kecekapan pengimbangan beban-, mengurangkan kesesakan dan kehilangan paket serta mempercepatkan latihan dan inferens AI. Bahagian perancangan menekankan pembahagian VPC, koleksi-reka bentuk keluar,-pengagregatan dan prapemprosesan merentas wilayah, latihan model dan penyampaian inferens global. Memandangkan AI terus berkembang, rangkaian pusat data akan menghadapi keperluan yang lebih ketat. Penghalaan pintar dinamik akan terus dipertingkatkan untuk AI kelebihan, pembelajaran bersekutu dan senario kompleks lain. Rangkaian IDC masa hadapan akan memberikan penekanan yang lebih besar pada-pertumpuan rangkaian pengiraan, kecekapan tenaga dan operasi automatik, mewujudkan asas yang lebih pintar, cekap dan boleh dipercayai untuk ekonomi digital.
Rujukan
Pengguna-menyediakan dokumen sumber teknikal.
Kertas Putih Rangkaian AI Awan Alibaba. Diakses pada 27 Mei 2026.
https://help.aliyun.com/zh/cloud-rangkaian-dengan baik-reka bentuk-reka bentuk/alibaba-awan-ai-rangkaian-putih-kertas