banner large

Google, Nvidia membagi nilai tertinggi dalam benchmark pelatihan MLPerf AI

Comment
X
Share
d1097b1f-1af9-49a6-98b7-9a32308f9f1c

Direktur MLCommons David Kanter menegaskan bahwa peningkatan pada arsitektur perangkat keras dan perangkat lunak pembelajaran mendalam telah menghasilkan peningkatan kinerja pada AI yang sepuluh kali lipat dari peningkatan penskalaan chip tradisional saja.

MLCommons

Google dan Nvidia membagi skor teratas untuk tes benchmark dua kali setahun dari pelatihan program kecerdasan buatan, menurut data yang dirilis Rabu oleh MLCommons, konsorsium industri yang mengawasi tes populer kinerja pembelajaran mesin, MLPerf.

Putaran versi 2.0 dari hasil pelatihan MLPerf menunjukkan Google mengambil skor teratas dalam hal jumlah waktu terendah untuk melatih jaringan saraf pada empat tugas untuk sistem yang tersedia secara komersial: pengenalan gambar, deteksi objek, satu tes untuk gambar kecil dan satu untuk gambar besar, dan model pemrosesan bahasa alami BERT.

Nvidia meraih penghargaan tertinggi untuk empat dari delapan tes lainnya, untuk sistemnya yang tersedia secara komersial: segmentasi gambar, pengenalan suara, sistem rekomendasi, dan menyelesaikan tugas pembelajaran penguatan bermain Go pada set data “mini Go”.

Juga: Uji benchmark kinerja AI, MLPerf, terus mendapatkan pengikut

Kedua perusahaan memiliki skor tinggi untuk beberapa tes benchmark, namun, Google tidak melaporkan hasil untuk sistem yang tersedia secara komersial untuk empat tes lainnya, hanya untuk empat yang dimenangkannya. Nvidia melaporkan hasil untuk semua delapan tes.

Tes benchmark melaporkan berapa menit yang diperlukan untuk menyetel “bobot” atau parameter saraf, hingga program komputer mencapai akurasi minimum yang diperlukan pada tugas tertentu, sebuah proses yang disebut sebagai “pelatihan” jaringan saraf.

Di semua vendor, waktu pelatihan menunjukkan peningkatan yang signifikan berkat tenaga kuda yang lebih besar dan pendekatan perangkat lunak yang lebih cerdas. Dalam sebuah media briefing, direktur eksekutif MLCommons, David Kanter menjelaskan bahwa secara garis besar, hasil menunjukkan bahwa pelatihan telah meningkatkan kinerja lebih baik daripada Hukum Moore, aturan praktis yang mengatakan penggandaan chip dalam transistor setiap 18 hingga 24 bulan. meningkatkan kinerja komputer.

Skor pada tugas ImageNet yang terhormat, misalnya, di mana jaringan saraf dilatih untuk menetapkan label pengklasifikasi ke jutaan gambar, adalah 9 hingga 10 kali lebih cepat hari ini daripada peningkatan chip sederhana, kata Kanter.

“Kami telah melakukan jauh lebih baik daripada Hukum Moore,” kata Kanter. “Anda akan mengharapkan untuk mendapatkan kinerja sekitar tiga setengah kali lebih baik, dengan asumsi bahwa transistor secara linier berhubungan dengan kinerja; ternyata, kita mendapatkan 10x Hukum Moore.”

Manfaatnya mengalir ke “pria atau wanita biasa,” kata Kanter, “peneliti dengan satu stasiun kerja” yang hanya berisi 8 chip, katanya.

Nvidia, yang mendominasi penjualan chip GPU yang merupakan mayoritas komputasi AI di dunia, secara rutin mengirimkan hasil untuk sebagian besar atau semua pengujian. Stasiun kerja tunggal tersebut mengalami peningkatan atau 4 hingga 8 kali penskalaan transistor sederhana, katanya. “Kami memberikan lebih banyak kemampuan ke tangan para peneliti, yang memungkinkan kami menjalankan lebih banyak eksperimen dan, semoga, membuat lebih banyak penemuan.”

Google, yang TPU-nya merupakan salah satu pesaing utama chip Nvidia, memiliki rekam jejak yang kurang konsisten dengan MLPerf. Dalam laporan benchmark bulan Desember, perusahaan hanya mengirimkan satu nomor tes, untuk penggunaan eksperimental TPU-nya pada tes BERT.

Google mengatakan dalam sambutan yang disiapkan, “Google’s TPU v4 [version 4] Superkomputer ML mencatat rekor kinerja pada lima tolok ukur, dengan kecepatan rata-rata 1,42x dibandingkan pengiriman non-Google tercepat berikutnya, dan 1,5x vs pengiriman MLPerf 1.0 kami.”

Referensi Google ke lima tolok ukur mencakup skor terbaik yang dilaporkan pada sistem rekomendasi untuk sistem penelitian yang tidak tersedia secara komersial.

Ditanya oleh ZDNet mengapa Google memilih untuk bersaing dengan sistem komersial dalam empat kategori dan bukan empat lainnya, perusahaan tersebut mengatakan dalam tanggapan email, “Tujuan kami dengan pengiriman adalah untuk fokus terutama pada beban kerja yang memaksimalkan manfaat di luar MLPerf bagi kami.

“Kami membuat keputusan model mana yang akan dikirim berdasarkan kemiripannya dengan model ML yang digunakan di Google dan oleh pelanggan Google Cloud. Mengirimkan dan menyetel tolok ukur adalah pekerjaan yang sangat berat, jadi kami memfokuskan upaya kami untuk memaksimalkan manfaat di luar MLPerf bagi kami.

“Mengingat ini, kami memfokuskan upaya kami pada empat tolok ukur untuk kategori Cloud yang tersedia – BERT, ResNet, RetinaNet, MaskRCNN.”

Juga: Google menggunakan kompetisi MLPerf untuk menampilkan kinerja pada versi raksasa model bahasa BERT

Nvidia menekankan cakupan pengiriman yang komprehensif oleh dirinya sendiri dan oleh mitra termasuk Dell dan Lenovo. Komputer yang menggunakan chip Nvidia dari satu jenis atau lainnya bertanggung jawab atas 105 sistem dan 235 hasil pengujian yang dilaporkan dari total 264 hasil yang dilaporkan.

“NVIDIA dan mitranya terus memberikan kinerja pelatihan AI terbaik secara keseluruhan dan pengiriman terbanyak di semua tolok ukur dengan 90% dari semua entri berasal dari ekosistem, menurut tolok ukur MLPerf yang dirilis hari ini,” kata eksekutif Nvidia Shar Narasimhan dalam sambutannya.

“Platform NVIDIA AI mencakup semua delapan tolok ukur dalam putaran MLPerf Training 2.0, menyoroti keserbagunaannya yang terdepan.”

Juga: MLCommons memperkenalkan cara baru untuk mengevaluasi superkomputer tercepat di dunia

Di antara perkembangan lainnya, tes MLPerf terus mendapatkan pengikut dan mengumpulkan lebih banyak hasil tes daripada di masa lalu. Sebanyak 21 organisasi melaporkan 264 hasil tes, naik dari 14 organisasi dan 181 melaporkan pengiriman dalam laporan versi 1.1 Desember.

Pendatang baru tersebut antara lain Asustek; Akademi Ilmu Pengetahuan China, atau CASIA; pembuat komputer H3C; HazyResearch, nama yang diajukan oleh mahasiswa pascasarjana tunggal; Krai, yang telah berpartisipasi dalam kompetisi MLPerf lainnya, inferensi, tetapi belum pernah sebelumnya dalam pelatihan; dan memulai MosaicML.

Di antara lima sistem komersial teratas, Nvidia dan Google diikuti oleh segelintir pengirim yang berhasil mencapai tempat ketiga, keempat atau kelima.

Juga: Industri AI, yang terobsesi dengan kecepatan, enggan mempertimbangkan biaya energi dalam benchmark MLPerf terbaru

Unit cloud Azure Microsoft menempati posisi kedua dalam kompetisi segmentasi gambar, tempat keempat dalam kompetisi deteksi objek dengan gambar beresolusi tinggi, dan tempat ketiga dalam kompetisi pengenalan suara, semuanya menggunakan sistem dengan prosesor AMD EPYC dan GPU Nvidia.

Pembuat komputer H3C mengambil tempat kelima dalam empat tes, kompetisi segmentasi gambar, kompetisi deteksi objek dengan gambar resolusi tinggi, mesin rekomendasi, dan permainan Go, dan juga mampu mencapai tempat keempat dalam pengenalan suara. Semua sistem tersebut menggunakan prosesor Intel XEON dan GPU Nvidia.

Dell Technologies menduduki peringkat keempat dalam pendeteksian objek dengan gambar beresolusi lebih rendah, dan peringkat kelima dalam uji bahasa alami BERT, keduanya dengan sistem yang menggunakan prosesor AMD dan GPU Nvidia.

Pembuat komputer Inspur menempati posisi kelima dalam pengenalan suara dengan sistem yang menggunakan prosesor AMD EPYC dan GPU Nvidia, dan menempati posisi ketiga dan keempat dalam sistem rekomendasi, masing-masing dengan sistem berbasis XEON dan berbasis EPYC.

Juga: Graphcore menghadirkan kompetisi baru ke Nvidia dalam tolok ukur AI MLPerf terbaru

Graphcore, komputer pembuat komputer rintisan yang berbasis di Bristol, Inggris dengan pendekatan chip dan perangkat lunak alternatif, menempati posisi kelima di ImageNet. Penyedia solusi IT Nettrix menempati posisi keempat dalam kompetisi segmentasi gambar dan posisi keempat dalam tantangan pembelajaran penguatan Go.

Dalam briefing untuk wartawan, Graphcore menekankan kemampuannya untuk memberikan skor kompetitif versus Nvidia dengan harga lebih rendah untuk mesin BowPOD-nya dengan berbagai jumlah chip akselerator IPU-nya. Perusahaan ini menggembar-gemborkan BowPOD256-nya, misalnya, yang mendapat peringkat kelima dalam pengenalan gambar ResNet, sepuluh kali lebih cepat daripada sistem Nvidia DGX 8 arah, sementara biayanya lebih murah.

“Yang paling penting pasti ekonomi,” kata kepala perangkat lunak Graphcore, Matt Fyles, dalam sebuah media briefing. “Kami memiliki tren di masa lalu mesin menjadi lebih cepat tetapi lebih mahal, tetapi kami telah menarik garis di pasir, kami tidak akan membuatnya lebih mahal.”

Juga: Untuk mengukur AI berdaya sangat rendah, MLPerf mendapatkan tolok ukur TinyML

Meskipun beberapa mesin Graphcore yang lebih kecil mengikuti skor terbaik atau Nvidia dan Graphcore dengan beberapa menit waktu pelatihan, “Tidak ada pelanggan kami yang peduli tentang beberapa menit, yang mereka pedulikan adalah apakah Anda kompetitif dan kemudian Anda dapat memecahkan masalah. masalah yang mereka pedulikan,” katanya.

Fyles menambahkan, “Ada banyak proyek dengan ribuan chip, tetapi sekarang industri akan memperluas apa lagi yang dapat Anda lakukan dengan platform daripada hanya, Kami harus memenangkan kompetisi benchmark ini — itulah perlombaan ke bawah .”

Seperti dalam laporan sebelumnya, Perangkat Mikro Lanjutan memiliki hak membual atas Intel. Prosesor server EPYC atau ROMA AMD digunakan di 79 dari 130 sistem yang dimasukkan, proporsi yang lebih besar daripada chip Intel XEON. Selain itu, 33 dari 40 hasil teratas di delapan tes benchmark adalah sistem berbasis AMD.

Seperti di masa lalu, Intel, selain memiliki prosesor XEON dalam sistem mitra, juga membuat entri sendiri dengan unit Habana Labs-nya, menggunakan XEON yang digabungkan dengan chip akselerator Habana Gaudi alih-alih GPU Nvidia. Intel memfokuskan upaya hanya pada tes bahasa alami BERT tetapi gagal menembus lima besar.

Juga: Tolok ukur kinerja industri AI, MLPerf, untuk pertama kalinya juga mengukur energi yang dikonsumsi pembelajaran mesin

Tujuh dari delapan tes benchmark semuanya sama dengan kompetisi bulan Desember. Satu entri baru adalah pengganti salah satu tugas deteksi objek, di mana komputer harus menguraikan objek dalam gambar dan menempelkan label ke garis besar yang mengidentifikasi objek.

Dalam versi baru ini, kumpulan data COCO dan jaringan saraf SSD yang banyak digunakan telah diganti dengan kumpulan data baru, OpenImages, dan jaringan saraf baru, RetinaNet.

OpenImages menggunakan file gambar yang lebih tinggi dari 1.200 kali 1.600 piksel. Tugas deteksi objek lainnya masih menggunakan COCO, yang menggunakan gambar beresolusi lebih rendah, 640 x 480 piksel.

Juga: Saat AI muncul dalam komputasi ilmiah yang semakin banyak, tes waktu baru mengukur seberapa cepat jaringan saraf dapat dilatih

Dalam pengarahan media, Kanter dari MLCommons menjelaskan bahwa kumpulan data OpenImages digabungkan dengan jaringan saraf tolok ukur baru untuk digunakan oleh pengirim. Jaringan sebelumnya didasarkan pada jaringan saraf ResNet klasik untuk pengenalan gambar dan segmentasi gambar.

Alternatif yang digunakan dalam pengujian baru, yang disebut RetinaNet, meningkatkan akurasi melalui beberapa penyempurnaan pada struktur ResNet. Misalnya, ia menambahkan apa yang disebut “piramida fitur”, yang melihat semua tampilan konteks di sekitar objek, di semua lapisan jaringan, secara bersamaan, bukan hanya satu lapisan jaringan, yang menambahkan konteks untuk memungkinkan lebih baik klasifikasi.

Juga: Nvidia membuat sapuan bersih dari tolok ukur prediksi MLPerf untuk kecerdasan buatan

“Piramida fitur adalah teknik dari visi komputer klasik, jadi ini dalam beberapa hal merupakan riff dari pendekatan klasik yang diterapkan dalam domain jaringan saraf,” kata Kanter.

Selain piramida fitur, arsitektur dasar RetinaNet, yang disebut ResNeXt, menangani konvolusi dengan inovasi baru di ResNet. Classic ResNet menggunakan apa yang disebut “konvolusi padat” untuk memfilter piksel berdasarkan tinggi dan lebar gambar serta saluran RGB. ResNeXt memecah filter RGB menjadi filter terpisah yang dikenal sebagai “konvolusi yang dikelompokkan.” Kelompok-kelompok itu, yang beroperasi secara paralel, belajar untuk berspesialisasi dalam aspek saluran warna. Itu juga berkontribusi pada akurasi yang lebih besar.

Juga: Nvidia dan Google mengklaim hak menyombongkan diri dalam tolok ukur MLPerf saat komputer AI semakin besar

Juga: Google, Nvidia memuji kemajuan dalam pelatihan AI dengan hasil benchmark MLPerf

Juga: Hasil benchmark MLPerf menunjukkan waktu pelatihan AI teratas Nvidia

Leave a Reply

Your email address will not be published.