banner large

Bagaimana DTN menskalakan data prakiraan cuaca menjadi petabyte per hari

Comment
X
Share

Kami sangat antusias untuk menghadirkan Transform 2022 kembali secara langsung pada 19 Juli dan 20 – 28 Juli secara virtual. Bergabunglah dengan AI dan pemimpin data untuk pembicaraan yang berwawasan luas dan peluang jaringan yang menarik. Daftar hari ini!


Prakiraan cuaca adalah salah satu tantangan data tertua. Ilmuwan data terus mengeksplorasi bagaimana teknik pemodelan baru atau arsitektur data yang lebih baik dapat memungkinkan prakiraan yang lebih akurat dan tepat waktu. Konsumen mungkin hanya tertarik untuk mengetahui apakah akan membawa payung atau tabir surya, tetapi prakiraan cuaca yang lebih baik dapat membantu bisnis dari semua jenis meningkatkan operasi dan mengurangi dampak peristiwa cuaca buruk.

DTN, layanan cuaca pribadi terbesar, baru-baru ini memanfaatkan layanan komputasi kinerja tinggi Amazon Web Services (AWS) baru untuk secara dramatis menskalakan ukuran pipa prakiraan cuaca, akurasi, dan ketepatan waktu. Prakiraan yang ditingkatkan ini sudah menunjukkan dividen untuk layanan intelijen operasional DTN untuk pertanian, perkapalan, utilitas, dan industri lainnya.

“Kemampuan kami untuk memanfaatkan cloud dan infrastruktur skalabel komputasi tinggi meningkatkan kemampuan kami untuk memanfaatkan prakiraan cuaca setiap hari,” wakil presiden operasi cuaca DTN, Renny Vandewege, mengatakan kepada VentureBeat.

Vandewege mengatakan bahwa data cuaca saat ini mendukung pasar senilai $2 miliar — $3 miliar untuk layanan intelijen operasional dan tumbuh dengan cepat

Kombinasi beberapa layanan AWS baru telah membantu DTN menskalakan jumlah data yang diprosesnya dari terabyte ke petabyte per hari; tingkatkan resolusi dari 10 km ke “piksel” 1 km yang lebih halus; dan meningkatkan jumlah ramalan dari dua per hari menjadi empat per hari. DTN berencana untuk memberikan pembaruan per jam dalam waktu dekat.

Pindah ke awan

DTN mulai memindahkan lebih banyak infrastruktur datanya ke cloud AWS untuk membantu menskalakan data dan penawaran intelijen operasionalnya. Namun, ia masih mengandalkan superkomputer yang dikelolanya sendiri untuk mendukung semua perkiraannya. Selama beberapa tahun terakhir, tim Vandewege mulai bekerja dengan Amazon dalam pembuktian konsep untuk menjalankan model resolusi tinggi menggunakan kluster paralel.

Peningkatan DTN baru memanfaatkan instans AWS Hpc6a baru yang dibuat untuk beban kerja komputasi kinerja tinggi (HPC) yang digabungkan secara erat. Hal ini memungkinkan DTN untuk merakit superkomputer virtual di seluruh mesin virtual yang berjalan pada prosesor AMD EPIC generasi ketiga. Ini juga memberikan rasio harga terhadap kinerja 65% lebih baik daripada penawaran sebelumnya.

Lebih penting lagi, DTN menggunakan layanan AWS Parallel Cluster untuk secara dinamis menyediakan dan mengelola cluster HPC baru secara otomatis. Ini membantu DTN memanfaatkan teknik peramalan ensemble baru, di mana hasil dari beberapa model dan asumsi awal yang sedikit berbeda disintesis menjadi perkiraan yang lebih akurat.

Peramalan ensemble mengambil keuntungan dari fakta bahwa model prakiraan cuaca yang berbeda bekerja sedikit lebih baik dalam kondisi yang berbeda. Daripada mencoba meningkatkan akurasi satu model untuk semua kondisi, ilmuwan data menjalankan beberapa model secara paralel dan kemudian mensintesis hasilnya menjadi satu perkiraan. Hasil prakiraan ensemble ini cenderung lebih akurat di berbagai geografi, iklim, dan kondisi cuaca.

Tetapi menjalankan banyak model memerlukan menemukan cara untuk mengumpulkan data mentah dari satelit, stasiun cuaca dan radar, memutar simulasi baru untuk menjalankan model yang berbeda dan kemudian membawa semua hasilnya ke dalam satu perkiraan resmi. Infrastruktur AWS yang baru juga memungkinkan DTN untuk secara dinamis menskalakan operasi prakiraannya sebagai respons terhadap peristiwa cuaca buruk seperti angin topan dan tornado untuk membantu pelanggannya memprioritaskan operasi pencegahan dan pemulihan.

“Kami bekerja dengan Amazon untuk menjalankan model ini dengan cukup cepat sehingga datanya berguna,” kata Vandewege.

Menciptakan nilai baru

DTN dimulai sebagai layanan informasi pertanian pada 1980-an yang dikirimkan melalui radio ke terminal video khusus, oleh karena itu nama ‘Jaringan Transmisi Digital’ yang kemudian disingkat. Itu selalu memiliki fokus yang kuat pada cuaca. Perusahaan mengalami beberapa perubahan signifikan selama bertahun-tahun dengan pertumbuhan Internet dan persaingan dari layanan cuaca lainnya. Ini berputar ke layanan intelijen operasional untuk berbagai industri, didukung oleh kemampuan prakiraan cuaca intinya.

Misalnya, perusahaan telah mengembangkan penawaran untuk pengiriman maritim untuk mengoptimalkan rute dan kecepatan menggunakan kembaran digital dari kapal tertentu yang digabungkan dengan data cuaca dan arus laut yang akurat.

“Peningkatan 5% dalam efisiensi bahan bakar dapat berarti penghematan jutaan atau bahkan miliaran dolar untuk industri selama setahun,” kata Vandewege.

DTS juga telah mengembangkan model pemeliharaan prediktif baru untuk membantu utilitas memprioritaskan penggantian atau pengerasan peralatan yang paling mungkin terkena dampak gelombang panas, badai, atau peristiwa terkait cuaca lainnya.

Layanan baru ini mendapat manfaat dari menemukan cara baru untuk menggabungkan data cuaca yang lebih tepat dengan informasi lainnya. Misalnya, ilmuwan data DTN merekonstruksi kondisi cuaca yang berpasangan dengan pemadaman listrik atau jenis kegagalan peralatan tertentu selama dekade terakhir.

“Perubahan iklim adalah faktor yang sangat penting bagi kami,” kata Vandewege. “DTN berfokus untuk mengamati bagaimana perubahan iklim bermanifestasi sebagai risiko cuaca dan membantu bisnis untuk mempersiapkan diri menghadapi risiko cuaca individu tersebut dan mengambil tindakan yang tepat.”

Pendekatan baru untuk membuat dan memodelkan prakiraan dalam skala besar hanya akan semakin penting dengan meningkatnya ketidakpastian perubahan iklim, pergolakan politik, dan berbagai guncangan rantai pasokan.

Leave a Reply

Your email address will not be published.