Kemungkinan dalam perencanaan strategi berbasis analisis data yang diberikan pelatihan GCP

PT Dwango Co., Ltd. mengikuti menu pelatihan bersertifikasi Google Cloud Platform (GCP) "Data Engineering on Google Cloud Platform" yang diselenggarakan oleh Cloud Ace untuk merumuskan strategi platform analisis.

“Track” ini adalah pelatihan praktik langsung tentang cara merancang sistem pemrosesan data dengan GCP, membangun jalur pipa data ujung ke ujung, menganalisis data, dan menerapkan pembelajaran mesin.

Kami berbicara dengan Bpk. Masahiro Kiura, bagian Infrastruktur Numerik, Departemen Layanan Manajemen Data Dwango, Kantor Pusat Pengembangan Layanan, yang menghadiri pertemuan ini.

Dwango adalah perusahaan yang menawarkan layanan NicoNico seperti "Niko Niko Video" dan "Niko Niko Live Broadcasting" kepada pengguna individu. Selain itu, pada November 2018, kami merilis "Tech Tech" untuk smartphone yang menggunakan informasi lokasi dan AR. Di bagian infrastruktur numerik tempat saya bergabung, rencana dan direktori berbagai layanan seperti "Nico Nico Video" dan "Niko Nico Live Broadcasting" dapat menganalisis log yang dikeluarkan dari family service untuk mendapatkan wawasan baru. Tujuannya adalah untuk mengakumulasi log-log tersebut dan menyediakannya sebagai dasar analisis.

Karena log tersebut berasal dari beberapa situs dan mencapai lebih dari 100 jenis, jumlah data log yang akan diakumulasikan cukup besar. Anda perlu mempertimbangkan dan membuat rantai bagaimana Anda dapat memuat dan mengumpulkan data lebih cepat, dan mendapatkan hasil analisis lebih cepat untuk staf internal Anda. Karena sejumlah besar data log diakumulasikan setiap hari, pemrosesan “batch” juga membutuhkan waktu. Misi kami juga untuk merencanakan berbagai tugas secara efisien dengan biaya rendah.

Sebenarnya saya belum menggunakan GCP. Platform analisis kami sedang dalam tahap mengembangkan peta jalannya sebagai strategi platform analisis, bagaimana GCP akan dikembangkan di masa depan. Selain GCP, berbagai layanan cloud seperti AWS dan Azure dapat menjadi bahan untuk mengembangkan basis analisis di masa depan.

Oleh karena itu, kemungkinan untuk terus beroperasi di tempat juga bukan tidak ada sama sekali (0), dan konfigurasi seperti apakah yang baik ketika menggunakan layanan cloud? Apakah GCP, AWS atau Azure yang lebih baik? Arsitektur seperti apa yang lebih baik jika menggunakan GCP? Upaya telah dilakukan sejak Agustus 2018 untuk membuat berbagai rencana dan memutuskan arah masa depan.

Namun, saya berpikir bahwa GCP dan BigQuery dan komponen sekitarnya dapat digunakan dengan mudah dan cepat. Saya pikir itu adalah kekuatan yang luar biasa bahwa pelatihan telah selesai dan pemrosesan selesai dalam beberapa detik, bahkan untuk terabyte dan petabyte data.

Selain itu, GCP juga merupakan opsi untuk menggunakan on-premise dan cloud, tetapi secara pribadi, lebih banyak biaya dan sumber daya manusia untuk menempatkan seluruh platform analisis pada GCP dibandingkan dengan mengambil konfigurasi hibrid seperti itu. Saya percaya bahwa saya dapat menekan biaya dan kesalahan manusia.

Selain untuk mengumpulkan informasi, saya ingin belajar lebih banyak informasi mendalam, dan memutuskan untuk mengikuti pelatihan kelas selama empat hari. Sekarang dimungkinkan untuk mengikuti pelatihan di Internet. Namun, pelatihan tatap muka memiliki keuntungan bahwa instruktur dapat langsung menjawab pertanyaan siswa yang pandai.

Di antara mereka, Cloud Ace dipilih karena memungkinkan untuk mengikuti pelatihan dalam bahasa Jepang, dan instruktur pelatihan termasuk karyawan lain telah memperoleh kualifikasi GCP dan memiliki tingkat pengetahuan dan keterampilan yang canggih. Ketika saya bisa melihat apa yang saya lakukan, saya merasa bisa meninggalkannya dengan lebih percaya diri.

Bahkan, dalam pelatihan, saya dapat memperoleh informasi sesuai dengan tingkat pengetahuan dan keterampilan saya. Sebagai contoh, saya meminta jawaban yang akurat untuk pertanyaan tentang bagaimana membawa GCP pada platform analisis kami. Dalam hal itu, GCP adalah pelatihan yang sangat berguna.

Terutama dalam kasus ini, tujuannya adalah untuk mengumpulkan informasi yang berfokus pada apa yang akan terjadi jika diganti dengan pekerjaan yang sebenarnya, bukan sudut pandang "cara penggunaan " yang sering digunakan untuk pelatihan, jadi saya pikir tujuan itu terpenuhi. Saya telah menerima pelatihan dari perusahaan lain. Saya menerima lebih banyak jawaban mendalam dalam pelatihan Cloud Ace, dan pelatihan ini sangat berarti bagi saya.

Sebagai contoh, kami menggunakan open source middleware "Hadoop" yang menyadari akumulasi dan analisis data skala besar dengan teknologi pemrosesan terdistribusi ketika rencana atau direktur melakukan analisis sebagai basis analisis log. Ketika saya memakainya, saya bisa menjawab dalam menanggapi pertanyaan spesifik seperti bagaimana mengelola otoritas dengan cara yang sebenarnya.

Pelatihan diadakan empat hari, tetapi saya pikir itu waktu yang cukup panjang. Jika diadakan dalam waktu sehari tentu saja sangat singkat dan jika kelamaan, akan menyebabkan kehilangan antusiasme pada pelatihannya. Ada beberapa yang mengajukan pertanyaan dan pertanyaan bisa dijawab pada hari itu, dan ada juga yang membutuhkan analisis dan konfirmasi dijawab pada hari berikutnya. Saya bisa melakukan respons seperti itu, dan saya bisa menghapus pertanyaan-pertanyaan itu dengan cukup. Karena ada kelas praktik, saya bisa juga mengatakan bahwa titik di mana saya bisa berlatih hasilnya juga bagus.

Salah satu tujuan dari pelatihan ini adalah mampu memperkirakan berapa biayanya jika Anda meletakkan basis situs pada GCP . Saat ini, mungkin perlu beberapa hari untuk menyediakan satu log berdasarkan analisis. Jika dikurangi menjadi satu hari atau satu jam dengan meletakkannya di GCP, jam kerja kami juga akan berkurang. Saya bertujuan untuk berkonsentrasi akan hal itu di masa depan.

Dengan menggunakan GCP, misalnya, jika hasil pemrosesan BigQuery dikembalikan dalam beberapa detik, ada manfaat tidak hanya untuk orang-orang yang memiliki basis analisis kami, tetapi juga untuk perencanaan internal dan direktur perusahaan untuk melakukan analisa.

Selain itu, pelatihan rekayasa data sangat berguna untuk menggunakan GCP, tapi saya pikir akan lebih halus untuk menggunakan komponen terkait rekayasa data jika perangkat middleware dan komponen dapat digunakan. Oleh karena itu, di masa depan, kami juga akan menerima pelatihan selain rekayasa data, dan kami ingin membuat basis analisis data yang lebih halus, lebih kuat, dan lebih hemat biaya.

Kali ini saya melakukan pelatihan sendiri, tetapi saya ingin ada anggota lain yang bertanggung jawab atas basis analisis yang menerima pelatihan juga. Saya berharap akan dapat bekerja secara efektif dengan anggota departemen lainnya.

Juga, jika ada departemen lain yang ingin menggunakan GCP di masa depan, saya pikir saya dapat memperkenalkan pelatihan. Bahkan, saya juga telah mendengar umpan balik tentang pelatihan dari departemen lain. Seiring kemajuan teknologi cloud setiap harinya, saya merasa perlu untuk terus memilih teknologi secara fleksibel sambil menyeimbangkan biaya jasa dan perubahan operasi. Bahkan, saya merasa bahwa berbagai kemungkinan telah berkembang melalui pelatihan ini.