Kami menciptakan "Sokkuri-trip" untuk merekomendasikan gambar pemandangan menakjubkan Jepang dari gambar pemandangan menakjubkan dunia yang berbasis pada Google Cloud AI.

Pada bulan Juli tahun ini, pelatihan internal perusahaan Hakuhodo "Kritech" yang bertujuan mengembangkan sumber daya manusia yang mampu melintasi area kreatif dan area teknologi, meluncurkan sebuah situs web “Sokkuri-trip” dari trippiece Co., Ltd. yang merekomendasikan gambar pemandangan menakjubkan Jepang yang mirip dengan gambar pemandangan menakjubkan dunia dengan menggunakan teknologi AI untuk pengenalan gambar.

“Sokkuri-trip” menggunakan Cloud Vision API dari Google Cloud AI. Bagaimana “Sokkuri-trip” direalisasikan dengan menggunakan Cloud Vision API? Kami bertanya kepada Bapak Tomohiko Hayashi, Bapak. Kuga Kuno, dan Bapak. Tokuma Negishi, tiga orang tenaga ahli di Hakuhodo Co., Ltd. yang bertanggung jawab atas perencanaan dan pengembangan.

Sejak didirikan pada tahun 2011, trippiece adalah perusahaan yang telah merencanakan dan mengembangkan layanan di bidang perjalanan × internet. Perusahaan kami mengoperasikan layanan perjalanan "<trippiece>" untuk berwisata bersama-sama, bepergian dengan menggunakan media "RETRIP”.

Saya ingin lebih banyak orang mengetahui pesona Jepang yang belum dikenal, “Sokkuri-trip” dirancang untuk mewujudkan keinginan ini. Dengan meningkatnya perhatian ke Jepang menjelang tahun 2020, "apakah kami orang Jepang tidak mengenal pesona Jepang dengan baik?" merupakan pertanyaan dari titik awal perencanaan perusahaan kami. Tetapi orang Jepang sangat menyukai pemandangan yang luar biasa indah. Kekuatan ini cukup untuk membawa wisatawan ke belakang bumi seperti danau garam Uyuni. Oleh karena itu, kami menciptakan layanan dengan mewakili pandangan dunia yang luar biasa sebagai konten yang membantu menemukan pesona Jepang.Jika sebuah tempat yang mirip ditemukan, itu akan menyenangkan. Akan tetapi jika saya tidak dapat menemukannya, saya mengerjakan berbagai ide untuk membuat saya berpikir, "Ini bagus juga lho!". Melalui layanan ini, saya ingin lebih mempromosikan daya tarik Jepang. "(Tuan Kuno)

Dalam “Sokkuri-trip”, 10 label teratas yang terdeteksi oleh Cloud Vision API (selanjutnya disebut informasi label) dan hasil keluaran dari semua lapisan yang terhubung dengan VGG-16, yang merupakan model pembelajaran mesin pembelajaran berbasis Keras (selanjutnya disebut sebagai representasi terdistribusi) digabungkan. Kemudian anda dapat mengekstraksi gambar pemandangan menakjubkan domestik yang mirip dengan gambar pemandangan menakjubkan dunia.

Anda dapat menggunakan fitur deteksi label Cloud Vision API untuk mengekstrak informasi tentang objek dalam gambar di berbagai kategori. Misalnya, jika Anda memasukkan gambar ke sampel di halaman atas Cloud Vision API, Anda bisa mendapatkan hasil deteksi label berikut bersama dengan skor kepercayaan diri. Misalnya, jika Anda memasukkan gambar ke sampel di halaman atas Cloud Vision API , Anda bisa mendapatkan hasil deteksi label berikut bersama dengan skor kepercayaan diri. “Sokkuri-trip” membandingkan jumlah duplikat informasi label 10 besar dengan skor kepercayaan tinggi antara input gambar (gambar pemandangan dunia) dan kandidat output gambar (grup gambar pemandangan di Jepang) . Semakin besar jumlah label, semakin tinggi kesamaan antara input dan output gambar.

VGG-16 adalah model pembelajaran mesin berbasis convolutional neural network (CNN) yang dikhususkan untuk pengenalan gambar. “Sokkuri-trip” menggunakan model VGG-16 berbasis Keras yang dilatih untuk mengekstraksi semua vektor layer yang terhubung (disebut sebagai ungkapan tertanam dalam artikel ini) dari input gambar. Ungkapan tertanam ini memiliki fitur tertanam yang berguna untuk deteksi label.

Hal yang menarik tentang ekspresi yang tertanam ini adalah bahwa ia menyematkan fitur yang digunakan secara internal oleh model pembelajaran mesin dalam ekspresi yang disematkan, dan secara numerik dapat mengukur jarak antara ekspresi yang disematkan. Karena VGG-16 adalah model pembelajaran mesin untuk pengenalan label, fitur yang tertanam dalam representasi tertanam dapat diartikan sebagai informasi yang diperlukan untuk pengenalan label. Di sisi lain, jika jarak antara ekspresi yang disematkan pendek, itu berarti keduanya memiliki fitur yang sama. Dengan kata lain, gambar dengan jarak yang lebih pendek antara ekspresi yang disematkan lebih mirip dengan gambar yang serupa.

“Sokkuri-trip” berfokus pada fitur representasi yang tertanam seperti yang disebutkan di atas dan mengadopsi jarak kosinus untuk mengukur jarak antara representasi yang disematkan, dan menganggap jarak ini sebagai tingkat kesamaan antara gambar input dan gambar output. Dengan menggunakan representasi/ ungkapan tertanam dan jarak kosinus, keduanya mengukur kesamaan antara gambar secara efisien tanpa campur tangan manusia serta mengeluarkan gambar pemandangan domestik dengan menggabungkan informasi label dan ekspresi yang tertanam.

Sejauh ini, kami telah memperkenalkan dua metode pengukuran kesamaan yang digunakan oleh “Sokkuri-trip”. Dalam “Sokkuri-trip”, untuk menentukan output gambar (gambar pemandangan domestik), masing-masing kesamaan dengan informasi label dan kesamaan dengan ekspresi tertanam.Kesamaan terakhir dihitung dengan mengalikan koefisien bobot yang disesuaikan secara independen saat memeriksa hasilnya.

Bekerja sama dengan pemerintah daerah, kami merekomendasikan tempat-tempat wisata yang ingin dikunjungi oleh setiap pemerintah daerah, dan kami ingin memperkuat upaya revitalisasi lokal oleh “Sokkuri-trip”. Pada saat ini, salah satu pemandangan indah lokal yang dipilih dengan cermat (sekitar 500 gambar) merupakan output, tetapi mulai sekarang, pemerintah daerah mulai mencari gambar yang sudah terdaftar mengenai tempat-tempat wisata. Untuk mewujudkan tujuan ini, mekanisme yang dipakai akan lebih terukur dan perlu direnovasi”. (Bapak Hayashi)

Saat ini, serangkaian tugas seperti mengekstraksi ekspresi tertanam dan menghitung jarak antara ekspresi tertanam direalisasikan dengan satu server aplikasi.Konfigurasi ini tidak berskala dengan baik jika anda ingin mencari gambar yang lebih menakjubkan. Google Cloud mengklaim bahwa ada produk yang menangani beban kerja seperti itu secara efisien * 1. Kami ingin memanfaatkan sepenuhnya fungsi-fungsi ini saat memperluas “Sokkuri-trip” secara lebih luas. "(Bapak Negishi)

*1 Contohnya : Dengan menggunakan Cloud Machine Learning Engine untuk mengekstrak bagian yang mengekstraksi ungkapan yang disematkan sebagai API, dan dengan menggunakan BigQuery untuk membandingkan jarak antara ungkapan yang disematkan, jumlah pengguna simultan dan jumlah gambar yang akan dicari dapat membangun sistem yang berskala bahkan jika Anda mendapatkan jumlah gambar target pencarian lebih banyak.

Hakuhodo Inc. Tomohiko Hayashi, Suguru Kuno, Touma Negishi