A. Thông tin Spark AR
a. Kích thức file
File .arfx của hiệu ứng cho: --> sản phẩm cuối cùng
Instagram không nên vượt quá 4MB.
Facebook nên dưới 2MB để tiếp cận được nhiều người nhất, nhưng có thể lên đến 10MB.
File .arexport (file tải lên Spark AR Hub khi đăng hiệu ứng): Tổng tất cả mọi thứ kích thước không vượt quá 40MB. --> yêu cầu cho thiết kế - đầu vào*
b. Supported File Formats (gộp vào cho thiết kế) *
2D Assets
PNG
JPEG.
SVG.
3D Models
FBX 2014/2015 (binary and ASCII versions)
gITF 2 (binary and text versions)
COLLADA / DAE.
OBJ.
DAE.
Audio
Mono M4A, AAC codec, with a sampling frequency of 44.1KHz.
WAV mono.
B. KHẢ NĂNG NHẬN DIỆN
1. Face Tracker
Tính năng
Tracking Multiple Face (tốt nhất là dưới 5)
Moving Object with Face Tracker
Nhận diện các bộ phận trên mặt để trigger hiệu ứng.
Các bộ phận có thể nhận diện riêng: má, cằm, mắt (mí mắt, trong mắt), lông mày, trán, miệng, mũi,...
a. Head
Cách tương tác:
Head rotation
Turn left/right
Leaned left/right/forward/back
Gật đầu
Head shake (lắc)
Interaction: Happy face, Suprised Face, Kissing Face
Ứng dụng: Random image game, Head Quiz, this or that
Rigid Objects (Filter cố định): Vị trí của filter được cố điểm tại một điểm hoặc một số điểm định sẵn trên khuôn mặt
Morph masks (mặt nạ biến hình): Filter có thể khiến hình dáng, biểu cảm, các đặc điểm ở trên khuôn mặt có thể thay đổi.
Mô tả: Filter sẽ hiện cố định trên mặt của người dùng, thêm vào đó người dùng có thể thay đổi trạng thái của filter đó bằng biểu cảm gương mặt của mình
Mô tả: Filter có thể khiến hình dáng, biểu cảm, các đặc điểm ở trên khuôn mặt có thể thay đổi.
Các bộ phận trên gương mặt
Output: 3D
Có thể đặt objects ở: center of user's forehead, top of user's forehead
Output: có thể đặt object ở các vị trí:
Left inside end
Left outside end
Left top
Right inside end
Right outside
Right top
Interaction: eyebrows raised/lowered
Output: --> phát triển thành eyelash
Có thể đặt objects ở các vị trí:
Left/Right Center Position
Left/Right Inside Corner Position
Left/Right Outside Corner Position
Left/Right Lower Eyelid Center Position
Left/Right Upper Eyelid Center Position
Interation: nhắm 2 mắt, nháy mắt trái/phải
Output: 3D
Có thể đặt objects tại các vị trí
Left/Right Iris Position
Left/Right Eyeball Center Position
Có thể tracking:
Left/Right Eyeball Rotation: Xoay Objects được định vị trên mắt trái đồng bộ với chuyển động của đầu.
Output: Có thể đặt objects ở các vị trí:
Left/Right Center
Left/Right Cheekbone (gò má)
Output: Có thể đặt objects ở các vị trí:
Bridge Position
Left/Right Nostril Position
Tip Position
Output: Có thể đặt objects ở các vị trí:
Center
Upper/Lower Lip Center
Left/Right Corner
Interation: Há miệng, smile
Output: Có thể đặt objects ở vị trí Tip Position
2 . Body
Spark AR nhận diện tốt nhất từ phần ngực trở lên. (do công nghệ)
Các bộ phận có thể nhận diện được: đầu, cổ, tay trái/phải, chân trái/phải dạng 2D (chỉ di chuyển 2 chiều theo trục xy --> không tiến xa/gần thay đổi kích thước được).
Spark AR mới phát triển body tracking --> Chất lượng chưa nhạy
Dùng phương pháp nội suy: track 1 vài bộ phận trên cơ thể --> cả body
--> Không recommend dùng Spark AR để làm body tracking
Không nhận diện các hình dạng khác nhau của tay --> chỉ cần nhận diện là tay sẽ trigger hiệu ứng.
3. Body Segmentation
Thay đổi background, tách nền --> Còn kém
Bản chất: tách người ra khỏi nền, lấy người làm gốc
4. World Effects
Hướng dẫn và lưu ý khi làm job sau này:
Định dạng file input: Fbx hoặc OBJ đều oke
Material nên là các phòng hình vuông để tránh trường hợp đang đi thì bị ra khỏi vòng nhận diện
Các khu vực trải nghiệm nên là mặt đất hoặc các vật liệu ít phản sáng để khả năng nhận diện được tốt nhất
Có thể làm trên Spark AR của Facebook. Độ ổn định cao hơn bản app. Tuy nhiên sẽ bị giới hạn dung lượng input đầu vào.
(đặt 2 target cùng nhau --> tạo nên 1 hiệu ứng chung)
Lưu ý khi chọn Target:
Có thể nhận diện cùng lúc 5 target.
Giảm bớt số lượng target nếu muốn hiệu ứng hoạt động được trên các thiết bị chạy phiên bản thấp.--> Không khuyến khích chọn nhiều
Hình ảnh Target phù hợp: (xem ví dụ dễ hiểu hơn)
Có độ tương phản cao: có thể trắng đen lẫn lộn, nhưng tương phản tông màu cao, tránh những hình ảnh có nhiều màu nhạt, mờ.
Chi tiết sắc nét
Tránh dùng hình ảnh có họa tiết đối xứng và lặp lại --> Hình ảnh hiện ra có thể bị đảo ngược
Bề mặt phẳng
Vị trí của Target
Khoảng cách: hoạt động hiệu quả nhất khi camera ở gần. Khoảng cách từ camera đến hình ảnh mục tiêu không được dài gấp 3 lần chiều rộng của Target. Target nên lấp kín phần lớn khung thiết bị, ít nhất một nửa hình ảnh phải hiển thị trong góc nhìn của camera.
Vị trí Target: Có độ lớn vừa đủ để người dùng đứng gần trong thời gian dài. Tránh Target quá xa (billboard) hoặc quá nhỏ (sticker).
Tùy chỉnh kích thước objects
5. Khác
Mô tả
Họa tiết ở dạng phân tử nhỏ
Particles có thể ở dạng 2D và 3D
Ứng dụng: confetti, pháo hoa, bong bóng,...
Mô tả: thêm media trong album ảnh vào filter
--> Hạn chế devices
(Thuộc về phần logics)