27/02/2021

LIGHT FIELD DATA: CÁCH TIẾP CẬN MỚI VỀ HÌNH ẢNH

NCS. Phí Công Huy (ĐHQGHN - ĐH Công nghệ Sydney)

Light-Field một dạng dữ liệu về hình ảnh hiện đang thu hút rất nhiều sự quan tâm của các nhà nghiên cứu và phát triển ứng dụng bởi các tính năng thú vị. Light-Field có thể ứng dụng trong các lĩnh vực bao gồm thực tại ảo (VR), thực tại ảo tăng cường (AR), hội thảo trực tuyến, và E-learning. Dữ liệu Light-Field (LF) là một dữ liệu với thông tin phong phú với nhiều chiều thông tin, nó cung cấp thông tin phong phú như nội dung 2D, chiều sâu, vị trí góc nhìn, độ dài tiêu cự, v.v. Tuy nhiên, dữ liệu LF cũng gặp phải một vấn đề quan trọng – đó là dung lượng lớn của dữ liệu. Do đó, nén dữ liệu LF là một trong những vấn đề trọng tâm trong lĩnh vực nghiên cứu về LF.

Dựa trên những nhu cầu đó, bài báo sẽ giới thiệu những thông tin tổng quan, đặc tính về dữ liệu LF đồng thời giới thiệu sơ bộ về công cụ để giải nén và trình chiếu được dữ liệu LF gốc.

I. GIỚI THIỆU TỔNG QUAN

Năm 2015, nhóm những chuyên gia về chuẩn nén ảnh JPEG đã đưa ra một khái niệm mới đó là JPEG Plenoptic, một định dạng ảnh với dữ liệu thông tin 7-D [1]. Plenoptic bao gồm các loại dữ liệu như light field, point cloud, holography…Điều này mở ra những hướng nghiên cứu rất triển vọng cho các nhà nghiên cứu về xử lý tín hiệu và ảnh.

Light-Field (LF) là sự thể hiện của một tập hợp của tất cả các tia sáng được ghi lại ở mọi điểm trong không gian và ở các hướng; Do đó, dữ liệu LF có thể cung cấp dữ liệu với các thông tin phong phú. Nó được biết đến thông qua hệ thống Image-Based Rendering (IBR) do Levoy và Hanrahan đề xuất năm 1996 [2]. Trong hai thập kỷ qua, đã có một sự cải tiến rất lớn về kỹ thuật LF, ví dụ: cách thu thập dữ liệu, kết xuất dữ liệu và kỹ thuật lấy mẫu. Đặc biệt, nhiều loại máy ảnh chuyên dụng được phát triển để ghi lại dữ liệu LF, ví dụ như Lytro LF, Illum [3], và Raytrix [4]. Các máy ảnh này cung cấp cho chúng ta những tính năng tuyệt vời của dữ liệu LF như thay đổi điểm nhìn và góc nhìn, lấy nét dữ liệu sau khi ghi hình, khai thác dữ liệu ba chiều (3-D), ước lượng chiều sâu [5].

LF có lợi thế về sự phong phú của dữ liệu cùng với các tính năng tuyệt vời được đề cập ở trên tuy nhiên nó cũng gặp phải một số vấn đề liên quan tới xử lý tín hiệu và phần mềm, nguyên nhân chính nằm ở dung lượng dữ liệu cao và cấu trúc khác với các bức ảnh 2D thông thường. Tuy nhiên, một hình ảnh với dữ liệu nhiều thông tin như LF, nó hứa hẹn sẽ có một tương lai tiềm năng. Nó có thể áp dụng vào việc hỗ trợ tối ưu hình ảnh trong sản xuất kỹ xảo phim, cho phép những trải nghiệm mới trong các ứng dụng hình ảnh, hội nghị từ xa và cải thiện nội dung thị giác trong thực tế ảo và gia tăng (VR-AR) [6].

II. Đặc tính của Light-Field

Dữ liệu plenoptic-light field cung cấp rất nhiều thông tin với 7-chiều bao gồm: không gian (), thời gian (), vị trí (), bước sóng của ánh sáng (). Nó được tổng hợp chung trong tham số. Tuy nhiên, 7 chiều của dữ liệu plenoptic không phải là chiều không gian và cảm xúc như các thuật ngữ hiện nay mà nó cung cấp các loại thông tin. Hình ảnh 3-D, mô hình 3-D thể hiện dựa trên không gian 2-D và bổ sung thêm độ sâu để có 3-D, còn với phim 4-D, 5-D bổ sung thêm cảm xúc và sự tương tác, như xem phim đua xe 4-D có thêm tương tác lắc lư như đang ngồi trên xe, 5-D có thể nếm cảm nhận sự việc đang diễn ra. Vì vậy, để tránh nhầm lẫn và sai ý nghĩa, tác giả đưa ra cách gọi dữ liệu plenoptic-light field, đó là dữ liệu gồm có 7 loại thông tin được cung cấp: không gian (), thời gian (), ví trí (), bước sóng ánh sáng () như Hình 1. Cũng vì dữ liệu phong phú như vậy, nên hình ảnh Light Field sau khi được ghi lại bằng máy ảnh chuyên dụng, có thể tự lấy chọn điểm nét, thay đổi vị trí hay kết xuất ra hình ảnh 3D.

Hình 1. Các loại thông tin thể hiện cho dữ liệu Plenoptic

Dữ liệu Ligh Field được tạo ra hoặc ghi lại bằng một máy ảnh chuyên dụng, trong đó nó có một hệ thống những ống kính nhỏ được sắp xếp trước cảm biến của máy ảnh, để ghi lại những hình ảnh từ các góc độ và chiều sâu khác nhau như Hình 2. Vì vậy, dữ liệu của light field dung lượng và kích thước khá lớn với mỗi bức hình đuôi file là .LFR (Light Field Raw) cùng kích thước 7728x5368 , dung lượng sấp xỉ 50MB

Hình 2. Cấu tạo cơ bản bên trong máy ảnh để thu dữ liệu Ligh-Field

Trong dữ liệu Light Field, có một thuật ngữ còn được sử dụng đó là “super-pixel”, đó là hệ thống ống kính nhỏ được thể hiện trên bức ảnh light field, hình 3 thể hiện một dữ liệu LF đẩy đủ đã được mã hóa với tập hợp các mẫu thấu kính nhỏ (lenslet). Vì vậy, bức ảnh light field có rất nhiều góc nhìn khác nhau. Tuy nhiên, như mô tả ở phía trên về dữ liệu Light Field, đây không phải là những pixel giống như bức ảnh 2-D thông thường, đó chỉ là tập hợp các mẫu thấu kính nhỏ (lenslet) trên một khoảng không gian 7728 x 5368. Khi dữ liệu light field gốc được giải mã, sẽ tạo ra được cấu trúc dữ liệu (thể hiện ở Hình 4) với thông số 15 x 15 x 625 x 434 x 4, trong đó 15 x 15 là số lượng điểm nhìn, 625 x 434 là độ phân giải và 4 là hệ màu cơ bản đi kèm với trọng số [7]

Hình 3. Hình ảnh Ligh-Field được trình chiếu sau khi được giải mã.

Hình 4: Cấu trúc dữ liệu LF.

Từ những đặc thù của cấu trúc dữ liệu LF, những tính năng mà dữ liệu LF có thể cung cấp như: xuất ảnh 3D, thay đổi điểm lấy nét, hay tạo ra các video dựa trên các ảnh nhỏ, v.v.

III. Ứng dụng của Light-Field:

Light-Field là một trong những loại dữ liệu của Plenopic với những đặc tính thú vị [1] như: thay đổi vị trí điểm nhìn, cung cấp được dữ liệu 3D, thay đổi được chiều sâu bức ảnh…. Một số ứng dụng mà dữ liệu Light Field có thể áp dụng trong tương lai đó là:

Lĩnh vực Nhiếp ảnh: những bức ảnh được chụp từ máy ảnh thông thường cho chúng ta kết quả một bức ảnh tĩnh hoàn toàn với những thông số cố định về không gian và điểm lấy nét (độ sâu). Đối với dữ liệu Light Field, cùng với thiết bị chụp ảnh chuyên dụng Raytrix hoặc Lytro, dữ liệu gốc Light Field sau khi được ghi nhận, có thể cung cấp cho chúng ta một bức ảnh gồm 7 loại thông tin [1]. Bức ảnh Light Field này là tập hợp của rất nhiều các bức ảnh nhỏ được ghi lại bởi các lenslet [7], do đó, chúng ta có một bức ảnh có thể thay đổi độ sâu, thay đổi vị trí và nó không hoàn toàn tĩnh như bức ảnh thông thường, đó là ảnh chuyển động “moving pictures’ được kết xuất từ những phần mềm của Light Field như Lytro Desktop [3]. Những đặc tính này sẽ khiến cách tiếp cận của lĩnh vực Nhiếp ảnh có nhiều khác biệt, kiểm soát được độ sâu, sẽ kiểm soát được độ nét khi chụp ảnh.

Lĩnh vực kỹ xảo phim ảnh: khả năng cung cấp nhiều thông tin trong một bức ảnh Light Field giúp quá trình xử lý kỹ xảo hình ảnh thật và tiện lợi hơn trong khi ghi hình. Đặc biệt sẽ giảm thời gian khi ghi hình và tăng hiệu quả về diễn xuất, các hình ảnh kỹ xảo không cần phải đợi kết xuất sau khi diễn viên diễn kết thúc mà có thể hiện thị đồng thời cùng diễn viên, giúp hỗ trợ đạo diễn và diễn viên xử lý tốt hơn trong khi quay.

Lĩnh vực trực tuyến và truyền hình: một những chức năng của dữ liệu Light Field đó là có thể xuất được hình ảnh 3D, do vậy, việc áp dụng khả năng tương tác trực tuyến qua video hoặc hội thảo nhìn như người thật là điều hoàn toàn thực hiện được khi khai thác hết lợi ích của dữ liệu Light Field.

Những phần mềm và công cụ để phục vụ phân tích và trình chiếu dữ light field có thể kể đến: Light field toolbox ver 0.4 của Matlab dùng để giải nén và xem hình ảnh light field [8], máy ảnh Lytro (như hình 5) và Raytrix để tạo ra những dữ liệu light field [2, 3] và phần mềm Lytro desktop để xem ảnh light field trên máy tính.

IV. Kết Luận

Với sự phát triển không ngừng trong nâng cấp chất lượng hình ảnh cho người dùng, Light Field hứa hẹn với những tính năng vượt trội sẽ thay đổi cách tiếp cận hình ảnh của con người. Con người sẽ có những ứng dụng và trải nghiệm chân thực hơn và chất lượng hơn thông qua phim ảnh, thực tế ảo, hội thảo hoặc E-learning…Tuy nhiên, trước mắt, những thách thức nghiên cứu về Light Field sẽ cần dành nhiều thời gian để có được kết quả như mong muốn.

TÀI LIỆU THAM KHẢO

[1] T. Ebrahimi, F. Pereira, P. Schelkens, “JPEG Pleno: Toward an Efficient Representation of Visual Reality”, Industry and Standards, IEEE Multimedia, 2016

[2] M. Levoy and P. Hanrahan, “Light field rendering,” in Proc. SIGGRAPH, 1996, pp. 31–42.

[3] Lytro camera, https://www.lytro.com/

[4] Raytrix, https://www.raytrix.de/

[5] I. Ihrke, J. Restrepo, and L. Mignard-Debise, “Principles of Light Field Imaging”, IEEE Signal Processing Magazine, 2016

[6] T. Ebrahimi, S. Foessel, F. Pereira, P. Schelkens, “JPEG Pleno: Toward an Efficient Representation of Visual Reality,” IEEE Multimedia, Oct-Dec 2016

[7] Ren Ng, M. Levoy, et al, “Light Field Photography with a Hand-held Plenoptic Camera”, Stanford Tech Report, 2005

[8] D. Dansereau, “Light Field Toolbox v0.4,” http://www.mathworks.com/matlabcentral/fileexchange/49683-light-field-toolbox-v0-4

23/02/2021

NỖ LỰC VÀ THÀNH CÔNG

Hoàng Văn Xiêm

Bàn về nguyên tắc mười nghìn giờ. Mười nghìn giờ đã được ước lượng và đưa ra như một quy chuẩn khi con người ta nói về sự cố gắng, nỗ lực của một ai đó để trở thành một chuyên gia trong một lĩnh vực nào đó. Mười nghìn giờ tức là khoảng 5 năm làm việc miệt mài, hăng say. Vậy nguyên lý mười nghìn giờ có phải luôn đúng ? Nó không sai, quả thực không sai với bất kỳ ai nỗ lực, nhưng cũng không hoàn toàn đúng bởi ở đây ta chi nói về số lượng mà chưa nói đến chất lượng của việc học, việc làm trong khoảng thời gian mười nghìn giờ này. Năm năm là khoảng thời gian đủ mà một sinh viên tốt nghiệp đại học, hệ kỹ sư, một nhân viên làm sau năm năm cũng có thể được đề bạt tới vị trí quản lý nhóm nhỏ. Nhưng liệu 5 năm đó có phải ai cũng thành chuyên gia hoặc ai cũng thành những nhà quản lý với chuyên môn vững vàng. Câu trả lời rõ ràng là không! Sau năm năm học, rất nhiều sinh viên ra trường, phần đông trong số đó là chưa có một nền tảng chuyên môn vững vàng, điều sẽ phải được củng cố trong quá trình đi làm. Với các nhân viên, thì sau năm năm cũng chỉ một số ít có thể thành các chuyên gia của lĩnh vực mà mình đang làm.

Vậy vấn đề không chỉ còn nằm ở thời gian mười nghìn giờ mà nằm ở chất lượng của mười nghìn giờ đó. Quả thực, nếu một bạn kỹ sư công nghệ thông tin, ngày nào cũng dành 8 tiếng đồng hồ cho công việc lập trình của mình, thì không cần đến mười nghìn giờ mà chỉ cần một phần mười số đó, tức một nghìn giờ đã có thể thành một chuyên gia trong lĩnh vực lập trình. Một bản nhân viên bán hàng, hoặc makerting của một công ty, với thời gian một nghin giờ mà chuyên tâm vào tìm kiếm các giải pháp bán hàng, hăng say thử nghiệm các phwong pháp mới thì đảm bảo lượng kiến thức thu được sẽ vô cùng lớn. Như vậy, con số mười nghìn giờ ơ đây đơn thuẩn chỉ là giá trị tượng trưng cho sự cố gắng, nỗ lực tối đã để làm một việc gì đó.

- Ảnh hưởng của đặc trưng ngành nghề tới sự nỗ lực và thành công. Vấn đề thứ hai với sự nỗ lực đó còn phải phụ thuộc vào đặc trưng của từng ngành nghề. Mỗi ngành nghề sẽ yêu cầu khác nhau, để trở thành các chuyên gia. Nhìn một cách đơn giản và rõ ràng là các chương trình đào tạo ,cứ nhân, kỹ sư, bác sỹ,…đều có thời lượng yêu cầu khác nhau do đặc trưng ngành nghề!. Cũng vì vậy, mà thời gian nỗ lực để thành công trong một lĩnh vực nào đó cũng rất khó quy đổi ra một con số cụ thể.

Đề trở thành một bác sỹ có tay nghề chuyên môn giỏi, không phải là 6 năm được đào tạo trong nhà trường là đủ, giả sử vị bác sỹ đó rất chăm chỉ học hành, thì cũng cần thêm ít nhất 4, 5 năm nữa rèn luyện và quan sát thực tiễn. Với một ngành nghề đòi hỏi thực tiễn cao như y học thì không có kiến thức nào thay thế được những trải nghiệm khi khám chữa bệnh. Việc chuẩn đoán với các tài liệu y học được đút rút rất cô đọng thông qua các triệu trứng. Tuy nhiên, thực tế, mỗi cơ thể khác nhau lại có những biểu hiện khác nhau, do vậy, thông qua những trải nghiệm khám chữa bệnh, người y, bác sỹ đó sẽ tự đúc rút cho mình những kinh nghiệm, quan trọng, qua đó giúp việc phán đoán và chuẩn đoán bệnh tật được chính xác hơn.

Với một chuyên gia trong lĩnh vực khoa học dữ liệu, việc tiếp cận với các nguồn dữ liệ thực tế là vô cùng quan trọng, tuy nhiên, sự sai khác về mặt bản chất dữ liệu là không quá đáng kể .Do vậy, thường khi đã nắm băt tốt các nguyên lỹ cơ bản của dữ liệu, thì việc triển khai, nghiên cứu không mất quá nhiều thời gian và rủi ro như với nghê y, bác sỹ.

Google Sites

Report abuse