On-device AI

On-device AI refers to the deployment and execution of artificial intelligence (AI) algorithms directly on devices at the edge of a network, rather than relying on centralized data centers or cloud-based computing resources. This approach allows for real-time data processing, reducing latency, enhancing privacy, and improving operational efficiency.

On-device AI(온디바이스 에이아이)는 중앙 집중식 데이터 센터나 클라우드 기반 컴퓨팅 리소스에 의존하지 않고, 네트워크 끝 단에 혹은 우리의 주변에 실제 존재하는 각종 장치에 인공지능(AI)를 직접 설치하고 실행하는 것을 뜻합니다. On-device AI는 중앙 집중식 AI 보다 실시간 데이터 처리, 대기 시간 단축, 개인 정보 강화 및 운영 효율성 향상 등에 장점을 가지고 있습니다.

On-Device

(온 디바이스)

On-device refers to the embedded hardware on which AI algorithms run directly, and they provide the link between our digital and physical worlds. These can include MCU&MPU, sensors, and specialized AI chips. MCU and MPU can be programmed to execute AI models. Sensors collect data from the environment, such as cameras, microphones, accelerometers, and thermistors. Specialized AI chips are specifically designed for AI computation at the edge, such as NPU and GPU.

온디바이스는 AI 알고리즘이 직접 실행되는 임베디드 하드웨어입니다. 그리고 엣지 디바이스는 우리의 디지털 세상과 실제 세상을 연결하는 도구이기도 합니다. 이것들은 MCU&MPU, 센서 및 전문 AI 칩을 포함할 수 있습니다. MCU 및 MPU는 AI 모델을 실행하도록 프로그래밍될 수 있습니다. 센서는 카메라, 마이크, 가속도계 및 온도계와 같은 환경으로부터 데이터를 수집합니다. 전문 AI 칩은 NPU 및 GPU와 같은 엣지에서 AI 계산을 위해 특별히 설계되었습니다.

AI Model and Algorithm

(AI 모델과 알고리즘)

On-device can recognize objects or patterns using machine learning models and algorithms optimized for edge deployment. We can choose a model that applies to the edge device. Pre-trained Model is trained on large datasets in the cloud and then optimized for edge devices. Model Optimization Tools like STM32Cube.AI and TensorFlow Lite that help in converting and optimizing models to run efficiently on the hardware. Inference Engines are software frameworks that execute AI models on devices, ensuring they operate within the constraints of the hardware.

온디바이스는 엣지 구현에 최적화된 기계 학습 모델과 알고리즘을 사용하여 객체 또는 패턴을 인식할 수 있습니다. 온디바이스에 적용할 모델을 선택할 수 있습니다. 사전 학습된 모델은 클라우드의 대규모 데이터 세트에서 훈련된 다음 장치에 최적화됩니다. STM32Cube.AI 및 텐서플로우 라이트와 같은 모델 최적화 도구는 엣지 하드웨어에서 효율적으로 실행되도록 모델을 변환하고 최적화하는 데 도움이 됩니다. 추론 엔진은 온디바이스에서 AI 모델을 실행하여 하드웨어의 제약 조건 내에서 작동하도록 보장하는 소프트웨어 프레임워크입니다.

Software Development Tool

(소프트웨어 개발 도구)

It's important to choose an appropriate tool to facilitate the development, deployment, and management of AI applications on edge devices. We can use an IDE (Integrated Development Environment) that supports coding, debugging, and deploying AI applications. An edge AI platform can be used to provide comprehensive toolkits for developing edge AI applications. Data processing and analytics tools help in preprocessing and analyzing data locally before it's fed into AI models.

온디바이스에서 AI 애플리케이션의 개발, 배포 및 관리를 용이하게 하기 위해 적절한 도구를 선택하는 것이 중요합니다. 우리는 AI 애플리케이션의 코딩, 디버깅 및 배포를 지원하는 IDE (Integrated Development Environment)를 사용할 수 있습니다. 온디바이스 AI 플랫폼은 AI 애플리케이션을 개발하기 위한 포괄적인 툴킷을 제공하는 데 사용될 수 있습니다. 데이터 처리 및 분석 도구는 데이터가 AI 모델에 공급되기 전에 로컬에서 데이터를 전처리하고 분석하는 데 도움이 됩니다.

Communication-Connectivity Module

(통신-연결 모듈)

This module enables the devices to communicate with each other and with central systems. Various wireless modules like Wi-Fi, bluetooth, and cellular modules can provide connectivity for data transfer and remote management. Protocols like MQTT, CoAP, and OPC UA facilitate efficient data exchange between edge devices and central systems.

이 모듈은 온디바이스가 중앙 시스템과 서로 통신할 수 있도록 합니다. Wi-Fi, Bluetooth 및 셀룰러 모듈과 같은 다양한 무선 모듈은 데이터 전송 및 원격 관리를 위한 연결을 제공할 수 있습니다. MQTT, CoAP 및 OPCUA와 같은 프로토콜은 에지 장치 및 중앙 시스템 간의 효율적인 데이터 교환을 용이하게 합니다.

Researchers

박하은(HE Park), 권용섭(YS Kwon), 황선준(SJ Hwang), 김지수(JS Kim), 김효진(HJ Kim)

윤승호(SH Yoon), 김동윤(DY Kim), 박수영 (SY Park), 김병헌(BH Kim), 이성호 (SH Lee)

Related Material

Dongyoon Kim, Yoon Joung Kwak, Seungho Yun, Byounghern Kim, Sanghoon Chae, Hui Sung Lee, "Development of a Deformable and Flexible Robot for Pain Communication: Field Study of ALH-E in the Hospital," The 32nd IEEE Int. Conf. on Robot and Human Interactive Communication (RO-MAN), August, 2023.
Dongyoon Kim, Seungho Yun, Yoonjoung Kwak, Byounghern Kim, Hui Sung Lee, "ALH-E: A Deformable and Flexible Robot that provides Tangible Interaction for Pain Communication," Companion of the 2023 ACM/IEEE International Conference on Human-Robot Interaction, pp. 833-836, March, 2023
Byounghern Kim, Yoon Joung Kwak, Dongyoon Kim, Yong Seop Kwon, Hui Sung Lee, "Development of a Robot-Assisted Online Pain Communication System Using a Squeezable Tangible User Interface," the 31th IEEE Int. Conf. on Robot and Human Interactive Communication (RO-MAN), pp. 185-191, August, 2022.
김동윤, 곽윤정, 김병헌, 이희승, "통증 커뮤니케이션을 위한 구부러짐 및 비틀림 표현 장치 디자인," HCI Korea, pp.244-247, 2월, 2022.

D.Y.Kim, Y.J.Kwak, B.H.Kim, H.S.Lee, "Design of Bending and Twisting Expressive Device for Pain Communication," HCI Korea, pp.244-247, February, 2022.

박수영, 김병헌, 이희승, "다품종 소량생산을 위한 새로운 진공성형기의 시스템 구현," 제36회 제어로봇시스템학회 학술대회(ICROS2021), pp. 46-47, 6월, 2021.

S.Y.Park, B.H.Kim, H.S.Lee, "Implementation of a new vacuum molder controller for the production of multiple types and small quantities," The 36th ICROS Annual Conference, pp. 46-47, June, 2021.

강동훈, 주상진, 이희승, "RAVit - 새로운 형태의 멀티미터 제안," HCI Korea 2020, pp. 1295-1296, 8월, 2020.

D.H.Kang, S.J.Joo, H.S.Lee, "RAVit - Daily Using Multimeter," HCI Korea 2020, pp.1295-1296, August, 2020.

이희승, 강동훈, 김병헌, 박현근, "아크 용접 훈련을 위한 VR기반 용접 시스템 개발," 제35회 제어로봇시스템학회 학술대회(ICROS2020), pp. 125-126, 7월, 2020.

H.S.Lee, D.H.Kang, B.H.Kim, H.K.Park, "Development of VR-Based Welder System for Arc Welding Training," the 35th ICROS Annual Conference (ICROS2020), pp. 125-126, July, 2020.

박하은, 강동훈, 김병헌, 김동현, 유원필, 이희승, "농작업용 기계의 자세정보 획득을 위한 MEMS 각도 센서," 제35회 제어로봇시스템학회 학술대회(ICROS2020), pp. 81-82, 7월, 2020.

H.E.Park, D.H.Kang, B.H.Kim, D.H.Kim, W.P.Yoo, H.S.Lee, "MEMS Tilt Sensor for Acquiring Posture Information of Agricultural Machinery," the 35th ICROS Annual Conference (ICROS2020), pp. 81-82, July, 2020.

Sung Ho Lee, Seong Beom Kim, Byoung Hern Kim, Hui Sung Lee, "LUNE: Representing Lunar Day by Displayed Lighting Object," Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems , INT024, doi:10.1145/3290607.3313240 , 2019. [link]

Developed Device

Lemmy 2024

STM32F746, ToF sensor, motor control, touch sensor, BLE, IMU

Pome 2024

STM32H755, motor control, BLE, touch sensor

Motion Sensor 2024

STM32F072, BLE, IMU

AngGo 2023

STM32F767, ToF sensor, motor control

Angle Sensor 2022

STM32F072, accelrometer

AngGo 2022

STM32F767, ToF sensor, motor control

Vaccum Molder 2021

Bluetooth/Relay control

Virtual Welder 2019

STM32F330, motor control

Anybaro 2019

STM32F411, load-cell, motor control

Reference

Tune!t | IoC(Internet of Car) platform

2015 ~ , Hyundai Motors & Tune!t

Let’s make fun together with your car!

(2020.6) Achakey is supplied to KIA autoQ called 'AutoQ App Key.'(2019.5) Tune!t released Achakey product controlling car functions related to a remote key.https://smartstore.naver.com/achakey/products/4531725049

AUI | acoustic user interaction

2013 ~ 2017, Hyundai Motors

CES2015: https://youtu.be/w-cLX1W3yFoCES2018: https://youtu.be/wE6Opg6jLfs
Acoustic User Interaction is a modern technology used in vehicles or robots that uses the acoustic sounds or signals for touch recognition.The AUI is one of the elements that are beyond the multi-touch.

Sensor Fusion Technology for Autonomous Driving Cars)

2010 ~ 2012, Hyundai Motors

We had developed the technology of autonomous cars that can recognize the position and speed of moving objects around the car using various sensors, such as a camera, an ultrasonic, Lidar(Light Detection and Ranging), etc.

SUR40 | 40 inch multi-touch LCD product

2008 ~ 2010, Samsung Electronics

The SUR40 or Surface2 is a multi-touch table-like computer developed by Samsung and Microsoft that recognizes up to 50 simultaneous touch points. It allows a display to recognize fingers, hands, and objects placed on the screen, enabling vision-based interaction without the use of cameras.

Page updated

Google Sites

Report abuse