Review Article

Split Viewer

J Innov Med Technol 2024; 2(1): 1-7

Published online May 30, 2024

https://doi.org/10.61940/jimt.240005

© Korean Innovative Medical Technology Society

기계학습 기법을 이용한 수술 로봇의 기구학 분석에 대한 연구 동향

정고운1, 고성영1,2

1전남대학교 기계공학과, 2전남대학교 기계공학부

Received: May 20, 2024; Accepted: May 21, 2024

Research trends on kinematics analysis of surgical robotics using machine learning techniques

Gowoon Jeong1 , Seong Young Ko1,2

1Department of Mechanical Engineering, Chonnam National University, Gwangju, Korea, 2School of Mechanical Engineering, Chonnam National University, Gwangju, Korea

Correspondence to : Seong Young Ko
School of Mechanical Engineering, Chonnam National University, 77 Yongbong-ro, Buk-gu, Gwangju 61186, Korea
e-mail sko@jnu.ac.kr
https://orcid.org/0000-0003-4316-0074

Received: May 20, 2024; Accepted: May 21, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Due to the remarkable development of artificial intelligence technology, a lot of efforts are being actively made to utilize it in robotics field. Medical robots are being developed in various types such as serial robots, parallel robots, and continuous robots, taking into account the patient’s anatomy and surgical method. For the precise control, researches are being conducted on accurate kinematic modeling and advanced control algorithms. However, there are limitations in applying traditional numerical approaches to some robots due to their high nonlinearity. Recently, learning-based techniques for kinematics analysis have been reported, demonstrating their potential as a promising solution to overcome nonlinearity. In this paper, we analyze the scope of application and research trends of artificial intelligence technology used in serial robots, parallel robots, and continuous robots, and discuss the possibility of learning-based control in medical robots and future research directions.

Keywords Robotics; Machine learning

최근 의료계에서 의료 이미지 분석 및 진단에 대한 연구를 중심으로 인공지능 기술이 적극적으로 활용되고 있다. 컴퓨터 성능의 고도화로 인해 고성능 인공지능 모델들이 개발되면서 의료영상분석 분야뿐만 아니라 로봇공학에서도 인공지능 모델을 활용하는 연구들이 등장하고 있다. 환자의 해부학적 구조와 수술 방법 등을 고려하여 환자와 유연하게 접촉하기 위해서 다양한 형태의 의료로봇이 개발되고 있는데, 환자의 안전을 보장하고 정확한 동작을 수행하기 위해서는 로봇의 정밀한 제어가 요구된다. 이를 위해 로봇 공학적 측면에서 수술에 요구되는 사항을 만족하는 로봇을 설계하고, 기구학과 동역학을 분석하고 모델링하여 제어하는 일련의 연구들이 필요하다. 하지만 일부 로봇은 높은 비선형 특성으로 인해 로봇을 모델링하는 데 어려움이 있고, 제한된 작업공간을 가져 적절한 경로를 생성하기에 어려움이 있다. 예를 들어 초탄성 튜브를 동축으로 결합하는 연속체 로봇인 동축 튜브 로봇(concentric tube robot, CTR)의 정기구학의 경우 로봇의 물리적 특성을 모두 반영하여 모델링하기가 어렵고, 역기구학의 경우에는 해석적 방법으로 해를 구할 수 없고, 수치적 방법으로만 계산이 가능하다1. 따라서 기존의 해석적 방법으로는 다양한 로봇을 제어하는 데 한계가 있기 때문에, 학습 기반의 방법이 효과적인 해결책으로 주목받고 있다.

기계학습(machine learning)은 인공지능의 하위 범주로, 복잡한 패턴을 학습하여 상황을 예측하고 결정을 돕는 컴퓨터의 프로세스를 의미한다. 기계학습 모델은 크게 4가지로 분류할 수 있다. 먼저 지도학습(supervised learning)은 알고 있는 입력과 출력을 직접 매핑(mapping)하는 방법이다. 이 방법은 로봇을 모델링하는 연구에 사용할 수 있으며, 해석적 접근법과 학습 기반을 조합해서 사용하기도 한다. 반면에 라벨이 지정된 소량의 데이터에서 학습하여 분류를 수행하는 준지도학습(semi-supervised learning)이나 라벨이 없는 데이터에서 패턴을 학습하는 비지도학습(unsupervised learning)은 명확하고 정확한 회귀 결과를 목표로 하는 의료로봇에는 적용 사례가 많지 않다. 마지막으로 강화학습(reinforcement learning)은 컴퓨터가 환경을 관찰하고 관련 데이터를 사용해서 보상을 극대화하는 최적의 행동을 발견하는 방법이다. 이는 로봇 구성에 대한 사전 지식이 적어도 복잡한 동적 환경을 학습할 수 있어 빠르게 발전하고 있다2.

본 연구에서는 의료로봇에서 사용되는 직렬로봇과 병렬로봇, 그리고 연속체 로봇에서 활용되는 기계학습 기술의 적용 범위와 연구 동향을 분석하려 한다. 학습 모델의 경우 명확한 결과를 도출하는 데 적합한 지도학습과 강화학습을 중심으로 사례가 조사되었고, 로봇공학 적용 범위의 경우 로봇의 설계와 모델링, 제어, 오차 보상 등을 중심으로 조사되었다.

직렬로봇(serial robot)

직렬로봇은 강체로 구성된 링크와 관절로 이루어진 로봇으로, 각 관절의 각도와 링크의 길이, 로봇의 구성이 정해지면 로봇의 끝단에 해당하는 엔드 이펙터(end effector)를 포함한 모든 지점에서 로봇의 위치와 자세가 결정된다. 일반적으로 로봇의 정기구학은 Denavit–Hartenberg 표기법(D–H notation)으로 쉽게 표현될 수 있다. 정기구학은 항상 해가 존재하기 때문에 학습 기반으로 정기구학을 구현하기 위해서는 Fig. 1과 같이 관절 각도를 입력으로 하고, 엔드 이펙터의 위치와 자세를 출력 값으로 하는 순방향 신경망(feedforward neural network, FNN) 모델을 사용하는 것이 가능하다. 반면에 역기구학은 특이점이나 다중해가 존재할 수 있고, 고자유도 로봇 팔의 경우 여유 자유도가 발생하여 수치적 방법으로 계산할 경우 연산 속도가 느린 문제가 있다. 이를 개선하기 위해서 학습 기반의 정기구학과 입출력이 반대로 된 신경망 기반의 모델이 개발되었다. Fig. 2A와 같은 역전파 신경망(back propagation neural network)을 사용하면 원하는 값과 실제 모델이 계산한 출력 값의 차이인 출력 오차를 구한 후, 가장 가파른 하강법으로 가중치를 업데이트해서 출력 오차를 최소화해 비선형성인 매핑을 근사화할 수 있다3. 또는 Fig. 2D와 같은 가역 신경망(invertible neural network, INN)을 사용하여 추가 잠재변수를 학습함으로써 다중해 문제를 해결할 수 있다4. 최근에는 로봇의 정기구학을 이용해 신경망 훈련 데이터를 얻고, 예측된 역기구학 해의 오차를 추정해서 보상하는 혼합 모델이 제안되어 기존의 수치적 접근법보다 연산속도가 향상되었다5.

Figure 1.(A) Robot kinematics relationship. (B) Concept of learning based forward kinematics using neural network. EE: end effector.

Figure 2.Models used for learning-based robot kinematics. (A) Back propagation neural network (BPNN)3, (B) radial basis function (RBF) neural network5,12, (C) multi-layer perceptron (MLP) neural network5,12, (D) invertible neural network (INN)4,14, (E) reinforcement learning (RL)6-8,15,20-22, (F) long short-term memory (LSTM)11.

로봇의 역기구학을 구하기 위해서 강화학습이 사용되기도 한다6. 강화학습을 이용한 제어 방법은 Fig. 2E와 같이 로봇의 관절 각도로 상태(state)를 정의하고, 각 관절 각도가 변했을 때(action) 정기구학 기반의 목표지점(goal)을 설정하고, 도달 결과에 따라 보상(reward)을 주는 방식으로 학습된다. 이 방법은 로봇에 대한 사전 지식이 없어도 다양한 환경에서 최적의 경로를 찾을 수 있어 활발하게 연구되고 있다7,8. 강화학습은 장애물 회피와 같이 다양한 상황에서의 로봇 최적 경로를 생성하는 데 주로 활용되고 있으나 본 연구에서는 경로 생성에 대한 논의는 제외하였다.

병렬로봇(parallel robot)

병렬로봇은 관절과 링크가 폐쇄형으로 연결된 비선형 시스템으로 복잡한 기구학 분석이 요구된다. 로봇의 구성에 따라 모델링이 달라지고, 직렬로봇과는 다르게 역기구학이 비교적 간단하게 표현되지만 정기구학이 복잡하다. 또한 초기값에 크게 의존하는 기존의 수치적 방법은 실시간 제어 성능과 작업공간 제한 문제를 완전히 해결하기 어렵다. 이를 보완하기 위해서 병렬로봇을 설계할 때 신경망을 사용하여 로봇의 모델을 학습하고, 생성형 알고리즘으로 로봇의 최적 매개변수를 구할 수 있다9. FNN은 로봇의 작업공간을 검토하는 데도 사용된다10. 정기구학을 구하기 위해서 기존의 정기구학 계산방법에 장단기 메모리(long short-term memory, LSTM) 모델을 결합해서 사용할 수 있다. LSTM 네트워크는 Fig. 2F와 같이 장기 의존성을 학습하는 순환신경망의 일종으로, 엔드 이펙터의 자세가 주어졌을 때 이전의 상태를 고려하여 구동 모터의 필요 길이를 예측할 수 있다11. 신경망을 이용한 역기구학 학습의 경우, Fig. 2C와 같은 다층 퍼셉트론(multi-layer perceptron, MLP)과 Fig. 2B와 같은 방사형 구조 신경망(radial basis function, RBF) 같은 다양한 신경망 구조로 학습할 수 있고12, RBF는 기구학 학습 후 적응형 슬라이딩 모드 제어기에 적용하여 로봇의 제어에 활용되기도 한다13. 이 외에도 역전파 신경망을 이용하여 로봇 자세의 오차를 보상해 정확도를 향상시킬 수 있고14, 로봇의 동역학을 학습하기 위해서 강화학습이 사용되기도 하였다15.

연속체 로봇(continuum robot)

연속체 로봇은 기존의 강체 링크를 가진 로봇과 달리 연속적으로 변형될 수 있는 구조를 이용하여 움직임을 발생한다. 이러한 특성으로 인해 인체에 유연하게 진입하거나 좁은 공간 내에서 높은 자유도를 확보할 수 있다. 기존에는 piecewise constant-curvature 기반 모델, Cosserat rod theory, 그리고 스프링-질량 모델(spring-mass model) 등을 사용하여 연속체 로봇의 기구학을 모델링하였다. 하지만 직렬 및 병렬 로봇과는 다르게, 연속체 로봇은 구동방식과 재료의 탄성, 그리고 주변 환경과의 상호작용으로 인한 비선형적 변형이 크게 발생하기 때문에 로봇을 정확하게 모델링하기 어렵다2. 따라서 기계학습은 수학적 모델 없이 데이터 기반의 모델링과 제어를 위한 효과적인 방법으로 주목받고 있으며, 이에 대한 초기 단계 연구들이 진행되고 있다.

연속체 로봇의 일종인 CTR은 두 개 이상의 초 탄성 튜브가 동축으로 배치된 형태로, 각 튜브의 병진운동과 회전운동을 통해 전체 로봇의 곡률과 팁 위치 및 자세가 결정된다. 이전에는 Cosserat rod theory를 사용해 빔의 굽힘과 비틀림을 고려했지만, 이는 계산 시간이 오래 걸리고, 마찰이나 스냅핑(snapping)과 같은 현상을 고려할 수 없었다. 역기구학의 경우 알려진 해석적 방법이 존재하지 않아 수치적 접근법으로 추정되었는데, 이는 계산 시간이 길고, 수렴이 보장되지 않아 실시간 제어에 사용하기에는 어려웠다. 이에 따라 정기구학 학습을 위해 신경망을 이용하여 튜브의 관절 운동을 입력으로, 자기장 센서를 통해 팁의 위치와 자세를 출력으로 사용하는 모델과 실험 환경을 이용하여 학습되었다. 이 때, 입출력 값을 연속적으로 만들어주기 위해서 삼각함수를 이용한 관절 표현법과 쿼터니언(quaternion)과 벡터(vector) 쌍을 이용한 엔드 이펙터 표현법이 고안되었고1, 모델 비교를 위해 양질의 데이터셋(dataset)이 제시되었다16. 역기구학의 경우 다중해 문제를 해결하기 위해서 생성형 모델을 이용해 데이터를 증강하거나17, 로봇의 현재 모양을 입력 값으로 활용하기도 하였다18. 로봇의 연속적인 모양을 예측하는 것은 이미지 기반의 심층 신경망(deep neural network, DNN)을 이용해 예측이 가능하다19. 또한 강화학습을 통해 CTR을 제어하는 방법도 연구되었다. 시뮬레이션 환경과 실제 환경에서 로봇의 기구학을 학습시키고, 이를 이용해서 목표 보상 기반 전략을 사용하는 심층 강화학습(deep reinforcement learning, DRL)을 통해 경로를 생성함으로써 일반화된 제어 방법이 연구되었다20-22.

또 다른 형태의 로봇인 힘줄 구동형(tendon-driven) 로봇은 복잡한 해부학적 구조에서 최소 침습 수술을 할 수 있어 의료분야에서 관심이 증가하고 있다. 하지만 기구의 유연성(compliance)이 높아 물리적인 변형 또는 이력 현상을 모델링하기 어려워 예측된 모델과 실체 로봇 형상의 불일치 문제가 발생하고, 제작 오차의 정도에 따라 개별적인 변수 조정이 필요하다. 특히 이력 현상(hysteresis, 히스테리시스)을 수학적으로 모델링하기 어렵기 때문에, 학습 기반의 모델링 방법이 연구되고 있다. 심층 디코더 네트워크(deep decoder network)를 이용해 히스테리시스를 고려한 정기구학을 예측하거나23, 가우시안 혼합 밀도 네트워크(Gaussian mixture density network)로 정기구학을 학습할 수 있다24. 히스테리시스 특징을 학습하기 위한 또 다른 방법으로 FNN과 LSTM을 결합하면, 로봇의 이전 상태를 함께 학습하기 때문에 히스테리시스 오차가 발생하는 상황을 학습시킬 수 있다25. INN 모델을 단독으로 사용해서 역기구학을 구해 경로를 생성할 수 있다26. 폐 중재술(pulmonary intervention)을 위한 연속체 로봇에서는 기존의 로봇 해석 방법과 결합된 하이브리드 모델을 사용하여 오차를 보상하는 데 사용하기도 하였다27.

일반적인 연속체 로봇에 대해서도 로봇의 제어 성능을 향상시키기 위한 다양한 연구가 이루어지고 있다. 특히, 연속체 로봇의 오차 보상을 위해 시계열 합성곱 신경망(temporal convolutional network, TCN)과 RGB-D 정보를 활용한 오차 보상 방법과28, 실시간 형상 감지를 위한 MoSSNet이 개발되었다29. 또한 수술용 연속체 로봇의 힘 제어를 위해 학습 기반으로 접촉력을 예측하는 모델이 개발되기도 하였다30,31.

위에서 기술한 학습기반 기구학 연구 사례를 로봇의 종류에 따라 Table 1에 정리하였다. 로봇의 종류에 따른 특징으로 먼저 직렬형 로봇의 경우 고자유도의 산업용 및 협동용 로봇을 대상으로 한 기구학이 해석되었다. 정기구학이 수치적으로 정확하게 알려져 있기 때문에 역기구학 위주의 연구가 수행되었으며, 다른 형태의 로봇에 비해 비교적 적은 수의 데이터가 학습에 사용되었다. 병렬로봇의 경우 선형 또는 회전형 구동기로 구성된 로봇에 대해 분석되었고, 비선형성이 큰 정기구학뿐만 아니라 역기구학을 구하는 연구가 수행되었다. 또 최적설계나 오차 보상에 대한 연구도 함께 수행되었으며, 직렬로봇에 비해 학습에 사용된 데이터의 개수가 많다. 마지막으로 연속체 로봇의 경우, 로봇을 CTR과 힘줄 구동형 로봇, 일반적인 연속체 로봇으로 분류하였다. 연속체 로봇의 높은 비선형성으로 인해 로봇의 형상을 예측하거나 히스테리시스와 같은 오차를 고려하는 기구학이 학습되었다. 다른 로봇에 비해서 많은 데이터가 학습에 사용되었고, 힘줄 구동형보다는 CTR의 기구학을 학습시키는 데 필요한 데이터의 개수가 많았다.

Table 1 Learning-based kinematics classified by types of the robots

Reference no.Robot typeModelTaskSample
3Serial robot6DOF; RS10NBPNNIK5,184
44DOFINNIK-
56DOF; KUKA-KrRBF, MLPIK, error compensation4,890
65DOFRL (TD3)IK-
9Parallel robotStewart platform 6–3NNFK150,000
106DOF; parallel robot (with rotary actuator)FNNFK, workspace10,000
11Stewart platform (SP)LSTMIK-
12TRICEPT PKMMLP, RBFIK4,818
136-RSS parallel robotRBF+SMCIK, control-
146DOF; parallel robotINNError compensation200
153DOF; delta robotRLDynamics18,000
1, 16, 18Continuum robotConcentric tube robotFNNFK, IK, shape sensing, dataset64,000 (FK), 84,000 (IK)1
100,000 (dataset)16
17GANData augmentation65,536
19DNNShape sensing100,000
20, 21, 22DRLIK, control60,00021, 500,00022
23Tendon-driven robotDDNFK, hysteresis compensation2,773
24Gaussian mixture density networkFK100
25FNN+LSTMHysteresis model-
26INNIK, path planning20,000
27INNError compensation1,800
28General continuum robotTCNError compensation30,707
29MoSSNetReal-time shape sensing25,000 (hardware)
50,000 (simulation)
30NNForce sensing, control-
31NNForce sensing, control50,000

DOF: degree of freedom, RSS: revolute-spherical-spherical, BPNN: back propagation neural network, INN: invertible neural network, RBF: radial basis function, MLP: multi-layer perceptron, RL: reinforcement learning, NN: neural network, FNN: feedforward neural network, LSTM: long short-term memory, GAN: generative adversarial network, DNN: deep neural network, DRL: deep reinforcement learning, DDN: deep decoder network, TCN: temporal convolution network, IK: inverse kinematics, FK: forward kinematics.


로봇의 기구학을 학습시키는 방법의 특징으로는, 로봇의 정기구학을 학습시키기 위해서 FNN과 같은 지도학습이 사용되어 로봇의 관절 각도와 엔드 이펙터의 자세를 직접 매핑시킬 수 있다. 역기구학의 경우에도 FNN을 사용할 수 있는데, 은닉층(hidden layer)이 1개인 방사형 기저 함수와 여러 개의 은닉층으로 구성된 다중 퍼셉트론 모델이 각각 사용될 수 있다. 또한 역기구학은 하나의 로봇 자세를 입력했을 때 여러 가지의 관절 입력 각도가 출력될 수 있는 다중해 문제가 존재하기 때문에, INN을 사용하여 추가 잠재변수를 도입함으로써 다중해 문제를 해결할 수 있다. 일부 역기구학이나 히스테리시스 오차와 같이 현재 상태가 이전 상태의 영향을 받는 경우 순환 구조를 가진 LSTM 모델 등을 사용하여 시계열의 정보를 함께 학습하는 것이 가능하다. 연속체 로봇의 모양을 인식하거나 힘 측정을 위해서도 신경망 기반의 지도학습이 사용된다. 강화학습의 경우 역기구학이나 동역학을 학습하기 위해서 사용되기도 하지만, 대체적으로 기구학보다는 경로 생성 분야에서 사용되고 있다.

의료로봇 분야에서 의료 이미지 분야뿐만 아니라 로봇의 기구학과 동역학의 모델링, 최적화, 제어, 오차 보상 등 여러 방면으로 학습 기반의 인공지능 모델이 활용되고 있다. 직렬로봇은 이미 해석적 모델링 방법이 비교적 정확하게 제공되기 때문에, 특이점과 다중해를 고려한 로봇의 경로 생성에 인공지능 모델이 적용되는 추세이다. 병렬로봇의 경우, 로봇의 최적설계와 모델링에서 학습 기반 기술이 적용된다. 기존의 수치적 접근법이 알려져 있기 때문에, 기존 방법과 학습을 융합하는 하이브리드 모델이 제시되고 있으며, 로봇의 오차를 개선하는 방향으로 개발되고 있다. 연속체 로봇의 경우, 로봇 자체의 비선형성으로 인해 학습 기반의 모델링이 연구되고 있는 초기 단계이지만, 직렬 및 병렬 로봇에서 학습 기반의 제어 효과와 유용성이 검증되었기 때문에 인공지능 활용의 범위와 가능성이 크다. 의료로봇은 제한된 작업공간 내에서 정밀한 움직임이 요구되기 때문에 다양한 종류의 맞춤형 로봇이 개발되고 있다. 따라서 기존의 로봇에 적용되던 해석 방법을 적용하지 못할 수 있고, 높은 비선형성과 모델링하기 어려운 물리적 요소들로 인해 제어가 까다롭다. 인공지능 모델은 다양한 환경에서 비선형성을 모델링할 수 있는 효과적인 방법으로 부상하고 있으며, 관련 연구가 빠르게 증가하고 있는 추세이다. 향후 인공지능 모델이 의료로봇에서 발생하는 문제를 해결하는 효과적인 해결 방안으로 거듭나기를 기대한다.

No potential conflict of interest relevant to this article was reported.

이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2022R1A2C2008422).

  1. Grassmann R, Modes V, Burgner-Kahrs J. Learning the forward and inverse kinematics of a 6-DOF concentric tube continuum robot in SE(3). Proceedings of 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2018 Oct 1-5; Madrid, Spain. p. 5125-5132.
    CrossRef
  2. Wang X, Li Y, Kwok KW. A survey for machine learning-based control of continuum robots. Front Robot AI 2021;8:730330. https://doi.org/10.3389/frobt.2021.730330.
    Pubmed KoreaMed CrossRef
  3. Li H, Song Z, Jiang Z, Mo Y, Ni W. Solving inverse kinematics of industrial robot based on BP neural network. Proceedings of 2017 IEEE 7th Annual International Conference on CYBER Technology in Automation, 2017 Jul 31-Aug 4; Honolulu, USA. p. 1167-1171.
    CrossRef
  4. Ardizzone L, Kruse J, Wirkert S, et al. Analyzing inverse problems with invertible neural networks. arXiv [Preprint]. 2018 [cited 2024 May 20].
    Available from: https://doi.org/10.48550/arXiv.1808.04730.
    CrossRef
  5. Chiddarwar SS, Ramesh Babu N. Comparison of RBF and MLP neural networks to solve inverse kinematic problem for 6R serial robot by a fusion approach. Eng Appl Artif Intell 2010;23:1083-1092. https://doi.org/10.1016/j.engappai.2010.01.028.
    CrossRef
  6. Shi X, Guo Z, Huang J, Shen Y, Xia L. A distributed reward algorithm for inverse kinematics of arm robot. Proceedings of 2020 5th International Conference on Automation, Control and Robotics Engineering (CACRE), 2020 Sep 19-20; Dalian, China. p. 92-96.
    CrossRef
  7. Chen L, Jiang Z, Cheng L, Knoll AC, Zhou M. Deep reinforcement learning based trajectory planning under uncertain constraints. Front Neurorobot 2022;16:883562. https://doi.org/10.3389/fnbot.2022.883562.
    Pubmed KoreaMed CrossRef
  8. Liu W, Niu H, Mahyuddin MN, Herrmann G, Carrasco J. A model-free deep reinforcement learning approach for robotic manipulators path planning. Proceedings of 2021 21st International Conference on Control, Automation and Systems (ICCAS), 2021 Oct 12-15; Jeju, Korea. p. 512-517.
    CrossRef
  9. López EG, Yu W, Li X. Optimal design of a parallel robot using neural network and genetic algorithm. Proceedings of 2019 Tenth International Conference on Intelligent Control and Information Processing (ICICIP), 2019 Dec 14-19; Marrakesh, Morocco. p. 64-69.
    CrossRef
  10. Boanta C, Brisan C. Development of a neural network method to estimate the workspace of a parallel robot. Proceedings of 2022 IEEE International Conference on Automation, Quality and Testing, Robotics (AQTR), 2022 May 19-21; Cluj-Napoca, Romania. p. 1-6.
    CrossRef
  11. Wang Q, Xue M, Su J, Liu Q, Chen B, Fang M. Forward kinematics solution for Stewart and TBBP: a neural network approach based on LSTM. Proceedings of 2022 5th International Conference on Robotics, Control and Automation Engineering (RCAE), 2022 Oct 28-30; Changchun, China. p. 227-235.
    CrossRef
  12. Ghasemi J, Moradinezhad R, Hosseini MA. Kinematic synthesis of parallel manipulator via neural network approach. arXiv [Preprint]. 2019 [cited 2024 May 20].
    Available from: https://doi.org/10.48550/arXiv.1904.04668.
    CrossRef
  13. Zhu N, Xie W, Shen H. Adaptive sliding mode control with RBF neural network-based tuning method for parallel robot. Proceedings of IECON 2022 - 48th Annual Conference of the IEEE Industrial Electronics Society, 2022 Oct 17-20; Brussels, Belgium. p. 1-6.
    CrossRef
  14. Yu DY, Cong DC, Han JW. Parallel robots pose accuracy compensation using artificial neural networks. Proceedings of 2005 International Conference on Machine Learning and Cybernetics, 2005 Aug 18-21; Guangzhou, China. p. 3194-3198.
  15. Jalali H, Samadi S, Kalhor A, Masouleh MT. Model-free dynamic control of a 3-DoF Delta parallel robot for pick-and-place application based on deep reinforcement learning. Proceedings of 2022 10th RSI International Conference on Robotics and Mechatronics (ICRoM), 2022 Nov 22-24; Tehran, Iran. p. 48-54.
    Pubmed KoreaMed CrossRef
  16. Grassmann RM, Chen RZ, Liang N, Burgner-Kahrs J. A Dataset and benchmark for learning the kinematics of concentric tube continuum robots. Proceedings of 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2022 Oct 23-27; Kyoto, Japan. p. 9550-9557.
    CrossRef
  17. Hoffmann MK, Gulakala R, Mühlenhoff J, et al. Data augmentation for design of concentric tube continuum robots by generative adversarial networks. Proc Appl Math Mech 2023;23:e202300278. https://doi.org/10.1002/pamm.202300278.
    CrossRef
  18. Liang N, Grassmann RM, Lilge S, Burgner-Kahrs J. Learning-based inverse kinematics from shape as input for concentric tube continuum robots. Proceedings of 2021 IEEE International Conference on Robotics and Automation (ICRA), 2021 May 30-Jun 5; Xi'an, China. p. 1387-1393.
    KoreaMed CrossRef
  19. Kuntz A, Sethi A, Webster RJ 3rd, Alterovitz R. Learning the complete shape of concentric tube robots. IEEE Trans Med Robot Bionics 2020;2:140-147. https://doi.org/10.1109/tmrb.2020.2974523.
    Pubmed KoreaMed CrossRef
  20. Iyengar K, Dwyer G, Stoyanov D. Investigating exploration for deep reinforcement learning of concentric tube robot control. Int J Comput Assist Radiol Surg 2020;15:1157-1165. https://doi.org/10.1007/s11548-020-02194-z.
    Pubmed KoreaMed CrossRef
  21. Iyengar K, Stoyanov D. Deep reinforcement learning for concentric tube robot control with a goal-based curriculum. Proceedings of 2021 IEEE International Conference on Robotics and Automation (ICRA), 2021 May 30-Jun 5; Xi'an, China. p. 1459-1465.
    CrossRef
  22. Iyengar K, Spurgeon S, Stoyanov D. Deep reinforcement learning for concentric tube robot path following. IEEE Trans Med Robot Bionics 2024;6:18-29. https://doi.org/10.1109/TMRB.2023.3310037.
    CrossRef
  23. Cho BY, Esser DS, Thompson J, Thach B, Webster RJ 3rd, Kuntz A. Accounting for hysteresis in the forward kinematics of nonlinearly-routed tendon-driven continuum robots via a learned deep decoder network. arXiv [Preprint]. 2024 [cited 2024 May 20].
    Available from: https://doi.org/10.48550/arXiv.2404.03816.
    CrossRef
  24. Lilge S, Barfoot TD, Burgner-Kahrs J. Continuum robot state estimation using Gaussian process regression on SE(3). Int J Rob Res 2022;41:1099-1120. https://doi.org/10.1177/02783649221128843.
    CrossRef
  25. Wang Y, McCandless M, Donder A, et al. Using neural networks to model hysteretic kinematics in tendon-actuated continuum robots. arXiv [Preprint]. 2024 [cited 2024 May 20].
    Available from: https://doi.org/10.48550/arXiv.2404.07168.
    CrossRef
  26. Garg S, Dudeja S, Rastogi V. Inverse kinematics of tendon driven continuum robots using invertible neural network. Proceedings of 2022 2nd International Conference on Computers and Automation (CompAuto), 2022 Aug 18-20; Paris, France. p. 82-86.
    CrossRef
  27. Bian GB, Wang S, Li Z, et al. Design and nonlinear error compensation of a multi-segment soft continuum robot for pulmonary intervention. IEEE Trans Med Robot Bionics 2023;5:832-842. https://doi.org/10.1109/TMRB.2023.3310011.
    CrossRef
  28. Park J, Jang S, Park H, Bae S, Hwang M. Hysteresis compensation of flexible continuum manipulator using RGBD sensing and temporal convolutional network. arXiv [Preprint]. 2024 [cited 2024 May 20].
    Available from: https://doi.org/10.48550/arXiv.2402.11319.
    CrossRef
  29. Shentu C, Li E, Chen C, Dewi PT, Lindell DB, Burgner-Kahrs J. MoSS: monocular shape sensing for continuum robots. IEEE Robot Autom Lett 2024;9:1524-1531. https://doi.org/10.1109/LRA.2023.3346271.
    CrossRef
  30. Lyu C, Guo S, Yan Y, et al. Deep-learning-based force sensing method for a flexible endovascular surgery robot. IEEE Trans Instrum Meas 2024;73:7503910. https://doi.org/10.1109/TIM.2024.3381290.
    CrossRef
  31. Donat H, Lilge S, Burgner-Kahrs J, Steil JJ. Estimating tip contact forces for concentric tube continuum robots based on backbone deflection. IEEE Trans Med Robot Bionics 2020;2:619-630. https://doi.org/10.1109/TMRB.2020.3034258.
    CrossRef

Article

Review Article

J Innov Med Technol 2024; 2(1): 1-7

Published online May 30, 2024 https://doi.org/10.61940/jimt.240005

Copyright © Korean Innovative Medical Technology Society.

기계학습 기법을 이용한 수술 로봇의 기구학 분석에 대한 연구 동향

정고운1, 고성영1,2

1전남대학교 기계공학과, 2전남대학교 기계공학부

Received: May 20, 2024; Accepted: May 21, 2024

Research trends on kinematics analysis of surgical robotics using machine learning techniques

Gowoon Jeong1 , Seong Young Ko1,2

1Department of Mechanical Engineering, Chonnam National University, Gwangju, Korea, 2School of Mechanical Engineering, Chonnam National University, Gwangju, Korea

Correspondence to:Seong Young Ko
School of Mechanical Engineering, Chonnam National University, 77 Yongbong-ro, Buk-gu, Gwangju 61186, Korea
e-mail sko@jnu.ac.kr
https://orcid.org/0000-0003-4316-0074

Received: May 20, 2024; Accepted: May 21, 2024

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Due to the remarkable development of artificial intelligence technology, a lot of efforts are being actively made to utilize it in robotics field. Medical robots are being developed in various types such as serial robots, parallel robots, and continuous robots, taking into account the patient’s anatomy and surgical method. For the precise control, researches are being conducted on accurate kinematic modeling and advanced control algorithms. However, there are limitations in applying traditional numerical approaches to some robots due to their high nonlinearity. Recently, learning-based techniques for kinematics analysis have been reported, demonstrating their potential as a promising solution to overcome nonlinearity. In this paper, we analyze the scope of application and research trends of artificial intelligence technology used in serial robots, parallel robots, and continuous robots, and discuss the possibility of learning-based control in medical robots and future research directions.

Keywords: Robotics, Machine learning

서 론

최근 의료계에서 의료 이미지 분석 및 진단에 대한 연구를 중심으로 인공지능 기술이 적극적으로 활용되고 있다. 컴퓨터 성능의 고도화로 인해 고성능 인공지능 모델들이 개발되면서 의료영상분석 분야뿐만 아니라 로봇공학에서도 인공지능 모델을 활용하는 연구들이 등장하고 있다. 환자의 해부학적 구조와 수술 방법 등을 고려하여 환자와 유연하게 접촉하기 위해서 다양한 형태의 의료로봇이 개발되고 있는데, 환자의 안전을 보장하고 정확한 동작을 수행하기 위해서는 로봇의 정밀한 제어가 요구된다. 이를 위해 로봇 공학적 측면에서 수술에 요구되는 사항을 만족하는 로봇을 설계하고, 기구학과 동역학을 분석하고 모델링하여 제어하는 일련의 연구들이 필요하다. 하지만 일부 로봇은 높은 비선형 특성으로 인해 로봇을 모델링하는 데 어려움이 있고, 제한된 작업공간을 가져 적절한 경로를 생성하기에 어려움이 있다. 예를 들어 초탄성 튜브를 동축으로 결합하는 연속체 로봇인 동축 튜브 로봇(concentric tube robot, CTR)의 정기구학의 경우 로봇의 물리적 특성을 모두 반영하여 모델링하기가 어렵고, 역기구학의 경우에는 해석적 방법으로 해를 구할 수 없고, 수치적 방법으로만 계산이 가능하다1. 따라서 기존의 해석적 방법으로는 다양한 로봇을 제어하는 데 한계가 있기 때문에, 학습 기반의 방법이 효과적인 해결책으로 주목받고 있다.

기계학습(machine learning)은 인공지능의 하위 범주로, 복잡한 패턴을 학습하여 상황을 예측하고 결정을 돕는 컴퓨터의 프로세스를 의미한다. 기계학습 모델은 크게 4가지로 분류할 수 있다. 먼저 지도학습(supervised learning)은 알고 있는 입력과 출력을 직접 매핑(mapping)하는 방법이다. 이 방법은 로봇을 모델링하는 연구에 사용할 수 있으며, 해석적 접근법과 학습 기반을 조합해서 사용하기도 한다. 반면에 라벨이 지정된 소량의 데이터에서 학습하여 분류를 수행하는 준지도학습(semi-supervised learning)이나 라벨이 없는 데이터에서 패턴을 학습하는 비지도학습(unsupervised learning)은 명확하고 정확한 회귀 결과를 목표로 하는 의료로봇에는 적용 사례가 많지 않다. 마지막으로 강화학습(reinforcement learning)은 컴퓨터가 환경을 관찰하고 관련 데이터를 사용해서 보상을 극대화하는 최적의 행동을 발견하는 방법이다. 이는 로봇 구성에 대한 사전 지식이 적어도 복잡한 동적 환경을 학습할 수 있어 빠르게 발전하고 있다2.

본 연구에서는 의료로봇에서 사용되는 직렬로봇과 병렬로봇, 그리고 연속체 로봇에서 활용되는 기계학습 기술의 적용 범위와 연구 동향을 분석하려 한다. 학습 모델의 경우 명확한 결과를 도출하는 데 적합한 지도학습과 강화학습을 중심으로 사례가 조사되었고, 로봇공학 적용 범위의 경우 로봇의 설계와 모델링, 제어, 오차 보상 등을 중심으로 조사되었다.

본 론

직렬로봇(serial robot)

직렬로봇은 강체로 구성된 링크와 관절로 이루어진 로봇으로, 각 관절의 각도와 링크의 길이, 로봇의 구성이 정해지면 로봇의 끝단에 해당하는 엔드 이펙터(end effector)를 포함한 모든 지점에서 로봇의 위치와 자세가 결정된다. 일반적으로 로봇의 정기구학은 Denavit–Hartenberg 표기법(D–H notation)으로 쉽게 표현될 수 있다. 정기구학은 항상 해가 존재하기 때문에 학습 기반으로 정기구학을 구현하기 위해서는 Fig. 1과 같이 관절 각도를 입력으로 하고, 엔드 이펙터의 위치와 자세를 출력 값으로 하는 순방향 신경망(feedforward neural network, FNN) 모델을 사용하는 것이 가능하다. 반면에 역기구학은 특이점이나 다중해가 존재할 수 있고, 고자유도 로봇 팔의 경우 여유 자유도가 발생하여 수치적 방법으로 계산할 경우 연산 속도가 느린 문제가 있다. 이를 개선하기 위해서 학습 기반의 정기구학과 입출력이 반대로 된 신경망 기반의 모델이 개발되었다. Fig. 2A와 같은 역전파 신경망(back propagation neural network)을 사용하면 원하는 값과 실제 모델이 계산한 출력 값의 차이인 출력 오차를 구한 후, 가장 가파른 하강법으로 가중치를 업데이트해서 출력 오차를 최소화해 비선형성인 매핑을 근사화할 수 있다3. 또는 Fig. 2D와 같은 가역 신경망(invertible neural network, INN)을 사용하여 추가 잠재변수를 학습함으로써 다중해 문제를 해결할 수 있다4. 최근에는 로봇의 정기구학을 이용해 신경망 훈련 데이터를 얻고, 예측된 역기구학 해의 오차를 추정해서 보상하는 혼합 모델이 제안되어 기존의 수치적 접근법보다 연산속도가 향상되었다5.

Figure 1. (A) Robot kinematics relationship. (B) Concept of learning based forward kinematics using neural network. EE: end effector.

Figure 2. Models used for learning-based robot kinematics. (A) Back propagation neural network (BPNN)3, (B) radial basis function (RBF) neural network5,12, (C) multi-layer perceptron (MLP) neural network5,12, (D) invertible neural network (INN)4,14, (E) reinforcement learning (RL)6-8,15,20-22, (F) long short-term memory (LSTM)11.

로봇의 역기구학을 구하기 위해서 강화학습이 사용되기도 한다6. 강화학습을 이용한 제어 방법은 Fig. 2E와 같이 로봇의 관절 각도로 상태(state)를 정의하고, 각 관절 각도가 변했을 때(action) 정기구학 기반의 목표지점(goal)을 설정하고, 도달 결과에 따라 보상(reward)을 주는 방식으로 학습된다. 이 방법은 로봇에 대한 사전 지식이 없어도 다양한 환경에서 최적의 경로를 찾을 수 있어 활발하게 연구되고 있다7,8. 강화학습은 장애물 회피와 같이 다양한 상황에서의 로봇 최적 경로를 생성하는 데 주로 활용되고 있으나 본 연구에서는 경로 생성에 대한 논의는 제외하였다.

병렬로봇(parallel robot)

병렬로봇은 관절과 링크가 폐쇄형으로 연결된 비선형 시스템으로 복잡한 기구학 분석이 요구된다. 로봇의 구성에 따라 모델링이 달라지고, 직렬로봇과는 다르게 역기구학이 비교적 간단하게 표현되지만 정기구학이 복잡하다. 또한 초기값에 크게 의존하는 기존의 수치적 방법은 실시간 제어 성능과 작업공간 제한 문제를 완전히 해결하기 어렵다. 이를 보완하기 위해서 병렬로봇을 설계할 때 신경망을 사용하여 로봇의 모델을 학습하고, 생성형 알고리즘으로 로봇의 최적 매개변수를 구할 수 있다9. FNN은 로봇의 작업공간을 검토하는 데도 사용된다10. 정기구학을 구하기 위해서 기존의 정기구학 계산방법에 장단기 메모리(long short-term memory, LSTM) 모델을 결합해서 사용할 수 있다. LSTM 네트워크는 Fig. 2F와 같이 장기 의존성을 학습하는 순환신경망의 일종으로, 엔드 이펙터의 자세가 주어졌을 때 이전의 상태를 고려하여 구동 모터의 필요 길이를 예측할 수 있다11. 신경망을 이용한 역기구학 학습의 경우, Fig. 2C와 같은 다층 퍼셉트론(multi-layer perceptron, MLP)과 Fig. 2B와 같은 방사형 구조 신경망(radial basis function, RBF) 같은 다양한 신경망 구조로 학습할 수 있고12, RBF는 기구학 학습 후 적응형 슬라이딩 모드 제어기에 적용하여 로봇의 제어에 활용되기도 한다13. 이 외에도 역전파 신경망을 이용하여 로봇 자세의 오차를 보상해 정확도를 향상시킬 수 있고14, 로봇의 동역학을 학습하기 위해서 강화학습이 사용되기도 하였다15.

연속체 로봇(continuum robot)

연속체 로봇은 기존의 강체 링크를 가진 로봇과 달리 연속적으로 변형될 수 있는 구조를 이용하여 움직임을 발생한다. 이러한 특성으로 인해 인체에 유연하게 진입하거나 좁은 공간 내에서 높은 자유도를 확보할 수 있다. 기존에는 piecewise constant-curvature 기반 모델, Cosserat rod theory, 그리고 스프링-질량 모델(spring-mass model) 등을 사용하여 연속체 로봇의 기구학을 모델링하였다. 하지만 직렬 및 병렬 로봇과는 다르게, 연속체 로봇은 구동방식과 재료의 탄성, 그리고 주변 환경과의 상호작용으로 인한 비선형적 변형이 크게 발생하기 때문에 로봇을 정확하게 모델링하기 어렵다2. 따라서 기계학습은 수학적 모델 없이 데이터 기반의 모델링과 제어를 위한 효과적인 방법으로 주목받고 있으며, 이에 대한 초기 단계 연구들이 진행되고 있다.

연속체 로봇의 일종인 CTR은 두 개 이상의 초 탄성 튜브가 동축으로 배치된 형태로, 각 튜브의 병진운동과 회전운동을 통해 전체 로봇의 곡률과 팁 위치 및 자세가 결정된다. 이전에는 Cosserat rod theory를 사용해 빔의 굽힘과 비틀림을 고려했지만, 이는 계산 시간이 오래 걸리고, 마찰이나 스냅핑(snapping)과 같은 현상을 고려할 수 없었다. 역기구학의 경우 알려진 해석적 방법이 존재하지 않아 수치적 접근법으로 추정되었는데, 이는 계산 시간이 길고, 수렴이 보장되지 않아 실시간 제어에 사용하기에는 어려웠다. 이에 따라 정기구학 학습을 위해 신경망을 이용하여 튜브의 관절 운동을 입력으로, 자기장 센서를 통해 팁의 위치와 자세를 출력으로 사용하는 모델과 실험 환경을 이용하여 학습되었다. 이 때, 입출력 값을 연속적으로 만들어주기 위해서 삼각함수를 이용한 관절 표현법과 쿼터니언(quaternion)과 벡터(vector) 쌍을 이용한 엔드 이펙터 표현법이 고안되었고1, 모델 비교를 위해 양질의 데이터셋(dataset)이 제시되었다16. 역기구학의 경우 다중해 문제를 해결하기 위해서 생성형 모델을 이용해 데이터를 증강하거나17, 로봇의 현재 모양을 입력 값으로 활용하기도 하였다18. 로봇의 연속적인 모양을 예측하는 것은 이미지 기반의 심층 신경망(deep neural network, DNN)을 이용해 예측이 가능하다19. 또한 강화학습을 통해 CTR을 제어하는 방법도 연구되었다. 시뮬레이션 환경과 실제 환경에서 로봇의 기구학을 학습시키고, 이를 이용해서 목표 보상 기반 전략을 사용하는 심층 강화학습(deep reinforcement learning, DRL)을 통해 경로를 생성함으로써 일반화된 제어 방법이 연구되었다20-22.

또 다른 형태의 로봇인 힘줄 구동형(tendon-driven) 로봇은 복잡한 해부학적 구조에서 최소 침습 수술을 할 수 있어 의료분야에서 관심이 증가하고 있다. 하지만 기구의 유연성(compliance)이 높아 물리적인 변형 또는 이력 현상을 모델링하기 어려워 예측된 모델과 실체 로봇 형상의 불일치 문제가 발생하고, 제작 오차의 정도에 따라 개별적인 변수 조정이 필요하다. 특히 이력 현상(hysteresis, 히스테리시스)을 수학적으로 모델링하기 어렵기 때문에, 학습 기반의 모델링 방법이 연구되고 있다. 심층 디코더 네트워크(deep decoder network)를 이용해 히스테리시스를 고려한 정기구학을 예측하거나23, 가우시안 혼합 밀도 네트워크(Gaussian mixture density network)로 정기구학을 학습할 수 있다24. 히스테리시스 특징을 학습하기 위한 또 다른 방법으로 FNN과 LSTM을 결합하면, 로봇의 이전 상태를 함께 학습하기 때문에 히스테리시스 오차가 발생하는 상황을 학습시킬 수 있다25. INN 모델을 단독으로 사용해서 역기구학을 구해 경로를 생성할 수 있다26. 폐 중재술(pulmonary intervention)을 위한 연속체 로봇에서는 기존의 로봇 해석 방법과 결합된 하이브리드 모델을 사용하여 오차를 보상하는 데 사용하기도 하였다27.

일반적인 연속체 로봇에 대해서도 로봇의 제어 성능을 향상시키기 위한 다양한 연구가 이루어지고 있다. 특히, 연속체 로봇의 오차 보상을 위해 시계열 합성곱 신경망(temporal convolutional network, TCN)과 RGB-D 정보를 활용한 오차 보상 방법과28, 실시간 형상 감지를 위한 MoSSNet이 개발되었다29. 또한 수술용 연속체 로봇의 힘 제어를 위해 학습 기반으로 접촉력을 예측하는 모델이 개발되기도 하였다30,31.

고 찰

위에서 기술한 학습기반 기구학 연구 사례를 로봇의 종류에 따라 Table 1에 정리하였다. 로봇의 종류에 따른 특징으로 먼저 직렬형 로봇의 경우 고자유도의 산업용 및 협동용 로봇을 대상으로 한 기구학이 해석되었다. 정기구학이 수치적으로 정확하게 알려져 있기 때문에 역기구학 위주의 연구가 수행되었으며, 다른 형태의 로봇에 비해 비교적 적은 수의 데이터가 학습에 사용되었다. 병렬로봇의 경우 선형 또는 회전형 구동기로 구성된 로봇에 대해 분석되었고, 비선형성이 큰 정기구학뿐만 아니라 역기구학을 구하는 연구가 수행되었다. 또 최적설계나 오차 보상에 대한 연구도 함께 수행되었으며, 직렬로봇에 비해 학습에 사용된 데이터의 개수가 많다. 마지막으로 연속체 로봇의 경우, 로봇을 CTR과 힘줄 구동형 로봇, 일반적인 연속체 로봇으로 분류하였다. 연속체 로봇의 높은 비선형성으로 인해 로봇의 형상을 예측하거나 히스테리시스와 같은 오차를 고려하는 기구학이 학습되었다. 다른 로봇에 비해서 많은 데이터가 학습에 사용되었고, 힘줄 구동형보다는 CTR의 기구학을 학습시키는 데 필요한 데이터의 개수가 많았다.

Table 1 . Learning-based kinematics classified by types of the robots.

Reference no.Robot typeModelTaskSample
3Serial robot6DOF; RS10NBPNNIK5,184
44DOFINNIK-
56DOF; KUKA-KrRBF, MLPIK, error compensation4,890
65DOFRL (TD3)IK-
9Parallel robotStewart platform 6–3NNFK150,000
106DOF; parallel robot (with rotary actuator)FNNFK, workspace10,000
11Stewart platform (SP)LSTMIK-
12TRICEPT PKMMLP, RBFIK4,818
136-RSS parallel robotRBF+SMCIK, control-
146DOF; parallel robotINNError compensation200
153DOF; delta robotRLDynamics18,000
1, 16, 18Continuum robotConcentric tube robotFNNFK, IK, shape sensing, dataset64,000 (FK), 84,000 (IK)1
100,000 (dataset)16
17GANData augmentation65,536
19DNNShape sensing100,000
20, 21, 22DRLIK, control60,00021, 500,00022
23Tendon-driven robotDDNFK, hysteresis compensation2,773
24Gaussian mixture density networkFK100
25FNN+LSTMHysteresis model-
26INNIK, path planning20,000
27INNError compensation1,800
28General continuum robotTCNError compensation30,707
29MoSSNetReal-time shape sensing25,000 (hardware)
50,000 (simulation)
30NNForce sensing, control-
31NNForce sensing, control50,000

DOF: degree of freedom, RSS: revolute-spherical-spherical, BPNN: back propagation neural network, INN: invertible neural network, RBF: radial basis function, MLP: multi-layer perceptron, RL: reinforcement learning, NN: neural network, FNN: feedforward neural network, LSTM: long short-term memory, GAN: generative adversarial network, DNN: deep neural network, DRL: deep reinforcement learning, DDN: deep decoder network, TCN: temporal convolution network, IK: inverse kinematics, FK: forward kinematics..



로봇의 기구학을 학습시키는 방법의 특징으로는, 로봇의 정기구학을 학습시키기 위해서 FNN과 같은 지도학습이 사용되어 로봇의 관절 각도와 엔드 이펙터의 자세를 직접 매핑시킬 수 있다. 역기구학의 경우에도 FNN을 사용할 수 있는데, 은닉층(hidden layer)이 1개인 방사형 기저 함수와 여러 개의 은닉층으로 구성된 다중 퍼셉트론 모델이 각각 사용될 수 있다. 또한 역기구학은 하나의 로봇 자세를 입력했을 때 여러 가지의 관절 입력 각도가 출력될 수 있는 다중해 문제가 존재하기 때문에, INN을 사용하여 추가 잠재변수를 도입함으로써 다중해 문제를 해결할 수 있다. 일부 역기구학이나 히스테리시스 오차와 같이 현재 상태가 이전 상태의 영향을 받는 경우 순환 구조를 가진 LSTM 모델 등을 사용하여 시계열의 정보를 함께 학습하는 것이 가능하다. 연속체 로봇의 모양을 인식하거나 힘 측정을 위해서도 신경망 기반의 지도학습이 사용된다. 강화학습의 경우 역기구학이나 동역학을 학습하기 위해서 사용되기도 하지만, 대체적으로 기구학보다는 경로 생성 분야에서 사용되고 있다.

결 론

의료로봇 분야에서 의료 이미지 분야뿐만 아니라 로봇의 기구학과 동역학의 모델링, 최적화, 제어, 오차 보상 등 여러 방면으로 학습 기반의 인공지능 모델이 활용되고 있다. 직렬로봇은 이미 해석적 모델링 방법이 비교적 정확하게 제공되기 때문에, 특이점과 다중해를 고려한 로봇의 경로 생성에 인공지능 모델이 적용되는 추세이다. 병렬로봇의 경우, 로봇의 최적설계와 모델링에서 학습 기반 기술이 적용된다. 기존의 수치적 접근법이 알려져 있기 때문에, 기존 방법과 학습을 융합하는 하이브리드 모델이 제시되고 있으며, 로봇의 오차를 개선하는 방향으로 개발되고 있다. 연속체 로봇의 경우, 로봇 자체의 비선형성으로 인해 학습 기반의 모델링이 연구되고 있는 초기 단계이지만, 직렬 및 병렬 로봇에서 학습 기반의 제어 효과와 유용성이 검증되었기 때문에 인공지능 활용의 범위와 가능성이 크다. 의료로봇은 제한된 작업공간 내에서 정밀한 움직임이 요구되기 때문에 다양한 종류의 맞춤형 로봇이 개발되고 있다. 따라서 기존의 로봇에 적용되던 해석 방법을 적용하지 못할 수 있고, 높은 비선형성과 모델링하기 어려운 물리적 요소들로 인해 제어가 까다롭다. 인공지능 모델은 다양한 환경에서 비선형성을 모델링할 수 있는 효과적인 방법으로 부상하고 있으며, 관련 연구가 빠르게 증가하고 있는 추세이다. 향후 인공지능 모델이 의료로봇에서 발생하는 문제를 해결하는 효과적인 해결 방안으로 거듭나기를 기대한다.

Acknowledgments

None.

Conflict of Interest

No potential conflict of interest relevant to this article was reported.

Funding

이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2022R1A2C2008422).

Fig 1.

Figure 1.(A) Robot kinematics relationship. (B) Concept of learning based forward kinematics using neural network. EE: end effector.
Journal of Innovative Medical Technology 2024; 2: 1-7https://doi.org/10.61940/jimt.240005

Fig 2.

Figure 2.Models used for learning-based robot kinematics. (A) Back propagation neural network (BPNN)3, (B) radial basis function (RBF) neural network5,12, (C) multi-layer perceptron (MLP) neural network5,12, (D) invertible neural network (INN)4,14, (E) reinforcement learning (RL)6-8,15,20-22, (F) long short-term memory (LSTM)11.
Journal of Innovative Medical Technology 2024; 2: 1-7https://doi.org/10.61940/jimt.240005

Table 1 . Learning-based kinematics classified by types of the robots.

Reference no.Robot typeModelTaskSample
3Serial robot6DOF; RS10NBPNNIK5,184
44DOFINNIK-
56DOF; KUKA-KrRBF, MLPIK, error compensation4,890
65DOFRL (TD3)IK-
9Parallel robotStewart platform 6–3NNFK150,000
106DOF; parallel robot (with rotary actuator)FNNFK, workspace10,000
11Stewart platform (SP)LSTMIK-
12TRICEPT PKMMLP, RBFIK4,818
136-RSS parallel robotRBF+SMCIK, control-
146DOF; parallel robotINNError compensation200
153DOF; delta robotRLDynamics18,000
1, 16, 18Continuum robotConcentric tube robotFNNFK, IK, shape sensing, dataset64,000 (FK), 84,000 (IK)1
100,000 (dataset)16
17GANData augmentation65,536
19DNNShape sensing100,000
20, 21, 22DRLIK, control60,00021, 500,00022
23Tendon-driven robotDDNFK, hysteresis compensation2,773
24Gaussian mixture density networkFK100
25FNN+LSTMHysteresis model-
26INNIK, path planning20,000
27INNError compensation1,800
28General continuum robotTCNError compensation30,707
29MoSSNetReal-time shape sensing25,000 (hardware)
50,000 (simulation)
30NNForce sensing, control-
31NNForce sensing, control50,000

DOF: degree of freedom, RSS: revolute-spherical-spherical, BPNN: back propagation neural network, INN: invertible neural network, RBF: radial basis function, MLP: multi-layer perceptron, RL: reinforcement learning, NN: neural network, FNN: feedforward neural network, LSTM: long short-term memory, GAN: generative adversarial network, DNN: deep neural network, DRL: deep reinforcement learning, DDN: deep decoder network, TCN: temporal convolution network, IK: inverse kinematics, FK: forward kinematics..


References

  1. Grassmann R, Modes V, Burgner-Kahrs J. Learning the forward and inverse kinematics of a 6-DOF concentric tube continuum robot in SE(3). Proceedings of 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2018 Oct 1-5; Madrid, Spain. p. 5125-5132.
    CrossRef
  2. Wang X, Li Y, Kwok KW. A survey for machine learning-based control of continuum robots. Front Robot AI 2021;8:730330. https://doi.org/10.3389/frobt.2021.730330.
    Pubmed KoreaMed CrossRef
  3. Li H, Song Z, Jiang Z, Mo Y, Ni W. Solving inverse kinematics of industrial robot based on BP neural network. Proceedings of 2017 IEEE 7th Annual International Conference on CYBER Technology in Automation, 2017 Jul 31-Aug 4; Honolulu, USA. p. 1167-1171.
    CrossRef
  4. Ardizzone L, Kruse J, Wirkert S, et al. Analyzing inverse problems with invertible neural networks. arXiv [Preprint]. 2018 [cited 2024 May 20]. Available from: https://doi.org/10.48550/arXiv.1808.04730.
    CrossRef
  5. Chiddarwar SS, Ramesh Babu N. Comparison of RBF and MLP neural networks to solve inverse kinematic problem for 6R serial robot by a fusion approach. Eng Appl Artif Intell 2010;23:1083-1092. https://doi.org/10.1016/j.engappai.2010.01.028.
    CrossRef
  6. Shi X, Guo Z, Huang J, Shen Y, Xia L. A distributed reward algorithm for inverse kinematics of arm robot. Proceedings of 2020 5th International Conference on Automation, Control and Robotics Engineering (CACRE), 2020 Sep 19-20; Dalian, China. p. 92-96.
    CrossRef
  7. Chen L, Jiang Z, Cheng L, Knoll AC, Zhou M. Deep reinforcement learning based trajectory planning under uncertain constraints. Front Neurorobot 2022;16:883562. https://doi.org/10.3389/fnbot.2022.883562.
    Pubmed KoreaMed CrossRef
  8. Liu W, Niu H, Mahyuddin MN, Herrmann G, Carrasco J. A model-free deep reinforcement learning approach for robotic manipulators path planning. Proceedings of 2021 21st International Conference on Control, Automation and Systems (ICCAS), 2021 Oct 12-15; Jeju, Korea. p. 512-517.
    CrossRef
  9. López EG, Yu W, Li X. Optimal design of a parallel robot using neural network and genetic algorithm. Proceedings of 2019 Tenth International Conference on Intelligent Control and Information Processing (ICICIP), 2019 Dec 14-19; Marrakesh, Morocco. p. 64-69.
    CrossRef
  10. Boanta C, Brisan C. Development of a neural network method to estimate the workspace of a parallel robot. Proceedings of 2022 IEEE International Conference on Automation, Quality and Testing, Robotics (AQTR), 2022 May 19-21; Cluj-Napoca, Romania. p. 1-6.
    CrossRef
  11. Wang Q, Xue M, Su J, Liu Q, Chen B, Fang M. Forward kinematics solution for Stewart and TBBP: a neural network approach based on LSTM. Proceedings of 2022 5th International Conference on Robotics, Control and Automation Engineering (RCAE), 2022 Oct 28-30; Changchun, China. p. 227-235.
    CrossRef
  12. Ghasemi J, Moradinezhad R, Hosseini MA. Kinematic synthesis of parallel manipulator via neural network approach. arXiv [Preprint]. 2019 [cited 2024 May 20]. Available from: https://doi.org/10.48550/arXiv.1904.04668.
    CrossRef
  13. Zhu N, Xie W, Shen H. Adaptive sliding mode control with RBF neural network-based tuning method for parallel robot. Proceedings of IECON 2022 - 48th Annual Conference of the IEEE Industrial Electronics Society, 2022 Oct 17-20; Brussels, Belgium. p. 1-6.
    CrossRef
  14. Yu DY, Cong DC, Han JW. Parallel robots pose accuracy compensation using artificial neural networks. Proceedings of 2005 International Conference on Machine Learning and Cybernetics, 2005 Aug 18-21; Guangzhou, China. p. 3194-3198.
  15. Jalali H, Samadi S, Kalhor A, Masouleh MT. Model-free dynamic control of a 3-DoF Delta parallel robot for pick-and-place application based on deep reinforcement learning. Proceedings of 2022 10th RSI International Conference on Robotics and Mechatronics (ICRoM), 2022 Nov 22-24; Tehran, Iran. p. 48-54.
    Pubmed KoreaMed CrossRef
  16. Grassmann RM, Chen RZ, Liang N, Burgner-Kahrs J. A Dataset and benchmark for learning the kinematics of concentric tube continuum robots. Proceedings of 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2022 Oct 23-27; Kyoto, Japan. p. 9550-9557.
    CrossRef
  17. Hoffmann MK, Gulakala R, Mühlenhoff J, et al. Data augmentation for design of concentric tube continuum robots by generative adversarial networks. Proc Appl Math Mech 2023;23:e202300278. https://doi.org/10.1002/pamm.202300278.
    CrossRef
  18. Liang N, Grassmann RM, Lilge S, Burgner-Kahrs J. Learning-based inverse kinematics from shape as input for concentric tube continuum robots. Proceedings of 2021 IEEE International Conference on Robotics and Automation (ICRA), 2021 May 30-Jun 5; Xi'an, China. p. 1387-1393.
    KoreaMed CrossRef
  19. Kuntz A, Sethi A, Webster RJ 3rd, Alterovitz R. Learning the complete shape of concentric tube robots. IEEE Trans Med Robot Bionics 2020;2:140-147. https://doi.org/10.1109/tmrb.2020.2974523.
    Pubmed KoreaMed CrossRef
  20. Iyengar K, Dwyer G, Stoyanov D. Investigating exploration for deep reinforcement learning of concentric tube robot control. Int J Comput Assist Radiol Surg 2020;15:1157-1165. https://doi.org/10.1007/s11548-020-02194-z.
    Pubmed KoreaMed CrossRef
  21. Iyengar K, Stoyanov D. Deep reinforcement learning for concentric tube robot control with a goal-based curriculum. Proceedings of 2021 IEEE International Conference on Robotics and Automation (ICRA), 2021 May 30-Jun 5; Xi'an, China. p. 1459-1465.
    CrossRef
  22. Iyengar K, Spurgeon S, Stoyanov D. Deep reinforcement learning for concentric tube robot path following. IEEE Trans Med Robot Bionics 2024;6:18-29. https://doi.org/10.1109/TMRB.2023.3310037.
    CrossRef
  23. Cho BY, Esser DS, Thompson J, Thach B, Webster RJ 3rd, Kuntz A. Accounting for hysteresis in the forward kinematics of nonlinearly-routed tendon-driven continuum robots via a learned deep decoder network. arXiv [Preprint]. 2024 [cited 2024 May 20]. Available from: https://doi.org/10.48550/arXiv.2404.03816.
    CrossRef
  24. Lilge S, Barfoot TD, Burgner-Kahrs J. Continuum robot state estimation using Gaussian process regression on SE(3). Int J Rob Res 2022;41:1099-1120. https://doi.org/10.1177/02783649221128843.
    CrossRef
  25. Wang Y, McCandless M, Donder A, et al. Using neural networks to model hysteretic kinematics in tendon-actuated continuum robots. arXiv [Preprint]. 2024 [cited 2024 May 20]. Available from: https://doi.org/10.48550/arXiv.2404.07168.
    CrossRef
  26. Garg S, Dudeja S, Rastogi V. Inverse kinematics of tendon driven continuum robots using invertible neural network. Proceedings of 2022 2nd International Conference on Computers and Automation (CompAuto), 2022 Aug 18-20; Paris, France. p. 82-86.
    CrossRef
  27. Bian GB, Wang S, Li Z, et al. Design and nonlinear error compensation of a multi-segment soft continuum robot for pulmonary intervention. IEEE Trans Med Robot Bionics 2023;5:832-842. https://doi.org/10.1109/TMRB.2023.3310011.
    CrossRef
  28. Park J, Jang S, Park H, Bae S, Hwang M. Hysteresis compensation of flexible continuum manipulator using RGBD sensing and temporal convolutional network. arXiv [Preprint]. 2024 [cited 2024 May 20]. Available from: https://doi.org/10.48550/arXiv.2402.11319.
    CrossRef
  29. Shentu C, Li E, Chen C, Dewi PT, Lindell DB, Burgner-Kahrs J. MoSS: monocular shape sensing for continuum robots. IEEE Robot Autom Lett 2024;9:1524-1531. https://doi.org/10.1109/LRA.2023.3346271.
    CrossRef
  30. Lyu C, Guo S, Yan Y, et al. Deep-learning-based force sensing method for a flexible endovascular surgery robot. IEEE Trans Instrum Meas 2024;73:7503910. https://doi.org/10.1109/TIM.2024.3381290.
    CrossRef
  31. Donat H, Lilge S, Burgner-Kahrs J, Steil JJ. Estimating tip contact forces for concentric tube continuum robots based on backbone deflection. IEEE Trans Med Robot Bionics 2020;2:619-630. https://doi.org/10.1109/TMRB.2020.3034258.
    CrossRef
Journal of Innovative Medical Technology
May 30, 2024 Vol.2 No.1, pp. 1~28

Stats or Metrics

Share this article on

  • line

JIMT