Cao Y, Zhao Y, Jin X, Zhang J, Zhang G, Huang P, Zhang G, Han Y.
J Imaging. 2025 May 15;11(5):154. doi: 10.3390/jimaging11050154.
Endoscopy에서 "AIG에 대한 다부위 중합 모델의 AI 진단기술"을 소개하였는데 (최신연구결과 125번), 비슷하지만 또 약간 다른 AIG에 대한 AI 진단방법을 소개합니다. 내용을 정리하면서 느끼는 거지만, 중국의 의학적 기술은 빠르게 진화하는 것 같습니다. 질환에 대한 인식을 뛰어 넘어 진단 기술에서도 많은 발전이 느껴집니다. 아직 질환에 대한 인식조차 낮은 우리나라에서는 갈 길이 멀고도 멀어 보여 많이 안타깝습니다...
1. Introduction
의료 영상은 인체 내부 구조를 정밀하게 촬영하고 질병 관련 이상을 신속하고 효율적이며 비침습적으로 탐지할 수 있어, 임상의에게 직관적이고 정확한 진단 근거를 제공하는 데 중요한 역할을 합니다. 그러나 의료 영상을 해석하는 작업은 숙련된 의사의 경험을 필요로 하며, 대부분의 영상은 진단 결론에 도달하기까지 많은 집중력과 시간이 요구됩니다. 이는 의사에게 높은 부담을 주고, 업무량 증가로 이어집니다.
최근 몇 년 사이 디지털 영상 처리 기술, 특히 딥러닝 알고리즘의 급속한 발전은 의료 영상 데이터를 해석하는 모델의 성능을 크게 향상시켰습니다[1-3]. 적절한 설계와 충분한 학습을 통해 딥러닝 모델은 특히 의료 영상 분석에서 매우 빠르고 정확한 분석 능력을 보여주고 있습니다. 이에 따라 점점 더 많은 연구자들이 의료 영상 해석을 위한 컴퓨터 비전 알고리즘과 컴퓨터 보조 진단(CAD, Computer-Aided Diagnosis) 시스템 개발에 주목하고 있습니다. 이러한 시스템은 의료 영상 분석의 효율성과 정확도를 높이고, 의사의 업무 부담을 줄이며, 진단 정밀도를 개선하고[4], 궁극적으로 의료 영상 검사와 진단의 비용을 절감하여 더 많은 사람들이 의료 혜택을 받을 수 있도록 하는 것을 목표로 합니다.
CAD 시스템 개발의 핵심 과제 중 하나는 의료 영상 분류입니다. 이는 영상에 나타난 해부학적 구조를 식별하고, 질병 관련 병변이 존재하는지를 판별하는 과정을 포함합니다. 의료 영상 분류를 통해 도출된 정성적 정보는 의사들이 예비적인 진단 결론을 내리는 데 도움을 줍니다. 현재 이미지 분류를 위한 딥러닝 모델은 크게 두 가지 범주로 나뉩니다. 하나는 ResNet[5], DenseNet[6], VGGNet[7]과 같은 합성곱 신경망(convolutional neural network, CNN) 기반 모델이며, 다른 하나는 Vision Transformer, Swin Transformer[9]와 같은 어텐션 메커니즘 기반 모델(attentional mechanism-based models)입니다. 이러한 분류 모델들은 병리 조직 영상, 초음파 영상, 엑스레이(X-ray) 영상, 내시경 영상 등 다양한 의료 영상에 폭넓게 적용되고 있습니다.
자가면역성 위염(Autoimmune Gastritis, AIG)은 만성 위축성 위염(Chronic Atrophic Gastritis, CAG)의 아형(subtype)으로, 무산증(achlorhydria), 고가스트린혈증(hypergastrinemia), 거대적아구성 빈혈(megaloblastic anemia)과 같은 증상과 연관되어 있습니다. 시간이 지나면서 AIG는 위 신경내분비 종양(NETs)[10]이나 위암[11]으로 진행될 수 있습니다. 과거에는 AIG가 악성 빈혈의 유병률이 높은 북유럽에서 더 흔한 질환으로 여겨졌지만, 내시경 사용이 보편화되면서 중국을 포함한 아시아에서도 상당수의 AIG 사례가 보고되고 있습니다. 그러나 이러한 지역에서는 AIG 진단에 대한 연구가 미흡하고, 전반적인 질환 인식도 부족한 실정입니다.
AIG 진단에 있어 내시경 검사는 핵심적인 역할을 합니다. 의사들은 위 점막의 형태학적 변화(morphological change)를 통해 AIG의 가능성을 파악하고, 추가적인 검사로 진단을 확정하게 됩니다. 하지만 의료 자원이 제한된 지역에서는 AIG에 대한 임상의의 지식이 부족하여 내시경 이미지 해석 과정에서 AIG 관련 특징이 간과되어 진단 누락이 발생할 수 있습니다.
AIG는 내시경상 위 체부(body)와 기저부(fundus)에서 위축이 관찰되며, 전정부(antrum)에서는 위축이 거의 없거나 없습니다. 이러한 형태학적 특징은 흔히 "역위축(reverse atrophy)"이라 불리며, 주로 유문부에 영향을 미치고 체부까지 확장되는 헬리코박터 파일로리 감염성 위축성 위염과는 대조적입니다. 따라서 AIG 관련 내시경 영상 분석에서는 위의 부위별 위 점막 위축 패턴을 인식하는 것이 정확한 진단을 위해 매우 중요합니다.
이러한 배경을 바탕으로, 본 연구에서는 환자 기반 다중 작업(multi-task) 내시경 이미지 분석 방법을 제안합니다. 이 방법은 내시경 영상 내의 위 해부학적 부위 정보와 점막 위축 상태를 동시에 평가하여, 의사들의 내시경 판독을 지원하는 유용한 정보를 제공합니다.
먼저, 한 환자의 내시경 검사에서 촬영된 일부 영상은 중복된 위 점막 부위를 포함하고 있을 수 있습니다. 각 이미지를 독립적으로 분석하면 이러한 영상 간 관계를 반영하지 못해 정보 손실이 발생하고, 분석 정확도에도 악영향을 줄 수 있습니다. 이를 해결하기 위해 본 연구에서는 쌍(pairwise) 영상 정합(image registration)을 수행하여 이미지 간 관계를 설정하고, 이를 활용해 해부학적 부위 분류와 병변 인식 정확도를 최적화합니다.
다음으로, AIG의 특징인 "역위축(reverse atrophy)"을 효과적으로 포착하기 위해, 환자의 내시경 이미지를 기저부, 체부, 유문부의 세 가지 해부학적 부위로 분류합니다. 이 과정은 영상에 나타난 해부학적 공간 정보를 제공하며, 동시에 각 부위에서 점막 위축 병변이 존재하는지 여부를 인식합니다.
또한, 본 연구는 자동화된 모델의 진단 결과에 대한 해석 가능성(interpretability)을 분석함으로써, 의사들이 모델의 예측 결과를 신뢰할 수 있도록 하며 임상 적용 가능성을 높이고자 했습니다.
실험 결과, 본 논문에서 제안한 환자 기반 다중 작업 네트워크는 일반적인 이미지 분류 모델보다 해부학적 부위 분류 및 병변 인식에서 더 우수한 성능을 보였습니다. 또한, 일정 수준의 해석 가능성을 확보하여 임상 응용에 있어 신뢰성을 높였습니다.
본 연구의 주요 기여점은 다음과 같습니다:
자가면역성 위염(AIG)과 관련된 위내시경 영상에서 해부학적 부위 분류 및 병변 인식을 동시에 수행하는 다중 작업 딥러닝 네트워크를 제안하여, 비교적 드문 질환에 대한 자동 진단을 지원합니다.
SIFT(Scale-Invariant Feature Transform) 알고리즘 기반 영상 정합 기법을 통해 하나의 환자에게서 획득된 여러 내시경 영상 간의 상관관계를 분석하고, 유사도 행렬을 구성하여 이미지 그룹화를 수행함으로써 단일 이미지 분석의 한계를 극복하고 분류 정확도를 향상시킵니다.
제안된 방법에 대한 해석 가능성 연구를 수행하여, 자동 진단 모델의 결과 해석이 어려운 문제를 완화하고, 자가면역성 위염 진단에서 자동화 기법의 활용도를 높이고자 했습니다.
2. Related Works
최근 딥러닝 모델의 발전과 함께, 연구자들은 다양한 의료 영상 분석 분야에 딥러닝 네트워크를 적용해 왔습니다. 이러한 노력은 병리학 이미지, 엑스레이(X-ray) 이미지, CT 이미지, 초음파 이미지, 내시경 이미지 등 다양한 분야에 걸쳐 진행되고 있습니다 [12–19]. 연구자들은 각 영상 유형의 고유한 특성에 맞춰 의료 영상 분류 모델을 설계 및 개발해왔으며, 이들 연구에서 사용된 백본(backbone) 네트워크 모델은 CNN, Transformer 및 그 변형 모델들을 포함합니다.
일반적으로 위내시경 이미지 처리 모델을 설계하는 접근 방식은 두 가지로 나눌 수 있습니다. 하나는 이미지 분류를 기반으로 한 end-to-end 질병 진단 방식이며, 다른 하나는 용종, 출혈 등과 같은 세부적인 영상 정보를 추출하는 방식입니다. 후자의 방식은 진단 과정에서 의사에게 유용한 정보를 제공하는 데 중점을 둡니다.
End-to-end 질병 진단의 예로, Satoki Shichijo 등[20]은 CNN을 활용하여 헬리코박터 파일로리(H. pylori) 감염성 위염을 진단하였고, 실험 결과 CNN이 진단 속도와 정확도 측면에서 의사를 능가함을 보여주었습니다. 또한 Gong 등[21]은 자가면역성 위염(AIG)과 H. pylori 감염성 위염을 분류 및 진단하기 위해, 합성곱 신경망(convolutional neural network)과 상대적 자기 주의 메커니즘(relative self-attention)을 병렬로 구성한 새로운 CAD 방법인 CRSAPNet을 개발하여 높은 진단 정확도를 달성하였습니다.
세부 정보 추출을 목적으로 한 연구로는, Zhao 등[22]이 자기 주의(self-attention) 모듈이 포함된 적응적 코사인 유사도 네트워크(AdaSAN)를 제안하여, 소화기계 캡슐 내시경 이미지에서 염증, 출혈, 용종, 정상 조직을 분류하는 데 있어 뛰어난 성능을 보여주었습니다. Rustam 등[23]은 MobileNet과 CNN을 결합하여 캡슐 위내시경(WCE) 이미지 분류를 위한 경량 모델인 BIR을 제안하였으며, 출혈 병변의 효율적인 탐지에 성공하였습니다. 또한 Mu 등[24]은 ResNet-50을 백본으로 사용하는 심층 합성곱 신경망(DCNN)을 내시경 영상 분석에 적용하였고, 위염 영상의 3가지 분류에 대해 단계적 분석을 수행하여 높은 특이도와 정확도를 달성하였습니다.
다중 작업(multitask) 네트워크의 맥락에서는, 최근 기술 발전으로 인해 의료 영상 분석의 성능과 효율성이 크게 향상되었습니다. 이 네트워크들은 분할(segmentation)과 분류(classification) 같은 관련 작업을 동시에 최적화함으로써 그 시너지 효과를 극대화할 수 있습니다. 예를 들어, Ling 등[25]은 MTANet(one-stage multi-task attention network)을 제안하였으며, 이는 의료 영상 내 객체를 효율적으로 분류하고 동시에 고품질의 분할 마스크를 생성합니다. Zhou 등[26]은 다중 작업 네트워크를 활용하여 3차원 자동 유방 초음파(ABUS) 영상에서 종양 특성화를 향상시키기 위한 분할-분류 통합 모델을 개발하였습니다. 또한, Percannella 등[27]은 병리학 영역에서 다중 작업 학습을 확장하여, HEp-2 세포 이미지의 강도 분류와 표본 분할 작업을 동시에 수행하였습니다.
이러한 연구들은 다중 작업 네트워크가 단순히 연산 효율성에 그치지 않고, 작업 간 상호 보완적 정보(task synergy)를 효과적으로 활용하고, 주석 비용(annotation costs)을 줄이며, 의료 영상 처리의 정밀도를 향상시키는 데 중요한 역할을 한다는 점을 보여줍니다.
3. Method
3.1. Data Acquisition
본 연구에 사용된 위내시경 영상 데이터셋은 절강대학교 의과대학 제2부속병원 소화기내과에서 제공받았습니다. 해당 데이터셋은 총 298명의 환자로 구성되어 있으며, 이들 환자의 성별 및 연령 등의 임상 정보는 표 1에 제시되어 있습니다.
이 환자들은 경험이 풍부한 소화기내과 전문의에 의해 다음 세 가지 질환으로 진단받았습니다:
자가면역성 위염(AIG)
헬리코박터 파일로리(H. pylori) 양성 위축성 위염
H. pylori 음성 만성 위축성 위염
AIG는 일본의 자가면역성 위염 진단 기준[28]에 따라 진단되었습니다. H. pylori 감염 여부는 ¹³C-요소호기검사(13C-UBT)에서 양성 소견을 보이고, 다음 두 가지 검사(조직검사와 대변항원검사) 중 적어도 하나에서 양성일 경우로 판단하였습니다. 만성 위축성 위염(CAG)은 위내시경 소견과 조직병리 결과를 바탕으로 진단하였습니다.
영상 해상도는 1916 × 1076, 716 × 476, 764 × 572 등 다양하였으며, 본 연구에서는 모든 이미지를 512 × 512로 균일하게 크기 조정하였습니다. 본 연구는 병원 윤리위원회의 승인을 받았으며, 모든 대상자에게 서면 동의서를 받아 연구를 진행하였습니다.
본 연구에 사용된 모든 이미지는 소화기내과 전문의들이 주석 작업(라벨링)을 수행하여, 모델 학습에 필요한 라벨 정보를 제공하였습니다. 총 5,981장의 이미지가 이미지 수준의 라벨을 갖춘 상태로 사용되었습니다.
그림 1에 제시된 바와 같이, 이들 이미지는 위의 해부학적 부위에 따라 다음의 세 가지 범주로 분류되었습니다:
기저부(fundus)
위체부(body)
전정부(antrum)
병변 분류 측면에서는, 이미지를 두 가지 범주로 나누었습니다:
위축성 위점막(atrophic mucosa)
정상 위점막(normal mucosa)
Figure 1. Examples of dataset images and their labels. Images in the left/right 2 columns: normal gastric mucosa/atrophic gastric mucosa. Images in the 1st/2nd/3rd row: fundus/body/antrum of the stomach.
데이터셋은 전체를 약 6:2:2의 비율로 훈련(train), 검증(validation), 테스트(test) 세트로 분할하였습니다. 환자 단위의 데이터 누출을 방지하기 위해, 동일 환자에게서 얻은 이미지는 반드시 하나의 세트(훈련 혹은 검증)에만 포함되도록 엄격히 분리하였습니다.
구체적으로는,
훈련 세트는 201명의 환자로부터 수집된 3,529장의 이미지,
검증 세트는 49명의 환자로부터 수집된 1,275장의 이미지,
테스트 세트는 48명의 환자로부터 수집된 1,177장의 이미지로 구성되었습니다.
3.2. Overall Structure
그림 2는 본 연구에서 제안한 환자 기반 다중 과제 위내시경 영상 분석 방법의 전체 워크플로우를 보여줍니다.
Figure 2. An overall schematic of the proposed method. A batch of gastroscopic images are acquired. Then, the image registration algorithm is used to calculate the similarity between the images in the batch to form similarity matrix, based on which, this batch of images are divided into groups. Finally, two classification tasks are carried out to extract the information related to autoimmune gastritis (AIG) in images, including the information about the anatomical region in the image and the information about the atrophic lesion of the gastric mucosa.
먼저, 환자의 내시경 검사 중 수집된 위내시경 이미지들을 하나의 배치(batch)로 모읍니다. 이후 이미지 그룹화 단계에서, 이미지 정합(image registration) 알고리즘을 적용하여 배치 내 이미지 간의 유사도를 계산하고, 이를 통해 유사도 행렬(similarity matrix)을 생성합니다. 이 유사도 행렬을 기반으로 이미지를 여러 그룹으로 클러스터링합니다.
그 다음, 동일한 네트워크를 통해 두 가지 분류 작업이 수행됩니다:
해부학적 부위 분류(anatomical region classification)
병변 인식(lesion recognition)
이 과정을 통해 각 이미지에 나타난 해부학적 부위 정보(기저부, 체부, 전정부)와 위점막 위축 병변의 존재 여부를 분석하여, 자가면역성 위염(AIG)과 관련된 정보를 추출하게 됩니다.
해부학적 부위 분류를 통해 각 위내시경 이미지가 어느 위 부위(fundus, body, antrum)에 해당하는지를 결정하고, 동시에 병변 분류를 통해 위점막 위축의 존재 여부 및 심각도를 평가할 수 있습니다. 이 두 가지 정보를 통합 분석함으로써, 기저부, 체부, 전정부 각각의 위축 상태를 종합적으로 판단할 수 있으며, 이를 바탕으로 “역위축(reverse atrophy)”과 같은 AIG의 특징적인 위축 패턴을 감지하고, AIG 가능성에 대한 예비 평가(preliminary assessment)를 수행할 수 있습니다.
3.3. Images Grouping
위내시경 검사 중, 의사는 동일한 위점막 부위를 여러 장 촬영하는 경우가 많습니다. 이러한 이미지들은 연속적으로 촬영되기 때문에 서로 연관된 영역을 포함하는 경향이 있습니다. 이처럼 연관된 이미지들로부터 정보를 결합하여 공동 분석(joint analysis)을 수행하면, 보완적인 정보(complementary information)를 활용할 수 있으며, 해당 부위를 더 잘 대표하는 종합적인 특징(comprehensive features)을 추출할 수 있습니다. 이는 더 효과적인 분류에 기여합니다.
예를 들어, 이미지 A와 B가 거의 동일한 위점막 부위를 보여주며 위치와 형태가 유사하다면, 두 이미지는 해당 위 부위 및 병변에 대해 중복된 정보를 제공한다고 볼 수 있습니다. 결과적으로 이러한 이미지는 서로를 보완할 수 있으며, 추가적인 정보가 위의 해부학적 영역 분류 및 병변 인식의 정확도를 높이는 데 도움이 되어, 모델의 오분류 가능성을 줄일 수 있습니다.
환자의 이미지 간의 상호 연관성을 분석하고 이들 간의 관계를 활용하는 접근법은, 각 이미지를 독립적으로 분석하고 단순히 정보를 통합하는 방식보다 더 큰 임상적 가치를 가집니다.
실험에서는 고전적인 이미지 정합 알고리즘인 SIFT(Scale Invariant Feature Transform) [29]를 적용하였습니다. SIFT는 이미지 정합, 객체 탐지, 3D 재구성 등 다양한 컴퓨터 비전 작업에 널리 사용되는 알고리즘으로, 크기(scale)와 회전(rotation)에 불변한 이미지의 주요 특징점(key points)과 해당 기술자(descriptor)를 추출할 수 있어 정확한 이미지 정합이 가능합니다.
SIFT 알고리즘은 다음 네 단계로 구성됩니다:
스케일-스페이스 구성(scale-space construction):
가우시안 피라미드를 통해 이미지의 다중 스케일 표현을 구성하고, Difference of Gaussians (DoG)를 계산하여 잠재적 특징점을 탐지합니다. 이 특징점들은 일반적으로 이미지에서 뚜렷한 모서리(corner)나 경계(edge)에 해당합니다.
주요 특징점 탐지(key point detection):
각 스케일 수준에서 특징점을 정밀하게 국소화하고, 낮은 대비와 가장자리 반응을 억제하여 탐지 정확성과 견고함을 향상시킵니다.
방향 할당(orientation assignment):
각 특징점 주변의 그래디언트 방향 분포를 기반으로 1개 이상의 주 방향(orientation)을 부여함으로써 이미지 회전에 대한 불변성을 확보합니다.
특징 기술자 생성(feature descriptor generation):
각 특징점 주변의 그래디언트 히스토그램을 기반으로 기술자를 생성하고, 조명 변화나 어파인 변환에 대한 견고성을 확보하기 위해 정규화합니다.
SIFT 기술자의 매칭은 주로 유클리드 거리(Euclidean distance) 또는 기타 유사도 측정 기준을 통해 수행되며, 랜덤 샘플 컨센서스(RANSAC) 기법을 사용해 오매칭(mismatch)을 제거함으로써 견고한 이미지 정합을 달성합니다.
본 연구에서는 한 명의 환자에 대한 모든 위내시경 이미지에 대해 SIFT 알고리즘을 적용하여 이미지 쌍 간의 정합 결과(pairwise registration)를 계산하고, 유효 매칭 포인트 수를 얻었습니다. 두 이미지 간의 유효 매칭 포인트 수가 일정 임계값(threshold) 이하일 경우, 일부 유사한 영역이 존재하더라도 두 이미지는 무관한 이미지로 간주되며, 해당 이미지 쌍의 유사도 점수(similarity score)는 0.0으로 설정됩니다. 반대로, 매칭 포인트 수가 임계값을 초과하는 경우, 매칭 포인트 수에 비례하여 높은 유사도를 나타냅니다.
이러한 쌍별 유사도 점수를 활용해 유사도 행렬(similarity matrix)을 생성하고, 이를 기반으로 계층적 클러스터링(hierarchical clustering)을 수행하여 일련의 이미지 그룹을 형성합니다. 이 그룹들은 각 환자의 위내시경 이미지 중에서 높은 유사도를 가진 이미지들로 구성됩니다.
각 그룹 내에서 해부학적 부위 분류와 병변 인식 모델을 공동 적용합니다. 그룹 내 모든 이미지는 동일한 부위 및 병변 레이블(label)을 가지며, 단일 이미지보다 집합된 이미지들이 더 풍부한 정보를 제공하기 때문에, SIFT를 통해 얻은 공유 정보를 활용함으로써 두 분류 작업 모두에서 성능이 향상됩니다. 그 결과, 해부학적 부위 분류와 병변 인식의 오분류 가능성을 효과적으로 줄일 수 있습니다.
3.4. Anatomical Region Classification and Lesion Recognition
AIG(자가면역성 위염)의 진단에서 중요한 특징 중 하나는 위점막 위축의 해부학적 분포이며, 이는 흔히 “역위축(reverse atrophy)”이라 불리는 양상으로 나타납니다. 따라서 AIG를 정확하게 진단하기 위해서는 두 가지 서로 다른 과업에서 핵심 정보를 추출할 수 있는 모델이 필요합니다.
첫 번째 과업은 이미지에 나타난 위의 해부학적 부위를 식별하여 병변이 위치한 특정 영역을 확인하는 것입니다.
두 번째 과업은 위점막의 상태를 평가하는 것으로, 해당 이미지에 위축성 점막이 포함되어 있는지 여부를 판단하는 것입니다.
AIG 관련 이미지의 이러한 핵심 특징을 바탕으로 본 연구에서는 다중 작업 신경망(multi-task network)을 활용하여 위내시경 이미지를 분류합니다.
첫 번째 과업에서는 모든 위내시경 이미지에 대해 자동 해부학적 부위 분류(anatomical region classification)를 수행합니다.
기존 레이블을 이용해 이미지를 기저부(fundus), 체부(body), 전정부(antrum)의 세 부위로 분류하며, 이는 AIG 진단을 위한 전제조건 중 하나
두 번째 과업에서는 레이블링된 이미지에 대해 병변 상태를 이진 분류(binary classification) 합니다.
이 분류에서는 점막 상태를 정상(normal) 또는 위축성(atrophic)으로 판단합니다.
구체적으로, 이미지에 위축성 점막이 포함되어 있다면 '위축성'으로 라벨링하고 예측하며, 그렇지 않은 경우 '정상 위점막'으로 분류됩니다.
이 두 과업의 분류 결과를 통합함으로써 위의 각 부위(기저부, 체부, 전정부)에서의 점막 위축 상태를 종합적으로 파악할 수 있으며, 이를 통해 환자의 AIG 가능성에 대한 예비 평가(preliminary assessment)를 수행할 수 있습니다.
본 연구에서는 데이터셋 이미지의 기본 특성과 분류 목적을 고려하여, 두 과업의 백본 네트워크로 RepLKNet [30]을 채택하였습니다. RepLKNet은 대형 커널 합성곱(large-kernel convolution)을 사용하는 합성곱 신경망(CNN) 구조로, 그림 3에 이 모델의 구조가 제시되어 있습니다.
Figure 3. Structure of RepLKNet.
3.5. Metrics
평가 지표로는 정확도(accuracy), 평균 정밀도(mean precision), 평균 재현율(mean recall), 그리고 F1-score가 사용되었습니다. 이 중 평균 정밀도와 평균 재현율은 다중 클래스에 걸쳐 산술 평균을 계산하여 모델의 성능을 평가하는 데 활용됩니다.
Transformer 기반 모델은 이미지 관련 귀납적 편향(inductive bias)을 학습하기 위해 대규모 사전 학습(pretraining)이 필요하므로, 모델 간 성능 비교의 엄밀성을 확보하기 위해, 본 실험에 포함된 모든 모델은 ImageNet-1K 데이터셋에서 사전 학습된 가중치로 초기화되었습니다. 그 후, 내부 데이터셋을 이용하여 추가 학습(fine-tuning)을 수행하였습니다.
딥러닝 모델은 일반적으로 “블랙박스” 특성으로 인해 예측 결과의 근거를 명확히 파악하기 어렵다는 해석 가능성의 한계를 갖고 있습니다. 이러한 특성은 엄격하고 명확한 증거가 요구되는 의료 진단 분야에서는 중요한 단점이 될 수 있습니다. 설명되지 않는 예측 과정은 의료진이 모델 출력을 신뢰하지 않게 만들 수 있으며, 이는 진단 보조 도구로서의 모델 가치를 저하시킬 수 있습니다.
이러한 문제를 해결하기 위해, 본 연구에서는 모델의 이미지 분류 과정에서 주목한 영역을 시각화하여 예측 결과의 해석 가능성을 향상시키고자 Grad-CAM [31] 기법을 적용하였습니다. Grad-CAM은 딥러닝 모델의 특정 특성(feature) 계층의 출력을 시각적 표현(heatmap)으로 변환하여, 입력 이미지에 대한 예측 과정에서 모델이 집중한 영역을 강조합니다. 이러한 방식은 모델의 예측 논리에 대한 직관적인 통찰을 제공할 수 있습니다. 또한, 최종 예측 결과와의 일치도를 높이기 위해, 본 연구에서는 Grad-CAM의 대상 계층으로 모델의 마지막 합성곱 계층을 선택하였습니다.
4. Results
4.1. Results of Images Grouping
그림 4에서 볼 수 있듯이, 정합 알고리즘은 겹치는 영역을 포함하고 상대적으로 유사한 이미지들 사이에서 충분한 수의 정합 포인트(registration points)를 성공적으로 식별하여, 이미지를 효과적으로 정렬합니다. 식별된 대부분의 정합 포인트는 정확하게 매칭되었으며, 소수의 오매칭(mismatch)만이 관찰되었습니다. 또한, 충분한 수의 정합 포인트가 존재할 경우, 알고리즘은 해당 이미지 쌍 간의 상대적 위치 관계를 예비적으로 파악할 수 있습니다.
Figure 4. Examples of image registration (green lines are the feature point match lines, while blue boxes are the position of the left image in the right image, in order to make the presentation clearer, the number of match lines in the image was randomly reduced).
그림 5에서 볼 수 있듯이, 이미지 정합(image registration)을 통해 생성된 유사도 행렬(similarity matrix)은 유사도가 높은 이미지 쌍일수록 더 큰 유사도 값을 부여함을 보여줍니다. 이 유사도 행렬을 기반으로, 처음 세 개의 이미지와 마지막 두 개의 이미지가 각각 두 개의 클러스터로 묶였으며, 나머지 이미지는 어떤 그룹에도 포함되지 않았습니다.
그러나 엄격한 제약 조건을 적용했음에도 불구하고, 정합 알고리즘은 일부 이미지 간의 유사한 영역을 탐지하지 못하는 한계를 보였습니다. 예를 들어, 첫 번째와 두 번째 이미지, 그리고 여섯 번째 이미지와 첫 세 개의 이미지는 유사한 영역에 위치하며 뚜렷한 공통 마커를 공유하고 있음에도, 알고리즘은 이들 간의 관계를 제대로 식별하지 못했습니다.
Figure 5. Example of the similarity matrix obtained in the experiment (for all image pairs with too few matches, the similarity was set to 0.0).
그림 6에서 볼 수 있듯이, SSIM과 같은 기존의 유사도 알고리즘은 위내시경 이미지에 대해 제대로 작동하지 않을 수 있습니다. 이는 이러한 이미지들이 색상과 형태에서 차이가 미미한 경우가 많아, 전반적으로 유사도 점수가 높게 산출되기 때문입니다. 기존의 유사도 계산 방법은 유사한 이미지를 효과적으로 매칭할 수는 있지만, 전혀 다른 이미지들도 잘못 그룹화할 가능성이 있습니다. 이러한 문제는 이후의 해부학적 영역 분류 및 병변 인식 작업에서 오분류된 이미지 수를 증가시킬 수 있으며, 궁극적으로 분류 접근법의 전체적인 정확성과 신뢰성을 저해할 수 있습니다. 따라서, 본 연구에서는 기존의 유사도 알고리즘을 사용하지 않았습니다.
Figure 6. Examples of the similarity matrix obtained by different algorithms in the experiment. (a) The similarity matrix obtained through the SIFT algorithm. (b) The similarity matrix based on structural similarity (SSIM). (c) The similarity matrix based mean squared error (MSE). (d) The similarity matrix obtained based on histogram similarity.
4.2. Results of Anatomical Region Classification
표 2에 제시된 해부학적 영역 분류 결과에 따르면, 대형 커널 합성곱을 도입한 RepLKNet 모델이 여러 평가 지표에서 다른 모든 모델보다 우수한 성능을 보였습니다. 더 나아가, RepLKNet에 이미지 그룹화를 결합한 본 연구의 방법은 정확도 0.934 ± 0.005 (95% 신뢰구간) 및 정밀도 0.926 ± 0.004 (95% 신뢰구간)로 가장 우수한 성능을 기록했습니다.
위내시경 영상에서의 해부학적 영역 분류는 영상 각도, 밝기 등 다양한 요인의 변화폭이 커서 특히 어려운 작업입니다. 따라서, 특정 위장 영역을 정확히 식별하려면 글로벌 맥락 정보를 효과적으로 포착할 수 있는 모델이 필요합니다.
ViT와 같은 트랜스포머 기반의 비전 모델은 전역적인 시야(global perspective)에서 강점을 보이지만, 내재된 귀납적 편향(inductive bias)이 부족하기 때문에 대규모 훈련 데이터에 대한 의존도가 높습니다. 본 연구에서는 데이터셋의 특성상 사전학습(pretraining)에 적합하지 않았으며, 이로 인해 ViT와 같은 모델의 성능이 상대적으로 제한되었습니다.
그림 7에서 볼 수 있듯이, Grad-CAM 시각화 결과는 해부학적 영역 분류 과정에서 모델이 해당 위장 부위의 가장 뚜렷한 특징 영역에 집중하고 있음을 보여줍니다. 이러한 특징 영역은 위의 각 부위에 따라 서로 다르게 나타납니다.
*기저부(fundus)의 경우, 주요 특징은 기저부 돔(fundal vault), 분문(cardia), 그리고 이로부터 이어지는 내시경 튜브이며, 모델은 이를 정확히 식별
*전정부(antrum)에서는 가장 두드러진 특징이 유문관(pyloric duct)과 유문(pylorus)인데, 모델은 이들 또한 효과적으로 감지
*체부(body)는 유문이나 분문과 같은 국소화된 특징이 부족하기 때문에, 다른 두 부위보다 넓은 영역을 모델이 집중적으로 분석
이로 인해, 체부 이미지를 정확히 판별하기 위해서는 모델이 보다 전체적인 관점에서 이미지를 해석하고 특징을 식별해야 합니다.
Figure 7. Visualization of anatomical region classification. The regions marked by green bounding boxes correspond to characteristic feature areas of their respective anatomical sites, demonstrating the model’s ability to identify clinically relevant patterns.
4.3. Results of Lesion Recognition
표 3에서 볼 수 있듯이, 병변 인식을 위한 백본(backbone) 네트워크 중에서는 대형 커널 합성곱(large-kernel convolution)을 활용한 RepLKNet이 가장 우수한 성능을 보였습니다. 또한, 이미지 그룹핑을 통해 얻은 추가 정보를 통합함으로써, 본 연구의 방법은 해당 작업에서 다른 모델들보다 뛰어난 성능을 보여주었으며, 정확도는 0.902 ± 0.010 (95% 신뢰구간), 정밀도는 0.905 ± 0.008 (95% 신뢰구간)를 기록하였습니다.
위축성 위점막을 포함한 병변 인식은, 위축 부위와 주변 정상 점막 사이의 미묘한 차이로 인해 특히 어려울 수 있습니다. 위축 병변을 효과적으로 탐지하려면, 모델은 하나의 수용 영역 내에서 정상 점막과 위축 점막을 동시에 분석할 수 있는 넓은 수용 범위(receptive field)가 필요합니다. 이러한 능력은 모델이 점막 상태를 직접 비교할 수 있게 하여, 작거나 경미한 위축 병변도 감지할 수 있도록 합니다. 이러한 특성 덕분에 RepLKNet은 전역적인 문맥 정보를 포착하면서도 효율성과 정밀성을 유지할 수 있어, 위점막의 미세한 변화를 구분해야 하는 병변 인식 작업에 특히 적합합니다.
그림 8에서 볼 수 있듯이, 모델은 병변 분류를 위한 위점막의 뚜렷한 특징을 가진 부위를 잘 식별합니다. 히트맵의 분포를 살펴보면, 위내시경 영상의 밝기(brightness)가 모델의 병변 부위 인식 정확도에 중요한 영향을 미친다는 점을 알 수 있습니다. 모델은 밝은 영역에 주로 집중하는 경향이 있으며, 이러한 영역은 점막의 세부 구조를 더욱 두드러지게 보여주는 경우가 많습니다. 이러한 관찰 결과는, 위내시경 이미지의 밝기와 명암 대비(contrast)가 모델의 주의(attention)를 유도하고, 위축성 점막을 효과적으로 탐지하는 데 중요한 역할을 한다는 사실을 시사합니다.
따라서, 이미지 전처리 과정에서 밝기를 표준화하고 조정하는 작업이 중요하며, 이를 통해 모델 성능을 향상시키고 병변 영역의 일관된 식별을 보장할 수 있습니다.
Figure 8. Visualization of lesion recognition. Areas demarcated by green bounding boxes represent regions with gastric mucosal atrophy.
5. Discussions
이 연구는 영상 정합(image registration) 기반의 방법을 활용하여 위내시경 이미지를 군집화하고, 동일 환자의 이미지 간 상관관계를 효과적으로 활용합니다. 또한, 대형 커널 합성곱 기반의 RepLKNet 모델을 결합하여 위내시경 이미지에서 자가면역성 위염(AIG)과 관련된 해부학적 영역 및 병변 정보를 효율적으로 추출합니다. 이 연구는 AIG의 자동 보조 진단에 기여하며, 기존의 전통적 방법이나 다른 자동화 방법에 비해 뚜렷한 우위를 보여줍니다.
전통적인 AIG 진단은 의사가 내시경 이미지를 수동으로 판독하여 관련 소견을 평가해야 하며, 이는 시간이 많이 소요되고 판독자 간 변이가 발생하기 쉬운 과정입니다. 특히 병변과 해부학적 구조 간의 연관성을 판단하는 데 있어 이러한 한계가 두드러집니다. 제안된 자동화 딥러닝 시스템은 이러한 제한점을 극복하며, 표준화되고 효율적인 영상 해석을 제공합니다. 단순히 병변 인식에만 초점을 맞춘 기존 연구들[36]과 달리, 본 방법은 해부학적 영역 정보를 통합하고 병변 분석을 AIG 진단과 명확히 연결시켜 임상적 진단 요구에 보다 부합합니다.
또한 단일 내시경 이미지만 분석하는 기존 접근법과는 달리, 본 시스템은 각 환자의 복수 이미지를 종합적으로 평가하여 이미지 간 상관관계를 도출함으로써 해부학적 영역 분류와 병변 인식을 모두 최적화합니다. 기존 자동 AIG 진단 연구[37]와 비교했을 때, 본 연구의 방법론은 해석 가능하고 AIG 식별에 임상적으로 의미 있는 병리학적 특징 분석에 더욱 중점을 둡니다.
실제로 본 방법은 위내시경 진료 흐름에 두 가지 방식으로 통합될 수 있습니다. 첫 번째는 내시경 장비에 내장하여 실시간으로 관련 병변에 대한 경고를 제공하고 AIG 가능성을 예측하는 방식입니다. 두 번째는 원격진료 서비스에 통합하여 의료 자원이 부족한 지역에서 지원 도구로 활용하는 것입니다. 환자의 프라이버시를 보장하면서 위내시경 이미지를 분석함으로써, 이 방법은 AIG 진단에 임상적으로 유용한 의사결정 지원을 제공하며, 의료 숙련도 차이로 인한 진단 누락의 위험을 줄일 수 있습니다.
이 연구에는 두 가지 한계점이 있습니다. 첫째, 현재의 데이터셋 규모가 여전히 제한적이며, 모델의 성능과 일반화 가능성을 높이기 위해서는 데이터셋의 추가 확장이 필요합니다. 둘째, 데이터가 단일 기관에서 수집되었으며, 표준화된 다기관 데이터를 확보하는 데 어려움이 존재합니다. 이와 같은 한계는 다양한 기관의 데이터셋을 통한 모델 성능 검증을 어렵게 하여, 실제 임상 환경에서의 활용 가능성을 제한합니다.
향후에는 내부 데이터셋을 지속적으로 확장하고 모델 성능을 향상시키기 위해, 여러 의사들로부터 체계적으로 환자 데이터를 수집할 예정입니다. 더불어, 타 병원 및 연구기관과의 협력을 추진하여, 다기관 연구를 통해 보다 포괄적인 AIG 관련 환자 데이터를 확보할 계획입니다. 이러한 다기관 접근 방식은 자동 진단 연구를 더욱 발전시키는 데 기여할 것입니다.
또한, 향후에는 병리학적 검사나 혈청학적 검사와 같은 AIG 관련 다른 지표에 대한 자동 분석 방법도 탐색할 예정이며, 궁극적으로는 다중 모달 정보에 기반한 자율적인 AIG 진단 시스템을 구축하는 것이 목표입니다. 본 진단 모델을 바탕으로 원격진료 플랫폼과의 통합도 계획하고 있으며, 이를 통해 온라인 자율 이미지 판독이 가능해질 것입니다. 이러한 통합 시스템은 의료 인프라가 부족한 지역에서도 온라인 AIG 진단 시스템을 활용할 수 있도록 하여, AIG에 대한 인식 제고와 조기 선별에 기여하고, 진단 누락의 가능성을 줄이는 데 도움을 줄 수 있습니다.
6. Conclusions
본 연구에서는 환자 기반의 다중 작업(multi-task) 분석 방법을 제안하며, 이를 통해 단일 환자에게서 얻어진 모든 위내시경 이미지 간의 관계 정보를 통합합니다. 본 접근법은 하나의 통합된 네트워크를 이용하여, 이미지에 포착된 위의 해부학적 영역과 점막 위축의 존재 여부를 동시에 분류합니다. 환자의 위내시경 이미지 간 상호 관계를 추출하기 위해, 영상 정합(image registration) 알고리즘을 적용하여 이미지 간 상관관계를 파악하고 유사도 행렬을 구축합니다. 이 유사도 행렬은 이후 이미지 군집화(image grouping)에 활용됩니다. 이렇게 군집화된 이미지를 대상으로, 대형 커널 합성곱 기반의 딥러닝 네트워크인 RepLKNet을 활용하여 위의 해부학적 영역과 병변에 대한 포괄적인 분류 작업을 수행합니다.
실험 결과, 동일 환자의 복수 위내시경 이미지를 군집화하여 공동 분석하는 방식은 해부학적 부위와 병변 인식 정확도를 현저히 향상시키는 것으로 나타났습니다. RepLKNet 모델은 대형 커널 합성곱 구조를 기반으로 수용 영역 크기와 지역 귀납 편향(local inductive bias) 간의 균형을 유지하며, 제한된 데이터 환경에서도 위내시경 이미지 분석에서 우수한 성능을 보였습니다. 본 방법은 위의 해부학적 영역 분류에서 93.5%, 병변 인식에서 90.7%의 높은 정확도를 달성하였습니다.
요약하자면, 위내시경 이미지 데이터의 고유한 특성을 효과적으로 활용함으로써, 본 연구에서 제안한 방법은 위 해부학적 영역 및 병변 인식에서 우수한 성능을 보이며, 자가면역성 위염(AIG)의 자동 보조 진단에 최적화된 통합 분석 프레임워크를 제공합니다.
<Abstract>
Autoimmune gastritis (AIG) has a strong correlation with gastric neuroendocrine tumors (NETs) and gastric cancer, making its timely and accurate diagnosis crucial for tumor prevention. The endoscopic manifestations of AIG differ from those of gastritis caused by Helicobacter pylori (H. pylori) infection in terms of the affected gastric anatomical regions and the pathological characteristics observed in biopsy samples. Therefore, when diagnosing AIG based on endoscopic images, it is essential not only to distinguish between normal and atrophic gastric mucosa but also to accurately identify the anatomical region in which the atrophic mucosa is located. In this study, we propose a patient-based multitask gastroscopy image classification network that analyzes all images obtained during the endoscopic procedure. First, we employ the Scale-Invariant Feature Transform (SIFT) algorithm for image registration, generating an image similarity matrix. Next, we use a hierarchical clustering algorithm to group images based on this matrix. Finally, we apply the RepLKNet model, which utilizes large-kernel convolution, to each image group to perform two tasks: anatomical region classification and lesion recognition. Our method achieves an accuracy of 93.4 ± 0.5% (95% CI) and a precision of 92.6 ± 0.4% (95% CI) in the anatomical region classification task, which categorizes images into the fundus, body, and antrum. Additionally, it attains an accuracy of 90.2 ± 1.0% (95% CI) and a precision of 90.5 ± 0.8% (95% CI) in the lesion recognition task, which identifies the presence of gastric mucosal atrophic lesions in gastroscopy images. These results demonstrate that the proposed multitask patient-based gastroscopy image analysis method holds significant practical value for advancing computer-aided diagnosis systems for atrophic gastritis and enhancing the diagnostic accuracy and efficiency of AIG.
Keywords: autoimmune gastritis; classification; deep learning; gastrointestinal endoscopy image; image registration; multitask network.
자가면역성 위염(Autoimmune gastritis, AIG)은 위 신경내분비 종양(gastric neuroendocrine tumors, NETs) 및 위암(gastric cancer)과 강한 연관성을 가지므로, 이 질환의 시기적절하고 정확한 진단은 종양 예방에 있어 매우 중요합니다. AIG의 내시경 소견은 헬리코박터 파일로리(Helicobacter pylori, H. pylori) 감염에 의해 유발되는 위염과는 병변이 발생하는 해부학적 부위와 생검 샘플에서 관찰되는 병리학적 특징 측면에서 차이를 보입니다. 따라서 AIG를 내시경 영상 기반으로 진단할 때는 정상 위 점막과 위축성 위 점막을 구별하는 것뿐만 아니라, 위축성 병변이 위치한 해부학적 부위를 정확하게 식별하는 것이 필수적입니다.
본 연구에서는 내시경 시술 중 획득된 모든 이미지를 분석하는 환자 기반 다중 작업(multitask) 위내시경 영상 분류 네트워크를 제안합니다. 먼저, 이미지 정합(image registration)을 위해 SIFT(Scale-Invariant Feature Transform) 알고리즘을 적용하여 이미지 유사도 행렬을 생성합니다. 이후, 이 유사도 행렬을 기반으로 계층적 군집화(hierarchical clustering) 알고리즘을 적용하여 이미지를 그룹화합니다. 마지막으로, 각 이미지 그룹에 대하여 대형 커널 합성곱(large-kernel convolution)을 활용한 RepLKNet 모델을 적용하여 두 가지 작업을 수행합니다: 해부학적 부위 분류 및 병변 인식.
제안된 방법은 해부학적 부위 분류 작업에서 기저부(fundus), 체부(body), 유문부(antrum)로 영상을 분류하며, 이 작업에서 93.4 ± 0.5%(95% 신뢰구간)의 정확도와 92.6 ± 0.4%(95% 신뢰구간)의 정밀도를 달성하였습니다. 또한 병변 인식 작업, 즉 위 내시경 영상 내 위 점막 위축 병변의 존재 여부를 판별하는 작업에서는 90.2 ± 1.0%(95% 신뢰구간)의 정확도와 90.5 ± 0.8%(95% 신뢰구간)의 정밀도를 기록하였습니다.
이러한 결과는 제안된 환자 기반 다중 작업 위내시경 영상 분석 방법이 위축성 위염에 대한 컴퓨터 보조 진단 시스템 발전에 실질적인 가치를 가지며, AIG의 진단 정확도와 효율성 향상에 기여할 수 있음을 보여줍니다.
Cao Y, Zhao Y, Jin X, Zhang J, Zhang G, Huang P, Zhang G, Han Y.
J Imaging. 2025 May 15;11(5):154. doi: 10.3390/jimaging11050154.
Endoscopy에서 "AIG에 대한 다부위 중합 모델의 AI 진단기술"을 소개하였는데 (최신연구결과 125번), 비슷하지만 또 약간 다른 AIG에 대한 AI 진단방법을 소개합니다. 내용을 정리하면서 느끼는 거지만, 중국의 의학적 기술은 빠르게 진화하는 것 같습니다. 질환에 대한 인식을 뛰어 넘어 진단 기술에서도 많은 발전이 느껴집니다. 아직 질환에 대한 인식조차 낮은 우리나라에서는 갈 길이 멀고도 멀어 보여 많이 안타깝습니다...
1. Introduction
의료 영상은 인체 내부 구조를 정밀하게 촬영하고 질병 관련 이상을 신속하고 효율적이며 비침습적으로 탐지할 수 있어, 임상의에게 직관적이고 정확한 진단 근거를 제공하는 데 중요한 역할을 합니다. 그러나 의료 영상을 해석하는 작업은 숙련된 의사의 경험을 필요로 하며, 대부분의 영상은 진단 결론에 도달하기까지 많은 집중력과 시간이 요구됩니다. 이는 의사에게 높은 부담을 주고, 업무량 증가로 이어집니다.
최근 몇 년 사이 디지털 영상 처리 기술, 특히 딥러닝 알고리즘의 급속한 발전은 의료 영상 데이터를 해석하는 모델의 성능을 크게 향상시켰습니다[1-3]. 적절한 설계와 충분한 학습을 통해 딥러닝 모델은 특히 의료 영상 분석에서 매우 빠르고 정확한 분석 능력을 보여주고 있습니다. 이에 따라 점점 더 많은 연구자들이 의료 영상 해석을 위한 컴퓨터 비전 알고리즘과 컴퓨터 보조 진단(CAD, Computer-Aided Diagnosis) 시스템 개발에 주목하고 있습니다. 이러한 시스템은 의료 영상 분석의 효율성과 정확도를 높이고, 의사의 업무 부담을 줄이며, 진단 정밀도를 개선하고[4], 궁극적으로 의료 영상 검사와 진단의 비용을 절감하여 더 많은 사람들이 의료 혜택을 받을 수 있도록 하는 것을 목표로 합니다.
CAD 시스템 개발의 핵심 과제 중 하나는 의료 영상 분류입니다. 이는 영상에 나타난 해부학적 구조를 식별하고, 질병 관련 병변이 존재하는지를 판별하는 과정을 포함합니다. 의료 영상 분류를 통해 도출된 정성적 정보는 의사들이 예비적인 진단 결론을 내리는 데 도움을 줍니다. 현재 이미지 분류를 위한 딥러닝 모델은 크게 두 가지 범주로 나뉩니다. 하나는 ResNet[5], DenseNet[6], VGGNet[7]과 같은 합성곱 신경망(convolutional neural network, CNN) 기반 모델이며, 다른 하나는 Vision Transformer, Swin Transformer[9]와 같은 어텐션 메커니즘 기반 모델(attentional mechanism-based models)입니다. 이러한 분류 모델들은 병리 조직 영상, 초음파 영상, 엑스레이(X-ray) 영상, 내시경 영상 등 다양한 의료 영상에 폭넓게 적용되고 있습니다.
자가면역성 위염(Autoimmune Gastritis, AIG)은 만성 위축성 위염(Chronic Atrophic Gastritis, CAG)의 아형(subtype)으로, 무산증(achlorhydria), 고가스트린혈증(hypergastrinemia), 거대적아구성 빈혈(megaloblastic anemia)과 같은 증상과 연관되어 있습니다. 시간이 지나면서 AIG는 위 신경내분비 종양(NETs)[10]이나 위암[11]으로 진행될 수 있습니다. 과거에는 AIG가 악성 빈혈의 유병률이 높은 북유럽에서 더 흔한 질환으로 여겨졌지만, 내시경 사용이 보편화되면서 중국을 포함한 아시아에서도 상당수의 AIG 사례가 보고되고 있습니다. 그러나 이러한 지역에서는 AIG 진단에 대한 연구가 미흡하고, 전반적인 질환 인식도 부족한 실정입니다.
AIG 진단에 있어 내시경 검사는 핵심적인 역할을 합니다. 의사들은 위 점막의 형태학적 변화(morphological change)를 통해 AIG의 가능성을 파악하고, 추가적인 검사로 진단을 확정하게 됩니다. 하지만 의료 자원이 제한된 지역에서는 AIG에 대한 임상의의 지식이 부족하여 내시경 이미지 해석 과정에서 AIG 관련 특징이 간과되어 진단 누락이 발생할 수 있습니다.
AIG는 내시경상 위 체부(body)와 기저부(fundus)에서 위축이 관찰되며, 전정부(antrum)에서는 위축이 거의 없거나 없습니다. 이러한 형태학적 특징은 흔히 "역위축(reverse atrophy)"이라 불리며, 주로 유문부에 영향을 미치고 체부까지 확장되는 헬리코박터 파일로리 감염성 위축성 위염과는 대조적입니다. 따라서 AIG 관련 내시경 영상 분석에서는 위의 부위별 위 점막 위축 패턴을 인식하는 것이 정확한 진단을 위해 매우 중요합니다.
이러한 배경을 바탕으로, 본 연구에서는 환자 기반 다중 작업(multi-task) 내시경 이미지 분석 방법을 제안합니다. 이 방법은 내시경 영상 내의 위 해부학적 부위 정보와 점막 위축 상태를 동시에 평가하여, 의사들의 내시경 판독을 지원하는 유용한 정보를 제공합니다.
먼저, 한 환자의 내시경 검사에서 촬영된 일부 영상은 중복된 위 점막 부위를 포함하고 있을 수 있습니다. 각 이미지를 독립적으로 분석하면 이러한 영상 간 관계를 반영하지 못해 정보 손실이 발생하고, 분석 정확도에도 악영향을 줄 수 있습니다. 이를 해결하기 위해 본 연구에서는 쌍(pairwise) 영상 정합(image registration)을 수행하여 이미지 간 관계를 설정하고, 이를 활용해 해부학적 부위 분류와 병변 인식 정확도를 최적화합니다.
다음으로, AIG의 특징인 "역위축(reverse atrophy)"을 효과적으로 포착하기 위해, 환자의 내시경 이미지를 기저부, 체부, 유문부의 세 가지 해부학적 부위로 분류합니다. 이 과정은 영상에 나타난 해부학적 공간 정보를 제공하며, 동시에 각 부위에서 점막 위축 병변이 존재하는지 여부를 인식합니다.
또한, 본 연구는 자동화된 모델의 진단 결과에 대한 해석 가능성(interpretability)을 분석함으로써, 의사들이 모델의 예측 결과를 신뢰할 수 있도록 하며 임상 적용 가능성을 높이고자 했습니다.
실험 결과, 본 논문에서 제안한 환자 기반 다중 작업 네트워크는 일반적인 이미지 분류 모델보다 해부학적 부위 분류 및 병변 인식에서 더 우수한 성능을 보였습니다. 또한, 일정 수준의 해석 가능성을 확보하여 임상 응용에 있어 신뢰성을 높였습니다.
본 연구의 주요 기여점은 다음과 같습니다:
자가면역성 위염(AIG)과 관련된 위내시경 영상에서 해부학적 부위 분류 및 병변 인식을 동시에 수행하는 다중 작업 딥러닝 네트워크를 제안하여, 비교적 드문 질환에 대한 자동 진단을 지원합니다.
SIFT(Scale-Invariant Feature Transform) 알고리즘 기반 영상 정합 기법을 통해 하나의 환자에게서 획득된 여러 내시경 영상 간의 상관관계를 분석하고, 유사도 행렬을 구성하여 이미지 그룹화를 수행함으로써 단일 이미지 분석의 한계를 극복하고 분류 정확도를 향상시킵니다.
제안된 방법에 대한 해석 가능성 연구를 수행하여, 자동 진단 모델의 결과 해석이 어려운 문제를 완화하고, 자가면역성 위염 진단에서 자동화 기법의 활용도를 높이고자 했습니다.
2. Related Works
최근 딥러닝 모델의 발전과 함께, 연구자들은 다양한 의료 영상 분석 분야에 딥러닝 네트워크를 적용해 왔습니다. 이러한 노력은 병리학 이미지, 엑스레이(X-ray) 이미지, CT 이미지, 초음파 이미지, 내시경 이미지 등 다양한 분야에 걸쳐 진행되고 있습니다 [12–19]. 연구자들은 각 영상 유형의 고유한 특성에 맞춰 의료 영상 분류 모델을 설계 및 개발해왔으며, 이들 연구에서 사용된 백본(backbone) 네트워크 모델은 CNN, Transformer 및 그 변형 모델들을 포함합니다.
일반적으로 위내시경 이미지 처리 모델을 설계하는 접근 방식은 두 가지로 나눌 수 있습니다. 하나는 이미지 분류를 기반으로 한 end-to-end 질병 진단 방식이며, 다른 하나는 용종, 출혈 등과 같은 세부적인 영상 정보를 추출하는 방식입니다. 후자의 방식은 진단 과정에서 의사에게 유용한 정보를 제공하는 데 중점을 둡니다.
End-to-end 질병 진단의 예로, Satoki Shichijo 등[20]은 CNN을 활용하여 헬리코박터 파일로리(H. pylori) 감염성 위염을 진단하였고, 실험 결과 CNN이 진단 속도와 정확도 측면에서 의사를 능가함을 보여주었습니다. 또한 Gong 등[21]은 자가면역성 위염(AIG)과 H. pylori 감염성 위염을 분류 및 진단하기 위해, 합성곱 신경망(convolutional neural network)과 상대적 자기 주의 메커니즘(relative self-attention)을 병렬로 구성한 새로운 CAD 방법인 CRSAPNet을 개발하여 높은 진단 정확도를 달성하였습니다.
세부 정보 추출을 목적으로 한 연구로는, Zhao 등[22]이 자기 주의(self-attention) 모듈이 포함된 적응적 코사인 유사도 네트워크(AdaSAN)를 제안하여, 소화기계 캡슐 내시경 이미지에서 염증, 출혈, 용종, 정상 조직을 분류하는 데 있어 뛰어난 성능을 보여주었습니다. Rustam 등[23]은 MobileNet과 CNN을 결합하여 캡슐 위내시경(WCE) 이미지 분류를 위한 경량 모델인 BIR을 제안하였으며, 출혈 병변의 효율적인 탐지에 성공하였습니다. 또한 Mu 등[24]은 ResNet-50을 백본으로 사용하는 심층 합성곱 신경망(DCNN)을 내시경 영상 분석에 적용하였고, 위염 영상의 3가지 분류에 대해 단계적 분석을 수행하여 높은 특이도와 정확도를 달성하였습니다.
다중 작업(multitask) 네트워크의 맥락에서는, 최근 기술 발전으로 인해 의료 영상 분석의 성능과 효율성이 크게 향상되었습니다. 이 네트워크들은 분할(segmentation)과 분류(classification) 같은 관련 작업을 동시에 최적화함으로써 그 시너지 효과를 극대화할 수 있습니다. 예를 들어, Ling 등[25]은 MTANet(one-stage multi-task attention network)을 제안하였으며, 이는 의료 영상 내 객체를 효율적으로 분류하고 동시에 고품질의 분할 마스크를 생성합니다. Zhou 등[26]은 다중 작업 네트워크를 활용하여 3차원 자동 유방 초음파(ABUS) 영상에서 종양 특성화를 향상시키기 위한 분할-분류 통합 모델을 개발하였습니다. 또한, Percannella 등[27]은 병리학 영역에서 다중 작업 학습을 확장하여, HEp-2 세포 이미지의 강도 분류와 표본 분할 작업을 동시에 수행하였습니다.
이러한 연구들은 다중 작업 네트워크가 단순히 연산 효율성에 그치지 않고, 작업 간 상호 보완적 정보(task synergy)를 효과적으로 활용하고, 주석 비용(annotation costs)을 줄이며, 의료 영상 처리의 정밀도를 향상시키는 데 중요한 역할을 한다는 점을 보여줍니다.
3. Method
3.1. Data Acquisition
본 연구에 사용된 위내시경 영상 데이터셋은 절강대학교 의과대학 제2부속병원 소화기내과에서 제공받았습니다. 해당 데이터셋은 총 298명의 환자로 구성되어 있으며, 이들 환자의 성별 및 연령 등의 임상 정보는 표 1에 제시되어 있습니다.
자가면역성 위염(AIG)
헬리코박터 파일로리(H. pylori) 양성 위축성 위염
H. pylori 음성 만성 위축성 위염
AIG는 일본의 자가면역성 위염 진단 기준[28]에 따라 진단되었습니다. H. pylori 감염 여부는 ¹³C-요소호기검사(13C-UBT)에서 양성 소견을 보이고, 다음 두 가지 검사(조직검사와 대변항원검사) 중 적어도 하나에서 양성일 경우로 판단하였습니다. 만성 위축성 위염(CAG)은 위내시경 소견과 조직병리 결과를 바탕으로 진단하였습니다.
영상 해상도는 1916 × 1076, 716 × 476, 764 × 572 등 다양하였으며, 본 연구에서는 모든 이미지를 512 × 512로 균일하게 크기 조정하였습니다. 본 연구는 병원 윤리위원회의 승인을 받았으며, 모든 대상자에게 서면 동의서를 받아 연구를 진행하였습니다.
본 연구에 사용된 모든 이미지는 소화기내과 전문의들이 주석 작업(라벨링)을 수행하여, 모델 학습에 필요한 라벨 정보를 제공하였습니다. 총 5,981장의 이미지가 이미지 수준의 라벨을 갖춘 상태로 사용되었습니다.
그림 1에 제시된 바와 같이, 이들 이미지는 위의 해부학적 부위에 따라 다음의 세 가지 범주로 분류되었습니다:
기저부(fundus)
위체부(body)
전정부(antrum)
병변 분류 측면에서는, 이미지를 두 가지 범주로 나누었습니다:
위축성 위점막(atrophic mucosa)
정상 위점막(normal mucosa)
Figure 1. Examples of dataset images and their labels. Images in the left/right 2 columns: normal gastric mucosa/atrophic gastric mucosa. Images in the 1st/2nd/3rd row: fundus/body/antrum of the stomach.
데이터셋은 전체를 약 6:2:2의 비율로 훈련(train), 검증(validation), 테스트(test) 세트로 분할하였습니다. 환자 단위의 데이터 누출을 방지하기 위해, 동일 환자에게서 얻은 이미지는 반드시 하나의 세트(훈련 혹은 검증)에만 포함되도록 엄격히 분리하였습니다.
구체적으로는,
훈련 세트는 201명의 환자로부터 수집된 3,529장의 이미지,
검증 세트는 49명의 환자로부터 수집된 1,275장의 이미지,
테스트 세트는 48명의 환자로부터 수집된 1,177장의 이미지로 구성되었습니다.
3.2. Overall Structure
그림 2는 본 연구에서 제안한 환자 기반 다중 과제 위내시경 영상 분석 방법의 전체 워크플로우를 보여줍니다.
Figure 2. An overall schematic of the proposed method. A batch of gastroscopic images are acquired. Then, the image registration algorithm is used to calculate the similarity between the images in the batch to form similarity matrix, based on which, this batch of images are divided into groups. Finally, two classification tasks are carried out to extract the information related to autoimmune gastritis (AIG) in images, including the information about the anatomical region in the image and the information about the atrophic lesion of the gastric mucosa.
먼저, 환자의 내시경 검사 중 수집된 위내시경 이미지들을 하나의 배치(batch)로 모읍니다. 이후 이미지 그룹화 단계에서, 이미지 정합(image registration) 알고리즘을 적용하여 배치 내 이미지 간의 유사도를 계산하고, 이를 통해 유사도 행렬(similarity matrix)을 생성합니다. 이 유사도 행렬을 기반으로 이미지를 여러 그룹으로 클러스터링합니다.
그 다음, 동일한 네트워크를 통해 두 가지 분류 작업이 수행됩니다:
해부학적 부위 분류(anatomical region classification)
병변 인식(lesion recognition)
이 과정을 통해 각 이미지에 나타난 해부학적 부위 정보(기저부, 체부, 전정부)와 위점막 위축 병변의 존재 여부를 분석하여, 자가면역성 위염(AIG)과 관련된 정보를 추출하게 됩니다.
해부학적 부위 분류를 통해 각 위내시경 이미지가 어느 위 부위(fundus, body, antrum)에 해당하는지를 결정하고, 동시에 병변 분류를 통해 위점막 위축의 존재 여부 및 심각도를 평가할 수 있습니다. 이 두 가지 정보를 통합 분석함으로써, 기저부, 체부, 전정부 각각의 위축 상태를 종합적으로 판단할 수 있으며, 이를 바탕으로 “역위축(reverse atrophy)”과 같은 AIG의 특징적인 위축 패턴을 감지하고, AIG 가능성에 대한 예비 평가(preliminary assessment)를 수행할 수 있습니다.
3.3. Images Grouping
위내시경 검사 중, 의사는 동일한 위점막 부위를 여러 장 촬영하는 경우가 많습니다. 이러한 이미지들은 연속적으로 촬영되기 때문에 서로 연관된 영역을 포함하는 경향이 있습니다. 이처럼 연관된 이미지들로부터 정보를 결합하여 공동 분석(joint analysis)을 수행하면, 보완적인 정보(complementary information)를 활용할 수 있으며, 해당 부위를 더 잘 대표하는 종합적인 특징(comprehensive features)을 추출할 수 있습니다. 이는 더 효과적인 분류에 기여합니다.
예를 들어, 이미지 A와 B가 거의 동일한 위점막 부위를 보여주며 위치와 형태가 유사하다면, 두 이미지는 해당 위 부위 및 병변에 대해 중복된 정보를 제공한다고 볼 수 있습니다. 결과적으로 이러한 이미지는 서로를 보완할 수 있으며, 추가적인 정보가 위의 해부학적 영역 분류 및 병변 인식의 정확도를 높이는 데 도움이 되어, 모델의 오분류 가능성을 줄일 수 있습니다.
환자의 이미지 간의 상호 연관성을 분석하고 이들 간의 관계를 활용하는 접근법은, 각 이미지를 독립적으로 분석하고 단순히 정보를 통합하는 방식보다 더 큰 임상적 가치를 가집니다.
실험에서는 고전적인 이미지 정합 알고리즘인 SIFT(Scale Invariant Feature Transform) [29]를 적용하였습니다. SIFT는 이미지 정합, 객체 탐지, 3D 재구성 등 다양한 컴퓨터 비전 작업에 널리 사용되는 알고리즘으로, 크기(scale)와 회전(rotation)에 불변한 이미지의 주요 특징점(key points)과 해당 기술자(descriptor)를 추출할 수 있어 정확한 이미지 정합이 가능합니다.
SIFT 알고리즘은 다음 네 단계로 구성됩니다:
스케일-스페이스 구성(scale-space construction):
가우시안 피라미드를 통해 이미지의 다중 스케일 표현을 구성하고, Difference of Gaussians (DoG)를 계산하여 잠재적 특징점을 탐지합니다. 이 특징점들은 일반적으로 이미지에서 뚜렷한 모서리(corner)나 경계(edge)에 해당합니다.
주요 특징점 탐지(key point detection):
각 스케일 수준에서 특징점을 정밀하게 국소화하고, 낮은 대비와 가장자리 반응을 억제하여 탐지 정확성과 견고함을 향상시킵니다.
방향 할당(orientation assignment):
각 특징점 주변의 그래디언트 방향 분포를 기반으로 1개 이상의 주 방향(orientation)을 부여함으로써 이미지 회전에 대한 불변성을 확보합니다.
특징 기술자 생성(feature descriptor generation):
각 특징점 주변의 그래디언트 히스토그램을 기반으로 기술자를 생성하고, 조명 변화나 어파인 변환에 대한 견고성을 확보하기 위해 정규화합니다.
SIFT 기술자의 매칭은 주로 유클리드 거리(Euclidean distance) 또는 기타 유사도 측정 기준을 통해 수행되며, 랜덤 샘플 컨센서스(RANSAC) 기법을 사용해 오매칭(mismatch)을 제거함으로써 견고한 이미지 정합을 달성합니다.
본 연구에서는 한 명의 환자에 대한 모든 위내시경 이미지에 대해 SIFT 알고리즘을 적용하여 이미지 쌍 간의 정합 결과(pairwise registration)를 계산하고, 유효 매칭 포인트 수를 얻었습니다. 두 이미지 간의 유효 매칭 포인트 수가 일정 임계값(threshold) 이하일 경우, 일부 유사한 영역이 존재하더라도 두 이미지는 무관한 이미지로 간주되며, 해당 이미지 쌍의 유사도 점수(similarity score)는 0.0으로 설정됩니다. 반대로, 매칭 포인트 수가 임계값을 초과하는 경우, 매칭 포인트 수에 비례하여 높은 유사도를 나타냅니다.
이러한 쌍별 유사도 점수를 활용해 유사도 행렬(similarity matrix)을 생성하고, 이를 기반으로 계층적 클러스터링(hierarchical clustering)을 수행하여 일련의 이미지 그룹을 형성합니다. 이 그룹들은 각 환자의 위내시경 이미지 중에서 높은 유사도를 가진 이미지들로 구성됩니다.
각 그룹 내에서 해부학적 부위 분류와 병변 인식 모델을 공동 적용합니다. 그룹 내 모든 이미지는 동일한 부위 및 병변 레이블(label)을 가지며, 단일 이미지보다 집합된 이미지들이 더 풍부한 정보를 제공하기 때문에, SIFT를 통해 얻은 공유 정보를 활용함으로써 두 분류 작업 모두에서 성능이 향상됩니다. 그 결과, 해부학적 부위 분류와 병변 인식의 오분류 가능성을 효과적으로 줄일 수 있습니다.
3.4. Anatomical Region Classification and Lesion Recognition
AIG(자가면역성 위염)의 진단에서 중요한 특징 중 하나는 위점막 위축의 해부학적 분포이며, 이는 흔히 “역위축(reverse atrophy)”이라 불리는 양상으로 나타납니다. 따라서 AIG를 정확하게 진단하기 위해서는 두 가지 서로 다른 과업에서 핵심 정보를 추출할 수 있는 모델이 필요합니다.
첫 번째 과업은 이미지에 나타난 위의 해부학적 부위를 식별하여 병변이 위치한 특정 영역을 확인하는 것입니다.
두 번째 과업은 위점막의 상태를 평가하는 것으로, 해당 이미지에 위축성 점막이 포함되어 있는지 여부를 판단하는 것입니다.
AIG 관련 이미지의 이러한 핵심 특징을 바탕으로 본 연구에서는 다중 작업 신경망(multi-task network)을 활용하여 위내시경 이미지를 분류합니다.
첫 번째 과업에서는 모든 위내시경 이미지에 대해 자동 해부학적 부위 분류(anatomical region classification)를 수행합니다.
기존 레이블을 이용해 이미지를 기저부(fundus), 체부(body), 전정부(antrum)의 세 부위로 분류하며, 이는 AIG 진단을 위한 전제조건 중 하나
두 번째 과업에서는 레이블링된 이미지에 대해 병변 상태를 이진 분류(binary classification) 합니다.
이 분류에서는 점막 상태를 정상(normal) 또는 위축성(atrophic)으로 판단합니다.
구체적으로, 이미지에 위축성 점막이 포함되어 있다면 '위축성'으로 라벨링하고 예측하며, 그렇지 않은 경우 '정상 위점막'으로 분류됩니다.
이 두 과업의 분류 결과를 통합함으로써 위의 각 부위(기저부, 체부, 전정부)에서의 점막 위축 상태를 종합적으로 파악할 수 있으며, 이를 통해 환자의 AIG 가능성에 대한 예비 평가(preliminary assessment)를 수행할 수 있습니다.
본 연구에서는 데이터셋 이미지의 기본 특성과 분류 목적을 고려하여, 두 과업의 백본 네트워크로 RepLKNet [30]을 채택하였습니다. RepLKNet은 대형 커널 합성곱(large-kernel convolution)을 사용하는 합성곱 신경망(CNN) 구조로, 그림 3에 이 모델의 구조가 제시되어 있습니다.
Figure 3. Structure of RepLKNet.
3.5. Metrics
평가 지표로는 정확도(accuracy), 평균 정밀도(mean precision), 평균 재현율(mean recall), 그리고 F1-score가 사용되었습니다. 이 중 평균 정밀도와 평균 재현율은 다중 클래스에 걸쳐 산술 평균을 계산하여 모델의 성능을 평가하는 데 활용됩니다.
Transformer 기반 모델은 이미지 관련 귀납적 편향(inductive bias)을 학습하기 위해 대규모 사전 학습(pretraining)이 필요하므로, 모델 간 성능 비교의 엄밀성을 확보하기 위해, 본 실험에 포함된 모든 모델은 ImageNet-1K 데이터셋에서 사전 학습된 가중치로 초기화되었습니다. 그 후, 내부 데이터셋을 이용하여 추가 학습(fine-tuning)을 수행하였습니다.
딥러닝 모델은 일반적으로 “블랙박스” 특성으로 인해 예측 결과의 근거를 명확히 파악하기 어렵다는 해석 가능성의 한계를 갖고 있습니다. 이러한 특성은 엄격하고 명확한 증거가 요구되는 의료 진단 분야에서는 중요한 단점이 될 수 있습니다. 설명되지 않는 예측 과정은 의료진이 모델 출력을 신뢰하지 않게 만들 수 있으며, 이는 진단 보조 도구로서의 모델 가치를 저하시킬 수 있습니다.
이러한 문제를 해결하기 위해, 본 연구에서는 모델의 이미지 분류 과정에서 주목한 영역을 시각화하여 예측 결과의 해석 가능성을 향상시키고자 Grad-CAM [31] 기법을 적용하였습니다. Grad-CAM은 딥러닝 모델의 특정 특성(feature) 계층의 출력을 시각적 표현(heatmap)으로 변환하여, 입력 이미지에 대한 예측 과정에서 모델이 집중한 영역을 강조합니다. 이러한 방식은 모델의 예측 논리에 대한 직관적인 통찰을 제공할 수 있습니다. 또한, 최종 예측 결과와의 일치도를 높이기 위해, 본 연구에서는 Grad-CAM의 대상 계층으로 모델의 마지막 합성곱 계층을 선택하였습니다.
4. Results
4.1. Results of Images Grouping
그림 4에서 볼 수 있듯이, 정합 알고리즘은 겹치는 영역을 포함하고 상대적으로 유사한 이미지들 사이에서 충분한 수의 정합 포인트(registration points)를 성공적으로 식별하여, 이미지를 효과적으로 정렬합니다. 식별된 대부분의 정합 포인트는 정확하게 매칭되었으며, 소수의 오매칭(mismatch)만이 관찰되었습니다. 또한, 충분한 수의 정합 포인트가 존재할 경우, 알고리즘은 해당 이미지 쌍 간의 상대적 위치 관계를 예비적으로 파악할 수 있습니다.
Figure 4. Examples of image registration (green lines are the feature point match lines, while blue boxes are the position of the left image in the right image, in order to make the presentation clearer, the number of match lines in the image was randomly reduced).
그림 5에서 볼 수 있듯이, 이미지 정합(image registration)을 통해 생성된 유사도 행렬(similarity matrix)은 유사도가 높은 이미지 쌍일수록 더 큰 유사도 값을 부여함을 보여줍니다. 이 유사도 행렬을 기반으로, 처음 세 개의 이미지와 마지막 두 개의 이미지가 각각 두 개의 클러스터로 묶였으며, 나머지 이미지는 어떤 그룹에도 포함되지 않았습니다.
그러나 엄격한 제약 조건을 적용했음에도 불구하고, 정합 알고리즘은 일부 이미지 간의 유사한 영역을 탐지하지 못하는 한계를 보였습니다. 예를 들어, 첫 번째와 두 번째 이미지, 그리고 여섯 번째 이미지와 첫 세 개의 이미지는 유사한 영역에 위치하며 뚜렷한 공통 마커를 공유하고 있음에도, 알고리즘은 이들 간의 관계를 제대로 식별하지 못했습니다.
Figure 5. Example of the similarity matrix obtained in the experiment (for all image pairs with too few matches, the similarity was set to 0.0).
그림 6에서 볼 수 있듯이, SSIM과 같은 기존의 유사도 알고리즘은 위내시경 이미지에 대해 제대로 작동하지 않을 수 있습니다. 이는 이러한 이미지들이 색상과 형태에서 차이가 미미한 경우가 많아, 전반적으로 유사도 점수가 높게 산출되기 때문입니다. 기존의 유사도 계산 방법은 유사한 이미지를 효과적으로 매칭할 수는 있지만, 전혀 다른 이미지들도 잘못 그룹화할 가능성이 있습니다. 이러한 문제는 이후의 해부학적 영역 분류 및 병변 인식 작업에서 오분류된 이미지 수를 증가시킬 수 있으며, 궁극적으로 분류 접근법의 전체적인 정확성과 신뢰성을 저해할 수 있습니다. 따라서, 본 연구에서는 기존의 유사도 알고리즘을 사용하지 않았습니다.
Figure 6. Examples of the similarity matrix obtained by different algorithms in the experiment. (a) The similarity matrix obtained through the SIFT algorithm. (b) The similarity matrix based on structural similarity (SSIM). (c) The similarity matrix based mean squared error (MSE). (d) The similarity matrix obtained based on histogram similarity.
4.2. Results of Anatomical Region Classification
표 2에 제시된 해부학적 영역 분류 결과에 따르면, 대형 커널 합성곱을 도입한 RepLKNet 모델이 여러 평가 지표에서 다른 모든 모델보다 우수한 성능을 보였습니다. 더 나아가, RepLKNet에 이미지 그룹화를 결합한 본 연구의 방법은 정확도 0.934 ± 0.005 (95% 신뢰구간) 및 정밀도 0.926 ± 0.004 (95% 신뢰구간)로 가장 우수한 성능을 기록했습니다.
위내시경 영상에서의 해부학적 영역 분류는 영상 각도, 밝기 등 다양한 요인의 변화폭이 커서 특히 어려운 작업입니다. 따라서, 특정 위장 영역을 정확히 식별하려면 글로벌 맥락 정보를 효과적으로 포착할 수 있는 모델이 필요합니다.
ViT와 같은 트랜스포머 기반의 비전 모델은 전역적인 시야(global perspective)에서 강점을 보이지만, 내재된 귀납적 편향(inductive bias)이 부족하기 때문에 대규모 훈련 데이터에 대한 의존도가 높습니다. 본 연구에서는 데이터셋의 특성상 사전학습(pretraining)에 적합하지 않았으며, 이로 인해 ViT와 같은 모델의 성능이 상대적으로 제한되었습니다.
그림 7에서 볼 수 있듯이, Grad-CAM 시각화 결과는 해부학적 영역 분류 과정에서 모델이 해당 위장 부위의 가장 뚜렷한 특징 영역에 집중하고 있음을 보여줍니다. 이러한 특징 영역은 위의 각 부위에 따라 서로 다르게 나타납니다.
*기저부(fundus)의 경우, 주요 특징은 기저부 돔(fundal vault), 분문(cardia), 그리고 이로부터 이어지는 내시경 튜브이며, 모델은 이를 정확히 식별
*전정부(antrum)에서는 가장 두드러진 특징이 유문관(pyloric duct)과 유문(pylorus)인데, 모델은 이들 또한 효과적으로 감지
*체부(body)는 유문이나 분문과 같은 국소화된 특징이 부족하기 때문에, 다른 두 부위보다 넓은 영역을 모델이 집중적으로 분석
이로 인해, 체부 이미지를 정확히 판별하기 위해서는 모델이 보다 전체적인 관점에서 이미지를 해석하고 특징을 식별해야 합니다.
Figure 7. Visualization of anatomical region classification. The regions marked by green bounding boxes correspond to characteristic feature areas of their respective anatomical sites, demonstrating the model’s ability to identify clinically relevant patterns.
4.3. Results of Lesion Recognition
표 3에서 볼 수 있듯이, 병변 인식을 위한 백본(backbone) 네트워크 중에서는 대형 커널 합성곱(large-kernel convolution)을 활용한 RepLKNet이 가장 우수한 성능을 보였습니다. 또한, 이미지 그룹핑을 통해 얻은 추가 정보를 통합함으로써, 본 연구의 방법은 해당 작업에서 다른 모델들보다 뛰어난 성능을 보여주었으며, 정확도는 0.902 ± 0.010 (95% 신뢰구간), 정밀도는 0.905 ± 0.008 (95% 신뢰구간)를 기록하였습니다.
위축성 위점막을 포함한 병변 인식은, 위축 부위와 주변 정상 점막 사이의 미묘한 차이로 인해 특히 어려울 수 있습니다. 위축 병변을 효과적으로 탐지하려면, 모델은 하나의 수용 영역 내에서 정상 점막과 위축 점막을 동시에 분석할 수 있는 넓은 수용 범위(receptive field)가 필요합니다. 이러한 능력은 모델이 점막 상태를 직접 비교할 수 있게 하여, 작거나 경미한 위축 병변도 감지할 수 있도록 합니다. 이러한 특성 덕분에 RepLKNet은 전역적인 문맥 정보를 포착하면서도 효율성과 정밀성을 유지할 수 있어, 위점막의 미세한 변화를 구분해야 하는 병변 인식 작업에 특히 적합합니다.
그림 8에서 볼 수 있듯이, 모델은 병변 분류를 위한 위점막의 뚜렷한 특징을 가진 부위를 잘 식별합니다. 히트맵의 분포를 살펴보면, 위내시경 영상의 밝기(brightness)가 모델의 병변 부위 인식 정확도에 중요한 영향을 미친다는 점을 알 수 있습니다. 모델은 밝은 영역에 주로 집중하는 경향이 있으며, 이러한 영역은 점막의 세부 구조를 더욱 두드러지게 보여주는 경우가 많습니다. 이러한 관찰 결과는, 위내시경 이미지의 밝기와 명암 대비(contrast)가 모델의 주의(attention)를 유도하고, 위축성 점막을 효과적으로 탐지하는 데 중요한 역할을 한다는 사실을 시사합니다.
따라서, 이미지 전처리 과정에서 밝기를 표준화하고 조정하는 작업이 중요하며, 이를 통해 모델 성능을 향상시키고 병변 영역의 일관된 식별을 보장할 수 있습니다.
Figure 8. Visualization of lesion recognition. Areas demarcated by green bounding boxes represent regions with gastric mucosal atrophy.
5. Discussions
이 연구는 영상 정합(image registration) 기반의 방법을 활용하여 위내시경 이미지를 군집화하고, 동일 환자의 이미지 간 상관관계를 효과적으로 활용합니다. 또한, 대형 커널 합성곱 기반의 RepLKNet 모델을 결합하여 위내시경 이미지에서 자가면역성 위염(AIG)과 관련된 해부학적 영역 및 병변 정보를 효율적으로 추출합니다. 이 연구는 AIG의 자동 보조 진단에 기여하며, 기존의 전통적 방법이나 다른 자동화 방법에 비해 뚜렷한 우위를 보여줍니다.
전통적인 AIG 진단은 의사가 내시경 이미지를 수동으로 판독하여 관련 소견을 평가해야 하며, 이는 시간이 많이 소요되고 판독자 간 변이가 발생하기 쉬운 과정입니다. 특히 병변과 해부학적 구조 간의 연관성을 판단하는 데 있어 이러한 한계가 두드러집니다. 제안된 자동화 딥러닝 시스템은 이러한 제한점을 극복하며, 표준화되고 효율적인 영상 해석을 제공합니다. 단순히 병변 인식에만 초점을 맞춘 기존 연구들[36]과 달리, 본 방법은 해부학적 영역 정보를 통합하고 병변 분석을 AIG 진단과 명확히 연결시켜 임상적 진단 요구에 보다 부합합니다.
또한 단일 내시경 이미지만 분석하는 기존 접근법과는 달리, 본 시스템은 각 환자의 복수 이미지를 종합적으로 평가하여 이미지 간 상관관계를 도출함으로써 해부학적 영역 분류와 병변 인식을 모두 최적화합니다. 기존 자동 AIG 진단 연구[37]와 비교했을 때, 본 연구의 방법론은 해석 가능하고 AIG 식별에 임상적으로 의미 있는 병리학적 특징 분석에 더욱 중점을 둡니다.
실제로 본 방법은 위내시경 진료 흐름에 두 가지 방식으로 통합될 수 있습니다. 첫 번째는 내시경 장비에 내장하여 실시간으로 관련 병변에 대한 경고를 제공하고 AIG 가능성을 예측하는 방식입니다. 두 번째는 원격진료 서비스에 통합하여 의료 자원이 부족한 지역에서 지원 도구로 활용하는 것입니다. 환자의 프라이버시를 보장하면서 위내시경 이미지를 분석함으로써, 이 방법은 AIG 진단에 임상적으로 유용한 의사결정 지원을 제공하며, 의료 숙련도 차이로 인한 진단 누락의 위험을 줄일 수 있습니다.
이 연구에는 두 가지 한계점이 있습니다. 첫째, 현재의 데이터셋 규모가 여전히 제한적이며, 모델의 성능과 일반화 가능성을 높이기 위해서는 데이터셋의 추가 확장이 필요합니다. 둘째, 데이터가 단일 기관에서 수집되었으며, 표준화된 다기관 데이터를 확보하는 데 어려움이 존재합니다. 이와 같은 한계는 다양한 기관의 데이터셋을 통한 모델 성능 검증을 어렵게 하여, 실제 임상 환경에서의 활용 가능성을 제한합니다.
향후에는 내부 데이터셋을 지속적으로 확장하고 모델 성능을 향상시키기 위해, 여러 의사들로부터 체계적으로 환자 데이터를 수집할 예정입니다. 더불어, 타 병원 및 연구기관과의 협력을 추진하여, 다기관 연구를 통해 보다 포괄적인 AIG 관련 환자 데이터를 확보할 계획입니다. 이러한 다기관 접근 방식은 자동 진단 연구를 더욱 발전시키는 데 기여할 것입니다.
또한, 향후에는 병리학적 검사나 혈청학적 검사와 같은 AIG 관련 다른 지표에 대한 자동 분석 방법도 탐색할 예정이며, 궁극적으로는 다중 모달 정보에 기반한 자율적인 AIG 진단 시스템을 구축하는 것이 목표입니다. 본 진단 모델을 바탕으로 원격진료 플랫폼과의 통합도 계획하고 있으며, 이를 통해 온라인 자율 이미지 판독이 가능해질 것입니다. 이러한 통합 시스템은 의료 인프라가 부족한 지역에서도 온라인 AIG 진단 시스템을 활용할 수 있도록 하여, AIG에 대한 인식 제고와 조기 선별에 기여하고, 진단 누락의 가능성을 줄이는 데 도움을 줄 수 있습니다.
6. Conclusions
본 연구에서는 환자 기반의 다중 작업(multi-task) 분석 방법을 제안하며, 이를 통해 단일 환자에게서 얻어진 모든 위내시경 이미지 간의 관계 정보를 통합합니다. 본 접근법은 하나의 통합된 네트워크를 이용하여, 이미지에 포착된 위의 해부학적 영역과 점막 위축의 존재 여부를 동시에 분류합니다. 환자의 위내시경 이미지 간 상호 관계를 추출하기 위해, 영상 정합(image registration) 알고리즘을 적용하여 이미지 간 상관관계를 파악하고 유사도 행렬을 구축합니다. 이 유사도 행렬은 이후 이미지 군집화(image grouping)에 활용됩니다. 이렇게 군집화된 이미지를 대상으로, 대형 커널 합성곱 기반의 딥러닝 네트워크인 RepLKNet을 활용하여 위의 해부학적 영역과 병변에 대한 포괄적인 분류 작업을 수행합니다.
실험 결과, 동일 환자의 복수 위내시경 이미지를 군집화하여 공동 분석하는 방식은 해부학적 부위와 병변 인식 정확도를 현저히 향상시키는 것으로 나타났습니다. RepLKNet 모델은 대형 커널 합성곱 구조를 기반으로 수용 영역 크기와 지역 귀납 편향(local inductive bias) 간의 균형을 유지하며, 제한된 데이터 환경에서도 위내시경 이미지 분석에서 우수한 성능을 보였습니다. 본 방법은 위의 해부학적 영역 분류에서 93.5%, 병변 인식에서 90.7%의 높은 정확도를 달성하였습니다.
요약하자면, 위내시경 이미지 데이터의 고유한 특성을 효과적으로 활용함으로써, 본 연구에서 제안한 방법은 위 해부학적 영역 및 병변 인식에서 우수한 성능을 보이며, 자가면역성 위염(AIG)의 자동 보조 진단에 최적화된 통합 분석 프레임워크를 제공합니다.
<Abstract>
Autoimmune gastritis (AIG) has a strong correlation with gastric neuroendocrine tumors (NETs) and gastric cancer, making its timely and accurate diagnosis crucial for tumor prevention. The endoscopic manifestations of AIG differ from those of gastritis caused by Helicobacter pylori (H. pylori) infection in terms of the affected gastric anatomical regions and the pathological characteristics observed in biopsy samples. Therefore, when diagnosing AIG based on endoscopic images, it is essential not only to distinguish between normal and atrophic gastric mucosa but also to accurately identify the anatomical region in which the atrophic mucosa is located. In this study, we propose a patient-based multitask gastroscopy image classification network that analyzes all images obtained during the endoscopic procedure. First, we employ the Scale-Invariant Feature Transform (SIFT) algorithm for image registration, generating an image similarity matrix. Next, we use a hierarchical clustering algorithm to group images based on this matrix. Finally, we apply the RepLKNet model, which utilizes large-kernel convolution, to each image group to perform two tasks: anatomical region classification and lesion recognition. Our method achieves an accuracy of 93.4 ± 0.5% (95% CI) and a precision of 92.6 ± 0.4% (95% CI) in the anatomical region classification task, which categorizes images into the fundus, body, and antrum. Additionally, it attains an accuracy of 90.2 ± 1.0% (95% CI) and a precision of 90.5 ± 0.8% (95% CI) in the lesion recognition task, which identifies the presence of gastric mucosal atrophic lesions in gastroscopy images. These results demonstrate that the proposed multitask patient-based gastroscopy image analysis method holds significant practical value for advancing computer-aided diagnosis systems for atrophic gastritis and enhancing the diagnostic accuracy and efficiency of AIG.
Keywords: autoimmune gastritis; classification; deep learning; gastrointestinal endoscopy image; image registration; multitask network.
자가면역성 위염(Autoimmune gastritis, AIG)은 위 신경내분비 종양(gastric neuroendocrine tumors, NETs) 및 위암(gastric cancer)과 강한 연관성을 가지므로, 이 질환의 시기적절하고 정확한 진단은 종양 예방에 있어 매우 중요합니다. AIG의 내시경 소견은 헬리코박터 파일로리(Helicobacter pylori, H. pylori) 감염에 의해 유발되는 위염과는 병변이 발생하는 해부학적 부위와 생검 샘플에서 관찰되는 병리학적 특징 측면에서 차이를 보입니다. 따라서 AIG를 내시경 영상 기반으로 진단할 때는 정상 위 점막과 위축성 위 점막을 구별하는 것뿐만 아니라, 위축성 병변이 위치한 해부학적 부위를 정확하게 식별하는 것이 필수적입니다.
본 연구에서는 내시경 시술 중 획득된 모든 이미지를 분석하는 환자 기반 다중 작업(multitask) 위내시경 영상 분류 네트워크를 제안합니다. 먼저, 이미지 정합(image registration)을 위해 SIFT(Scale-Invariant Feature Transform) 알고리즘을 적용하여 이미지 유사도 행렬을 생성합니다. 이후, 이 유사도 행렬을 기반으로 계층적 군집화(hierarchical clustering) 알고리즘을 적용하여 이미지를 그룹화합니다. 마지막으로, 각 이미지 그룹에 대하여 대형 커널 합성곱(large-kernel convolution)을 활용한 RepLKNet 모델을 적용하여 두 가지 작업을 수행합니다: 해부학적 부위 분류 및 병변 인식.
제안된 방법은 해부학적 부위 분류 작업에서 기저부(fundus), 체부(body), 유문부(antrum)로 영상을 분류하며, 이 작업에서 93.4 ± 0.5%(95% 신뢰구간)의 정확도와 92.6 ± 0.4%(95% 신뢰구간)의 정밀도를 달성하였습니다. 또한 병변 인식 작업, 즉 위 내시경 영상 내 위 점막 위축 병변의 존재 여부를 판별하는 작업에서는 90.2 ± 1.0%(95% 신뢰구간)의 정확도와 90.5 ± 0.8%(95% 신뢰구간)의 정밀도를 기록하였습니다.
이러한 결과는 제안된 환자 기반 다중 작업 위내시경 영상 분석 방법이 위축성 위염에 대한 컴퓨터 보조 진단 시스템 발전에 실질적인 가치를 가지며, AIG의 진단 정확도와 효율성 향상에 기여할 수 있음을 보여줍니다.