현미경 영상 처리에서의 AI

개요

Cellpose는 현미경 이미지용으로 설계된 고급 딥러닝 기반 분할 도구입니다. 범용 알고리즘으로서, 모델 재학습 없이도 다양한 세포 유형(핵, 세포질 등)과 영상 모달리티에서 정확한 분할을 수행합니다. 인간 개입형 기능을 통해 연구자는 결과를 정제하고, 모델을 자신의 데이터에 맞게 조정하며, 2D 및 3D 영상 워크플로우에 적용할 수 있습니다.

주요 기능

다운로드 또는 접근

기술 배경

Cellpose는 Stringer, Wang, Michaelos, Pachitariu가 발표한 기념비적 연구에서 소개되었으며, 7만 개 이상의 분할된 객체로 구성된 크고 매우 다양한 데이터셋으로 학습되었습니다. 이 다양성 덕분에 모델은 세포 형태, 크기, 현미경 설정 전반에 걸쳐 일반화가 가능해 대부분의 경우 맞춤 학습 필요성을 크게 줄였습니다. 3D 데이터의 경우, Cellpose는 2D 모델을 "2.5D" 방식으로 재활용하여 완전한 3D 주석 학습 데이터 없이도 부피 분할을 수행합니다. Cellpose 2.0은 인간 개입형 재학습을 도입해 사용자가 예측을 수동으로 수정하고 자신의 이미지로 재학습하여 특정 데이터셋에서 성능을 개선할 수 있게 했습니다.

설치 및 설정

conda create -n cellpose python=3.10

# For GUI support
pip install cellpose[gui]

# For minimal setup (API/CLI only)
pip install cellpose

시작하기

GUI 모드

1. 다음 명령어로 GUI를 실행하세요: python -m cellpose
2. 이미지 파일(.tif, .png 등)을 인터페이스에 드래그 앤 드롭
3. 모델 유형 선택(예: 세포질용 "cyto", 핵용 "nuclei")
4. 예상 세포 직경을 설정하거나 Cellpose가 자동 보정하도록 설정
5. 분할 시작 버튼 클릭 후 결과 확인

Python API 모드

from cellpose import models

# Load model
model = models.Cellpose(model_type='cyto')

# Segment images
masks, flows = model.eval(images, diameter=30)

정제 및 재학습

1. 마스크 생성 후 GUI에서 수동으로 마스크 병합 또는 삭제하여 분할 수정
2. 내장된 학습 기능을 사용해 수정된 예제로 재학습 수행
3. 특정 데이터셋에서 모델 성능 향상

3D 데이터 처리

1. 다중 Z TIFF 또는 부피 스택 로드
2. GUI 또는 API에서 --Zstack 플래그를 사용해 3D로 처리
3. 더 나은 분할을 위해 스무딩 또는 특수 매개변수를 통해 3D 흐름 정제 가능

제한 사항 및 고려 사항

• 모델 범용성의 한계: 범용 모델이 널리 작동하지만, 매우 특이한 세포 형태나 영상 조건은 재학습이 필요할 수 있음.
• 주석 작업 부담: 인간 개입형 학습은 수동 수정이 필요해 대규모 데이터셋에서는 시간이 많이 소요될 수 있음.
• 설치 복잡성: GUI 설치 시 명령줄 사용, conda 환경 설정, Python 의존성 관리가 필요해 비전문가에게는 다소 어려울 수 있음.
• 데스크톱 전용: Cellpose는 데스크톱 사용을 위해 설계되었으며, Android 또는 iOS 네이티브 앱은 제공되지 않음.

자주 묻는 질문

개요

StarDist는 현미경 이미지에서 인스턴스 분할을 위한 딥러닝 도구입니다. 각 객체(예: 세포 핵)를 2D의 스타-컨벡스 다각형 또는 3D의 다면체로 표현하여, 밀집하거나 겹친 객체를 정확하게 탐지하고 분리할 수 있습니다. 견고한 아키텍처 덕분에 형광 현미경, 조직병리학 및 기타 생물영상 분석 분야에서 자동 세포 및 핵 분할에 널리 사용됩니다.

주요 특징

기술 배경

StarDist는 2018년 MICCAI 논문에서 처음 소개되었으며, 고정된 광선을 따라 방사 거리와 객체 확률을 예측하여 스타-컨벡스 형태를 정확히 재구성하는 혁신적인 방법을 제시했습니다. 이 접근법은 기존 픽셀 기반 또는 경계 상자 방식으로 분리하기 어려운 밀접한 객체를 신뢰성 있게 분할합니다.

최근에는 조직병리학 이미지로 확장되어 핵 분할뿐 아니라 탐지된 객체의 다중 클래스 분류도 가능해졌으며, CoNIC(대장 핵 식별 및 계수) 챌린지 등에서 최고 성능을 기록했습니다.

다운로드 또는 접근

설치 및 설정

pip install stardist

pip install stardist-napari

분할 실행

from stardist.models import StarDist2D
model = StarDist2D.from_pretrained('2D_versatile_fluo')
labels, details = model.predict_instances(image)

학습 및 미세 조정

후처리 옵션

• 중복 후보 형태를 제거하기 위해 비최대 억제(NMS)를 적용하세요
• 비스타-컨벡스 형태 병합을 위해 StarDist OPP(객체 후처리)를 사용하세요

제한 사항 및 고려 사항

• 스타-컨벡스 가정은 매우 비컨벡스하거나 불규칙한 형태를 완벽히 모델링하지 못할 수 있습니다
• 설치 복잡성: 확장 빌드를 위해 호환되는 C++ 컴파일러가 필요합니다
• GPU 가속은 호환되는 TensorFlow, CUDA, cuDNN 버전에 따라 달라집니다
• 일부 사용자는 Java 설정 문제로 ImageJ 플러그인 실행에 어려움을 겪는다고 보고합니다

자주 묻는 질문

적용 정보

일반 개요

SAM(Segment Anything Model)은 Meta에서 개발한 강력한 AI 기초 모델로, 이미지 내 거의 모든 객체를 대화형 및 자동으로 분할할 수 있습니다. 점, 경계 상자, 대략적인 마스크와 같은 프롬프트를 사용하여 작업별 재학습 없이 분할 마스크를 생성합니다. 현미경 연구 분야에서 SAM의 유연성은 세포 분할, 세포 소기관 탐지, 조직병리학 분석에 적용되어 프롬프트 기반의 범용 분할 도구가 필요한 연구자들에게 확장 가능한 솔루션을 제공합니다.

상세 소개

원래 Meta에서 11백만 장의 이미지와 10억 개 이상의 마스크로 학습된 SAM은 새로운 도메인에 대해 "제로샷" 성능을 제공하는 프롬프트 기반 기초 모델로 설계되었습니다. 의료 영상 연구에서는 전체 슬라이드 병리 분할, 종양 탐지, 세포 핵 식별에 대해 평가되었습니다. 그러나 세포 핵과 같이 밀집된 인스턴스에서는 성능이 혼재되어 있으며, 20회 클릭 또는 박스와 같은 광범위한 프롬프트에도 불구하고 복잡한 현미경 이미지에서 제로샷 분할이 어려울 수 있습니다.

이 한계를 극복하기 위해 도메인별 적응이 등장했습니다:

• SAMCell — 다양한 세포 유형에 대해 실험별 재학습 없이 강력한 제로샷 분할을 위해 대규모 현미경 데이터셋으로 미세 조정됨
• μSAM — 17,000개 이상의 수동 주석 현미경 이미지로 재학습되어 작은 세포 구조에 대한 정확도 향상

주요 기능

다운로드 또는 접근

사용자 가이드

제한 사항 및 고려사항

• 도메인 튜닝 없이는 밀집되거나 겹치는 구조에서 제로샷 성능 불안정
• 분할 품질은 프롬프트 설계 및 전략에 크게 좌우됨
• GPU 강력 권장; CPU 추론은 매우 느림
• 초고해상도 전체 슬라이드 이미지 및 다중 스케일 조직 구조에서 어려움
• 현미경용 SAM 미세 조정 또는 적응에는 머신러닝 전문 지식 필요할 수 있음

자주 묻는 질문

개요

AxonDeepSeg는 현미경 이미지에서 축삭과 미엘린을 자동으로 분할하는 AI 기반 도구입니다. 합성곱 신경망을 활용해 TEM, SEM, 밝은장 현미경 등 다양한 영상 기법에서 정확한 3클래스 분할(축삭, 미엘린, 배경)을 제공합니다. 축삭 직경, g-비율, 미엘린 두께 등 형태계측 측정을 자동화하여 신경과학 연구에서 정량 분석을 간소화하고 수작업 주석 시간을 크게 줄이며 재현성을 향상시킵니다.

주요 기능

기술 세부사항

NeuroPoly 연구실에서 개발한 AxonDeepSeg는 딥러닝을 활용해 신경과학 응용 분야에 고정밀 분할을 제공합니다. 다양한 현미경 기법별 사전학습 모델을 제공하여 영상 기법 전반에 걸쳐 활용 가능합니다. Napari와 통합되어 분할 마스크의 대화형 수정을 지원하며, 까다로운 데이터셋에서 정확도를 높입니다. AxonDeepSeg는 주요 형태계측 지표를 계산하여 신경 조직 구조 및 병리 연구의 고처리량 분석을 지원합니다. 파이썬 기반 프레임워크로 대규모 축삭 및 미엘린 형태 분석 맞춤 파이프라인에 통합할 수 있습니다.

다운로드 또는 접근

설치 및 설정

pip install axondeepseg napari

중요 고려사항

• 새롭거나 학습되지 않은 영상 기법에서는 성능 저하 가능
• 복잡하거나 까다로운 영역은 수동 수정 필요할 수 있음
• 대용량 데이터셋 처리 시 GPU 권장; 소규모 분석은 CPU도 지원

자주 묻는 질문

개요

Ilastik은 현미경 데이터의 대화형 이미지 분할, 분류 및 분석을 위한 강력한 AI 기반 도구입니다. 랜덤 포레스트 분류기와 같은 머신러닝 기법을 사용하여 연구자들이 픽셀을 분할하고, 객체를 분류하며, 시간에 따른 세포 추적과 2D 및 3D 데이터셋에서 밀도 계수를 수행할 수 있게 합니다. 직관적인 인터페이스와 실시간 피드백 덕분에 프로그래밍 전문 지식이 없는 과학자들도 쉽게 접근할 수 있으며, 세포 생물학, 신경과학, 생의학 영상 분야에서 널리 사용되고 있습니다.

주요 기능

다운로드

시작 가이드

제한 사항 및 고려 사항

• 대화형 라벨링은 매우 큰 데이터셋에서 시간이 많이 소요될 수 있습니다
• 정확도는 사용자 주석의 품질과 대표성에 따라 달라집니다
• 메모리 요구량 — 매우 고해상도 또는 수 기가바이트 데이터셋은 상당한 RAM이 필요할 수 있습니다
• 복잡한 데이터 — 랜덤 포레스트 분류기는 변동성이 크거나 복잡한 영상 데이터에서 딥 뉴럴 네트워크보다 성능이 떨어질 수 있습니다

자주 묻는 질문