医学影像之病理切片

一：深度学习在病理切片的应用

病理切片：是取一定大小的病变组织，用病理组织学方法制成病理切片〔通常将病变组织包埋在石蜡块里，用切片机切成薄片，再用苏木精－伊红(H-E)染色〕，用显微镜进一步检查病变。病变的发生发展过程，最后作出病理诊断。

1、定性分析

判断腺体的形态

判断细胞的良恶性

2、定量分析

依据事实数据，建立数学模型，从而计算出与病变相关的各项指标。

有丝分裂数目

肿瘤的实质与间质的比例

粘液湖和癌细胞比例等定量化指标，并根据定量指标给出病理诊断。

3、 分离出细胞等结构对于病理诊断具有重要意义，但其难点在于：模糊、重叠、异质。

4、可以利用细胞和细胞核的形态学特征、几何学特征、纹理特征、形状特征等。

二：医学影像深度学习模型

1、U-Net

U-Net网络结构

U-Net为什么适合医学影像分析：

（1）医学图像边界模糊、梯度复杂、需要较多的高分辨信息用于精准分割 
（2）人体器官结构相对固定，分割目标在人体图像中的分布很具有规律，语义简单明确。
（3）unet结合了低分辨率信息和高分辨率信息适用于医学图像分割。

U-Net的网络搭建有兴趣的可以参考我关于《Keras深度学习框架实战系列》。有兴趣的小伙伴也可以关注我后续的更新，我将把整个Unet的训练过程和相关学习代码发上来。

2、3D-Unet

三维影像数据在生物医学数据分析中广泛存在，训练一个网络，希望能利用三维影像的标注信息。3D-UNet网络以3D数据为输入，并用相应的操作来处理数据，包括3D卷积、3D最大池化和3D向上卷积层。

 3D-UNet的网络结构

(1)在分析路径中同，每一层包含两个3X3X3个卷积，每一个都跟随（batch normalization+Relu）
(2)然后在每个维度上都有2X2X2最大池，步长为2
(3)在合成路径中，第一个层先经过2X2X2的上卷积，每个维度上步长均为2
(4)接着是两个3X3X3个卷积，然后是Relu。
(5)在分析路径中从相等分辨率层的shortcut连接提供了合成路径的基本高分辨率特征。
(6)在最后一层1X1X1的卷积减少了输出通道的数量，标签的数量是3。
(7)结果：3折交叉验证实验中，平均IOU为0.863

项目地址：https://github.com/wolny/pytorch-3dunet

有兴趣的小伙伴也可以关注我后续的更新，我将把整个3DUnet的训练过程和相关学习代码发上来。

3、V-Net

这是UNet的另一个3D深度学习版本。

(1)“ X”代表卷积核为5X5X5，stride为1的卷积
(2)每个stage的未尾使用卷积核为2X2X2，stride为2的卷积，特征大小缩小一半。
(3)“+”表示按元素相加
(4)卷积后的小三角代表PreLU，是指增加了参数修正ReLU。
(5)网络未尾加一个1X1X1的卷积，处理成与输入一样大小的数据，然后接一个softmax，在softmax之后，输出由背景和前景的概率图组成。
(6)具有较高概率（>0.5）的体素属于前景，而不是背景，被认为是组织器官的一部分。
(7)残差机制，V-Net学习了U-Net的思想，把缩小端的底层特征送入放大端的相应位置帮助重建高质量图像，并且加速模型收敛。
每一个stage中也使用了跃层连接。
(8)使用适当步长的3D卷积来减小数据的大小。
(9)反之，逆卷积通过将每个输入体素通过内核投影到更大的区域来增大数据的尺寸。

下面的两个网络模型我就不详述了，大家可以自行到项目地址了解。

4、FC-DenseNet

这是UNet的另一个3D深度学习版本。

项目地址：https://github.com/simjeg/fc-densenet

5、TransuUnet

当前最热门的医学影像深度学习模型之一。

项目地址：https://github.com/Beckschen/TransUNet

三：有关数据集

1、PROMISE12 Challenge

项目地址：https://github.com/mirzaevinom/promise12_segmentation

2、Camelyon竞赛的数据

CAMELYON17 的目的是评估用于在组织学淋巴结切片的全幻灯片图像中自动检测和分类乳腺癌转移的新算法和现有算法。去年的CAMELYON16专注于在病灶水平和载玻片水平上检测淋巴结转移。下载地址：Home – Grand Challenge

3、乳腺癌淋巴结转移和TNM分类系统

这一挑战将集中在淋巴结中乳腺癌转移的检测和分类上。淋巴结是过滤淋巴液的小腺体，淋巴液是通过淋巴系统循环的液体。腋窝淋巴结是乳腺癌最容易扩散的地方。淋巴结转移受累是乳腺癌最重要的预后因素之一。当癌症扩散到淋巴结时，预后较差。这就是为什么要通过手术切除淋巴结并进行显微镜检查的原因。然而，病理学家的诊断程序既繁琐又耗时。但最重要的是，小转移灶很难检测到，有时会被遗漏。
TNM 系统是一种国际公认的方法，用于对实体瘤患者的癌症扩散程度进行分类。它是临床医生帮助他们选择合适的治疗方案并获得预后指示的最重要工具之一。在乳腺癌中，TNM分期考虑了肿瘤的大小（T分期），癌症是否已经扩散到区域淋巴结（N分期），以及肿瘤是否已经转移到身体的其他部位（M -阶段）。
自动切片分析平台 (ASAP) 是一个开源平台，用于可视化、注释和自动分析整个切片组织病理学图像。ASAP 建立在几个成熟的开源软件包之上，如 OpenSlide、Qt 和 OpenCV。我们强烈建议参与者使用此平台来可视化幻灯片和查看注释。

下载地址：https://github.com/computationalpathologygroup/ASAP

四：有关病理切片的两个预处理工具

（1）、open-slide

下载地址：Http://openslide.org/api/python/

安装方式法：

用于缩放病理图片

分辨率达到200000X100000

（2）、ASAP

下载地址：https://github.com/GeertLitjens/ASAP/releases

用途：截取完整切片的一片区域

           Xml标注文件转成mask模板图片

五：病理切片的其他技巧

1、为了肿瘤组织和正常组织在数量上的不平衡，采样时使肿瘤切片/正常切片的数量相同
2、考虑到每个切片的化学制备差异，为了适应不同H&E染色（苏木精-伊红染色法）的颜色，通过施加随机色调、饱和度、亮度和对比度来进行增强色彩。
3、由于病理组织学图像表现出旋转对称性，可通过随机旋转0-360度；并随机左右翻转的方式实现数据增强。
4、细胞计数
首先通过FPN来实现细胞瑟背景的分割。
然后能过VGG来实现计数

来源：BBM的开源HUB