图像引导的治疗系统的制作方法

本发明指向图像引导的治疗系统、用于图像处理的计算机实施的方法、计算机程序以及成像设备。背景技术：1、一般来说，医学成像系统用于导管实验室中的经皮介入以处置患者，例如导管实验室中的经皮冠状动脉介入(pci)以处置心脏狭窄患者。典型地，导管在进入位点处插入血管系统，导管沿着大血管前进到需要处置的血管结构。经由导管注射造影剂，并且导管实验室x射线仪器记录示出充满造影剂的血管的血管造影序列。一般来说，诊断和介入规划基于这样的诊断性血管造影照片。在介入期间，将柔性的、部分或完全不透射线的导丝推进到受影响的血管结构(例如，冠状动脉中的狭窄、神经血管动脉瘤或动静脉畸形)。荧光镜低剂量x射线监控将导丝可视化并且在推进导丝时允许介入医生的手眼协调。在导丝被定位后，导丝充当用于递送介入设备的轨道(例如，用于扩张和支架递送的球囊、用于动脉瘤凝血的可拆卸线圈)。2、在放射学领域中，诊断成像系统的自动定位是一个复杂的课题，因为不仅要评估患者的位置，而且医学图像数据还必须具有足够的图像质量。另外，在介入期间的医学成像通常是手动执行的，因为这是非常复杂的流程。通常，提供多个用于定位医学成像设备的指南来辅助医学人员。技术实现思路1、利用本发明的实施例，提供了一种改进的图像引导的治疗系统。2、本发明由独立权利要求来限定。本发明的其他实施例和优点包含在从属权利要求和说明书中。3、专业术语是按通常意义使用的。如果某些术语被传达了特定含义，则术语的定义将是在下文中在该术语被使用的上下文中给出的。4、根据本发明的第一方面，提供了一种训练用于辅助图像引导的治疗流程(也被称为介入)(例如，使用x射线成像(如荧光透视)和/或使用横截面数字成像模态(如磁共振成像(mri)和/或计算机断层摄影(ct))的图像引导的治疗流程)(其任选地由辅助仪器(如超声、血管造影术、手术导航仪器、跟踪工具、ecg)和相关联的软件支持)的机器学习(ml)算法的方法。额外地和/或替代地，训练机器学习(ml)算法的方法用于控制图像引导的治疗系统，如本文所述。所述方法由包括处理器和存储器的计算机来实施。合适的计算机是已知的。所述方法包括：获得训练数据，包括接收图像引导的治疗图像(即，图像数据，特别是医学图像数据)的集合，并且存储针对每幅图像的所述图像引导的治疗图像的相应的凝视区以及由临床医生响应于查看所述相应的凝视区而进行的所述图像引导的治疗流程的动作。5、通常，图像的凝视区是查看者正在观看的图像区(也被称为点或关注点)(其例如通过使用眼球追踪进行测量来确定)。因此，图像引导的治疗图像的凝视区包括和/或是临床医生(即，查看者)的介入关注点(也被称为关注区或介入的关注点)，因此是临床医生关注的图像区。所述方法包括使用所述训练数据来训练所述ml算法，包括针对所述相应的图像引导的治疗流程确定所述图像引导的治疗图像、所述图像引导的治疗图像的所述相应的凝视区以及与所述相应的凝视区相关联的相应的动作之间的关系。6、有利地，通过学习图像引导的治疗图像、图像引导的治疗图像的相应的凝视区以及与相应的凝视区相关联的相应的动作之间的关系，经训练的ml算法可以推断在由临床医生执行的图像引导的治疗流程期间图像引导的治疗图像的关注区，而不是通过例如使用眼球追踪进行测量来确定图像引导的治疗图像的关注区。通过使用所推断的关注区，经训练的ml算法可以预测和进行与所推断的关注区相关联的动作，从而自动辅助图像引导的治疗流程并因此改善患者结果，而不需要使用例如眼球追踪。7、换句话说，在训练期间，ml算法学习在临床医生正在执行图像引导的治疗流程(包括与图像引导的治疗流程相关联的动作)并且通过使用例如眼球追踪进行测量来确定图像引导的治疗图像的相应的凝视区时由图像引导的治疗系统显示的并由临床医生查看的图像引导的治疗图像的凝视区(以及因此关注区)以及与图像引导的治疗图像相关联的动作。相比之下，在推断期间，经训练的ml算法在临床医生正在执行图像引导的治疗流程但是没有通过使用例如眼球追踪进行测量来确定相应的凝视区时根据由图像引导的治疗系统显示的并由临床医生查看的图像引导的治疗图像来推断所推断的凝视区。8、所述方法包括从由相应的临床医生对相应的患者执行的相应的图像引导的治疗流程中获得训练数据，所述训练数据包括所述图像引导的治疗图像的集合、所述图像引导的治疗图像的相应的凝视区以及与所述相应的凝视区相关联的相应的动作。9、训练数据包括所述图像引导的治疗图像的集合、所述图像引导的治疗图像的相应的凝视区以及与所述相应的凝视区相关联的相应的动作。应当理解，在图像引导的治疗流程期间，例如在图像引导的治疗系统中包括的显示器上向临床医生显示一幅或多幅图像引导的治疗图像。应当理解，图像引导的治疗图像可以包括多个不同的扫描(包括实时采集的扫描和先前采集的扫描)以及患者和图像引导的治疗系统数据。临床医生的特定关注点(也被称为介入关注点)可能取决于图像引导的治疗流程的步骤(也被称为阶段)。例如，在经皮冠状动脉介入(pci)(也被称为冠状动脉支架植入流程或利用支架的血管成形术)期间，可能有若干步骤，例如：经股动脉进入，将导管导航到冠状动脉树开口，对冠状动脉树进行评估(血管造影照片)，对一个或几个分支进行布线，导航到狭窄并通过狭窄，支架定位，支架递送以及在介入关注点内的介入的步骤的许多其他示例。可以对介入步骤中的每个介入步骤进行成像，并且在图像中的每幅图像内，可以通过使用例如眼球追踪对训练数据进行测量来确定凝视区并因此确定介入关注点。例如，在pci的导丝导航步骤期间，临床医生通常将关注导丝的尖端。在导丝导航步骤期间，临床医生可以进行动作(例如，缩放扫描)。随后，在处置规划步骤期间，临床医生通常将关注病变，以建立正确的支架尺寸。在一个示例中，所述图像引导的治疗图像的集合、所述图像引导的治疗图像的相应的凝视区以及与所述相应的凝视区相关联的相应的动作包括来自相应的图像引导的治疗流程的相应的一系列图像引导的治疗图像(也被称为序列)以及所述图像引导的治疗图像的相应的凝视区。也就是说，可以从特定的图像引导的治疗流程中获得一幅或多幅图像引导的治疗图像(例如，(例如，周期性地(例如，每15、30、60秒)、间歇地(例如，在特定步骤处手动捕获时)或连续地(例如，视频)捕获的)时间系列)及所述图像引导的治疗图像的相应的凝视区。例如，可以存储当前显示的图像引导的治疗图像的图像数据或捕获其屏幕截图。10、在该上下文中，介入关注点(也被称为关注区或介入的关注点)被理解为临床医生在介入(的步骤)期间将关注的图像中的位置(即，区、区域)。在临床实践中，通常观察到临床医生专注于图像的局部区域(即，关注区)。11、在一个示例中，使用相应的临床医生的眼球追踪来估计相应的凝视区。眼球追踪是已知的。基于视频的眼球追踪器通常使用相机来跟踪查看者的瞳孔的相应中心以估计查看者的凝视区。其他眼球追踪器是已知的。虽然这样的眼球追踪对于获得训练数据是可接受的，但是由于额外的成本、进一步的复杂性和/或对临床医生的视线要求，优选的是在常规的图像引导的治疗流程中避免眼球追踪。因此，如下所述，在推断期间不需要眼球追踪。12、在一个示例中，获得所述训练数据包括：在由第一临床医生执行的第一图像引导的治疗流程期间的第一时间时显示所述集合中的第一图像引导的治疗图像，并且使用眼球追踪来估计所述第一临床医生的所述第一图像引导的治疗图像的相应的第一凝视区。例如，第一时间可以对应于特定的步骤或者被包括在一系列图像引导的治疗图像中，如本文所述。在一个示例中，获得训练数据包括：在由第一临床医生执行的第一图像引导的治疗流程期间的第二时间时显示所述图像引导的治疗图像的集合中的第二图像引导的治疗图像，并且使用眼球追踪来估计第一临床医生的第二图像引导的治疗图像的相应的第一凝视区。以这种方式，来自特定的图像引导的治疗流程的一系列图像引导的治疗图像和所述图像引导的治疗图像的相应的凝视区可以被包括在训练数据中。13、训练数据包括来自相应的图像引导的治疗流程的相应的动作(例如，由相应的临床医生进行的和/或代表相应的临床医生进行的、与图像引导的治疗图像和所述图像引导的治疗图像的相应的凝视区相关联的相应的动作)。也就是说，响应于查看图像引导的治疗图像(特别是所述图像引导的治疗图像的凝视区)，临床医生可以进行相关联的动作(其通常涉及图像处理和/或图像引导的治疗系统控制，如下所述)。该动作可以是被动的(例如处理观察结果)，也可以是主动的(例如预期后续步骤)。相反，响应于查看图像引导的治疗图像(特别是所述图像引导的治疗图像的凝视区)，临床医生可以不进行相关联的动作(即，无动作或没有动作)。14、例如，在pci的导丝导航步骤期间，临床医生通常将关注导丝的尖端。在导丝导航步骤期间，临床医生可以进行动作(例如，缩放凝视区)。随后，在处置规划步骤期间，临床医生通常将关注病变，以建立正确的支架尺寸。在处置规划步骤期间，临床医生可以进行动作，例如使用经由在图像引导的治疗系统中包括的鼠标或触摸屏平板提供的功能来测量病变的范围和/或血管的直径。15、在一个示例中，所述相应的动作包括图像处理动作和/或图像引导的治疗系统控制。图像处理动作可以包括缩放、平移、调整大小、重新排序、替换、添加或移除扫描、图像增强、包括测量的图像分析。图像引导的治疗系统控制动作可以包括采集扫描、准直x射线束以调整用于成像的剂量和控制用于采集扫描的成像设备的取向，和/或手动或通过设备驱动机构移动治疗设备。其他动作是众所周知的。应当理解，这些动作通常经由相应的图像引导的治疗系统来进行，因此与图像引导的治疗图像存储在一起，并且可以被包括在训练数据中。额外地和/或替代地，这些动作可以被手动记录并且被包括在训练数据中。16、在一个示例中，所述训练数据包括与来自所述相应的图像引导的治疗流程的以下各项相关联的语音和/或元数据：所述图像引导的治疗图像、所述图像引导的治疗图像的所述相应的凝视区，以及与所述图像引导的治疗图像相关联的所述相应的动作，并且任选地还有相应的图像引导的治疗系统数据。例如，特定的临床医生可以在特定的图像引导的治疗流程期间(例如响应于查看特定的图像引导的治疗图像的观察结果或进行动作的请求)进行口头评论。例如，可以手动或经由自动语音识别将语音包括在训练数据中。例如，元数据可以包括成像协议、所运行的算法的日志信息、关于流程时间的信息(例如，自图像引导的治疗流程开始以来的时间)、图像引导的治疗系统设置、图像引导的治疗流程类型、临床医生的姓名和/或(例如来自pacs的)患者数据。17、在一个示例中，训练数据包括辅助数据(例如，来自辅助设备(例如，超声、血管造影术、手术导航仪器、跟踪工具和相关联的软件)的辅助数据)。典型地，这样的辅助仪器被通信性耦合到图像引导的治疗系统。18、应当理解，图像引导的治疗流程是一种类型的图像引导的治疗的实例(即，由特定临床医生对特定患者执行的特定介入)，例如，(例如对患有冠状动脉疾病、外周动脉疾病或引线提取指征的患者的)经皮冠状动脉介入(pci)、心脏电生理(ep)，以及经皮消融(pa)(也被称为图像引导的消融(iga)或图像引导的肿瘤消融)。其他图像引导的治疗是已知的。在一个示例中，相应的图像引导的治疗流程是相同的图像引导的治疗(例如仅用于pci)。以这种方式，专门针对特定的图像引导的治疗训练了ml算法。在一个示例中，相应的图像引导的治疗流程是由同一临床医生(例如，特定的图像引导的治疗的专家)执行的。以这种方式，使用从专家获得的训练数据来训练ml算法。在一个示例中，根据特定协议来执行相应的图像引导的治疗流程。以这种方式，针对该特定协议训练了ml算法，从而提高了标准化。19、所述方法包括：使用所述训练数据来训练所述ml算法，包括针对所述相应的图像引导的治疗流程确定所述图像引导的治疗图像、所述图像引导的治疗图像的所述相应的凝视区以及与所述相应的凝视区相关联的相应的动作之间的关系。也就是说，ml算法学习临床医生的特定凝视区以及因此关注区与特定的图像引导的治疗图像有关(例如在特定的图像引导的治疗流程的特定步骤处和/或特定时间时)。以这种方式，ml算法更一般地学习相应的图像引导的治疗图像的(例如根据图像引导的治疗流程的步骤和/或时间的)相应的凝视区并因此学习相应的关注区。换句话说，ml算法根据被显示给临床医生的图像引导的治疗图像来学习图像引导的治疗流程(包括关注区和任选的相关联的动作)。使用这种学习，经训练的ml算法可以用于辅助图像引导的治疗流程，如本文所述。20、在一个示例中，针对所述相应的图像引导的治疗流程确定所述图像引导的治疗图像、所述图像引导的治疗图像的所述相应的凝视区和与所述图像引导的治疗图像相关联的所述相应的动作之间的所述关系包括：使用所述相应的凝视区来建立相应的介入关注点，如本文所述。21、在一个示例中，针对所述相应的图像引导的治疗流程确定所述图像引导的治疗图像、所述图像引导的治疗图像的所述相应的凝视区以及与所述图像引导的治疗图像相关联的所述相应的动作之间的所述关系包括：识别所述图像引导的治疗图像中的特征，并且将所识别的特征与所述相应的凝视区进行相关。从图像中进行的特征识别(也被称为特征提取)是已知的。也就是说，ml算法学习将识别的特征与相应的凝视区进行相关。在一个示例中，特征包括内源性特征(即，患者特征，例如，生理特征或解剖特征，例如，血管、病变等)和外源性特征(即，图像引导的治疗流程特征，例如，导丝、引线等)。22、在一个示例中，使用所述训练数据来训练所述ml算法包括选择性地对所述训练数据进行加权。例如，可以基于相应的图像引导的治疗流程的步骤、进行的动作、语音和/或与相应的图像引导的治疗图像相关联的元数据对一些或所有训练数据进行加权。以这种方式，可以提高训练ml算法的准确度。例如，如果语音指示临床医生已经进行了重要的观察或诊断，则对应的凝视区(例如，在当前时间的凝视区)和/或先前的凝视区(例如，在先前时间(例如紧挨在当前时间之前)的凝视区)可以被赋予相对较高的权重。23、在一个示例中，训练ml算法包括：使用从第一类型的图像引导的治疗获得的训练数据来预训练ml算法，并且随后使用从第二(不同)类型的图像引导的治疗获得的训练数据来训练预训练算法。在一个示例中，训练ml算法包括使用从第一类型的图像引导的治疗获得的训练数据来训练ml算法，并且随后使用从由(例如在特定医院，例如使用特定的图像引导的治疗系统或特定类型的图像引导的治疗系统的)特定的临床医生执行的第一类型的图像引导的治疗的图像引导的治疗流程获得的训练数据来进一步训练经训练的算法。以这种方式，可以最初针对第一类型的图像引导的治疗来训练ml算法，并且随后针对(例如由在特定医院的特定临床医生通过进一步训练遵循的)特定协议来个性化或个体化地训练ml算法。24、合适的ml算法是已知的。在一个示例中，ml算法包括和/或是神经网络(nn)、卷积神经网络(cnn)和/或深度神经网络(dnn)。25、根据本发明的第二方面，提供了一种辅助图像引导的治疗流程的方法(例如，如关于第一方面所述的、加以必要修正的方法)。额外地和/或替代地，所述方法是控制图像引导的治疗系统的方法，如本文所述。所述方法由包括处理器和存储器的计算机来实施。合适的计算机是已知的。所述方法包括在所述图像引导的治疗流程期间采集图像引导的治疗图像，例如从图像引导的治疗系统采集图像引导的治疗图像，并且任选地，所采集的图像引导的治疗图像被显示给执行图像引导的治疗流程的临床医生(通常如关于第一方面所述，加以必要的修正)。所述方法包括使用经训练的机器学习(ml)算法来推断所述图像引导的治疗图像的第一关注区。所述经训练的ml算法可以已经使用根据第一方面的方法进行了训练。也就是说，图像引导的治疗图像的第一关注区是通过ml算法来推断的，而不是通过使用眼球追踪的测量结果来确定的(例如，如关于第一方面描述的训练数据所包括的那样)。换句话说，第一关注区不是根据例如临床医生的眼球追踪器相机数据来推断的，而是根据图像引导的治疗图像本身来推断的。也就是说，所推断的第一关注区是例如专家在图像引导的治疗流程期间所关注的区，即，介入关注点。在一个示例中，所述方法并不包括眼球追踪，即，所述方法排除了眼球追踪。所述方法包括基于所推断的第一关注区来辅助所述图像引导的治疗流程。例如，可以在图像引导的治疗图像中突出显示所推断的第一关注区，以便引起临床医生对所推断的第一关注区的注意和/或可以进行预测的动作(例如，如关于第一方面所述，加以必要的修正)。26、有利地，经训练的ml算法在由临床医生执行的图像引导的治疗流程期间推断图像引导的治疗图像的关注区(以及因此介入关注点)，而不是例如通过使用眼球追踪进行测量来确定图像引导的治疗图像的关注区(以及因此介入关注点)。使用所推断的关注区，经训练的ml算法可以预测和进行与所推断的关注区相关联的动作，从而自动化图像引导的治疗流程的辅助并因此改善患者结果，而不需要使用例如眼球追踪。以这种方式，经验较少的临床医生(以及他们的患者)可以受益于经验较多和/或更专业的临床医生的经验和/或专业知识(例如用于指导图像分析和/或解释)。例如，即使临床医生没有注意到推断的凝视区的重要性，也可以向临床医生突出显示所推断的凝视区。额外地和/或替代地，临床医生(不考虑经验)可以受益于自动进行动作，例如自动测量所识别的病变的程度和/或血管的直径，从而促进建立正确的支架。额外地和/或替代地，经训练的ml算法可以用于控制在图像引导的治疗流程中包括的机器人，例如其中机器人被配置为执行图像引导的治疗流程，而不是临床医生执行图像引导的治疗流程或辅助临床医生执行图像引导的治疗流程。因此，应当理解，并非一定要显示图像引导的治疗图像，而是可以根据图像数据来推断(即，完全在计算机上得到)所推断的第一关注区。27、在一个示例中，基于所推断的第一关注区来辅助所述图像引导的治疗流程包括：显示所述图像引导的治疗图像，包括指示(例如，连续指示)所推断的第一关注区。例如，可以(例如通过包括边界框)在所显示的图像引导的治疗图像中突出显示所推断的第一关注区，以便引起临床医生对所推断的第一关注区的注意。通过连续指示所推断的第一关注区，在图像引导的治疗流程期间连续地辅助或指导临床医生。28、在一个示例中，基于所推断的第一关注区来辅助所述图像引导的治疗流程包括：使用所述经训练的机器学习算法来预测与所述图像引导的治疗图像和所推断的第一关注区相关联的动作；并且进行所预测的动作。以这种方式，(例如被动地或主动地)自动进行预测的动作，如关于第一方面所述，加以必要的修正。通常，预测的动作可以如关于第一方面所述，加以必要的修正。在一个示例中，进行所述动作包括和/或是处理所述图像引导的治疗图像，如关于第一方面所述。在一个示例中，进行所述动作包括和/或是控制所述图像引导的治疗流程，如关于第一方面所述。在一个示例中，进行所述动作包括有条件地进行所述动作，例如有条件地基于临床医生的授权来进行所述动作。例如，如果该动作包括和/或是控制图像引导的治疗流程，则可以显示图形用户接口以提示临床医生授权或取消该动作。以这种方式，例如，可以避免成像设备的意外重新定向，或者可以警告或预期成像设备的重新定向。29、在一个示例中，所述方法包括：使用所述经训练的ml算法来推断所述图像引导的治疗图像的第二关注区；并且基于所推断的第二关注区来辅助所述图像引导的治疗流程。也就是说，可以推断图像引导的治疗图像的多个关注区。例如，在pci的导丝导航步骤期间，所推断的第一关注区可以是导丝的尖端，因为ml算法被训练为临床医生通常将关注导丝的尖端。然而，图像引导的治疗图像也可以包括(如在训练期间由ml算法学习到的)重要的观察结果。因此，经训练的ml算法可以指示所推断的第二凝视区和/或基于所推断的第二凝视区来预测和进行动作，如关于所推断的第一凝视区所述，加以必要的修正。在一个示例中，所述方法包括例如基于对患者的风险和/或对所述图像引导的治疗流程的重要性对所推断的第一关注区和所推断的第二关注区进行优先级排序。30、根据本发明的第三方面，提供了一种图像引导的治疗系统，所述图像引导的治疗系统包括计算机和眼球追踪器，所述计算机包括处理器和存储器，所述图像引导的治疗系统被配置为实施根据第一方面的方法。31、根据本发明的第四方面，提供了一种图像引导的治疗系统，所述图像引导的治疗系统包括计算机，所述计算机包括处理器和存储器，所述图像引导的治疗系统被配置为实施根据第二方面的方法。32、根据本发明的第五方面，提供了一种被配置为实施根据第一方面和/或第二方面的方法的计算机，所述计算机包括处理器和存储器；一种包括指令的计算机程序，所述指令在由包括处理器和存储器的计算机运行时使所述计算机实施根据第一方面和/或第二方面的方法；一种包括指令的非瞬态计算机可读存储介质，所述指令在由包括处理器和存储器的计算机运行时使所述计算机实施根据第一方面和/或第二方面的方法或者基于根据第一方面的方法训练的机器学习(ml)算法。33、这里描述的与本发明的任何方面有关的所有公开内容同样适用于本发明的所有其他方面。34、在下文中，参考附图来描述本发明的示例和实施例。