您好、欢迎来到现金彩票网!
当前位置:刘伯温论坛 > 图像几何学 >

独家丨丘成桐“高徒”顾险峰教授:机器学习解决不了的医学图像问

发布时间:2019-08-04 23:28 来源:未知 编辑:admin

  原标题:独家丨丘成桐“高徒”顾险峰教授:机器学习解决不了的医学图像问题,如何用几何方法来攻克?

  顾险峰教授,现为美国纽约州立大学石溪分校计算机系和应用数学系的终身教授,也是清华大学丘成桐数学科学中心访问教授。曾获美国国家自然科学基金CAREER奖,中国国家自然科学基金海外杰出青年奖(与胡事民教授合作),“华人菲尔茨奖”:晨兴应用数学金奖。丘成桐先生和顾险峰博士团队,将微分几何,代数拓扑,黎曼面理论,偏微分方程与计算机科学相结合,创立跨领域学科“计算共形几何”,并广泛应用于计算机图形学,计算机视觉,几何建模,无线传感器网络,医学图像等领域。目前已经发表二百篇余篇国际论文,学术专著包括“Computational Conformal Geometry”(计算共形几何), “Ricci Flow for Surface Registration and Shape Analysis”等。

  顾险峰教授此次出席的图像计算与数字医学国际研讨会(ISICDM2017)暨智能医学信息处理论坛,是由国际数字医学会、中华医学会数字医学分会、中华医学会病理学分会主办,电子科技大学电子工程学院承办。

  此次会议极具学科交叉特色,430多位来自信息科学(含计算机与电子工程等学科)、数学与医学等领域的专家学者与临床医生聚首一堂,围绕人工智能+医疗、医学图像分析、深度学习、虚拟/增强现实等热点问题开展深入的交流与探讨。

  中国解剖学会理事长、国际数字医学会主席、中华医学会数字医学分会主任委员、第三军医大学张绍祥教授(少将)为本次会议的名誉主席,解放军南京总医院影像科主任卢光明教授、中华医学会病理学分会主任委员、四川大学华西医院步宏教授、中科院自动化所研究员田捷担任大会主席。电子科技大学李纯明教授为ISICDM会议的发起人和程序主席,负责会议主题的确立、报告专家的邀请与会议内容的组织。

  这个工作是和很多人一起完成的,我这里列举了一些主要的合作者:我的导师丘成桐院士;罗锋教授,在罗格斯大学数学系;Tony Chan,香港科技大学校长;Paul Thompson教授,在南加州大学做脑神经科学;王雅琳教授,在Arizona州立大学计算机系;Lok Ming Lui 教授,在香港中文大学数学系;雷娜教授,在大连理工软件学院;秦宏教授,Dimitris Samaras 教授、高洁教授、Arie Kaufman教授都是我的同事。

  我们知道在几何上有个埃尔朗根 (Erlangen) 纲领,它是说不同几何研究不同变换群下的不变量。

  黎曼几何(Riemannian Geometry)对应的是等距变换,保持黎曼度量不变的变换

  我们研究的重点是共形几何(Conformal Geometry),它是介于拓扑和黎曼几何之间,比拓扑要硬,比黎曼几何要软。

  黎曼几何(Riemannian Geometry)对应的是等距变换,保持黎曼度量不变的变换

  我们研究的重点是共形几何(Conformal Geometry),它是介于拓扑和黎曼几何之间,比拓扑要硬,比黎曼几何要软。

  曲面之间的映射,比如有两个医学图像、两三个器官的表面成像如何进行配准注册;如果有个动态变化的曲面,比如心脏在跳动,如何做跟踪;或者人脸各种各样表情变化如何做跟踪。这类问题适合用共形几何的理论来处理

  几何分类。比如有一个器官,要判断它是否正常,看大脑是否有老年痴呆症、胰腺形状是否正常、肿瘤是良性还是恶性,这都属于几何分类

  形状分析。很多很细致的分析,比如给一张人脸,判断他的表情;给一个器官的表面,如何提取它各方面的特征;

  曲面之间的映射,比如有两个医学图像、两三个器官的表面成像如何进行配准注册;如果有个动态变化的曲面,比如心脏在跳动,如何做跟踪;或者人脸各种各样表情变化如何做跟踪。这类问题适合用共形几何的理论来处理

  几何分类。比如有一个器官,要判断它是否正常,看大脑是否有老年痴呆症、胰腺形状是否正常、肿瘤是良性还是恶性,这都属于几何分类

  形状分析。很多很细致的分析,比如给一张人脸,判断他的表情;给一个器官的表面,如何提取它各方面的特征;

  这三类问题的理论根基,我们认为很大部分上仰仗共形几何。我们把这套理论从纯理论变成算法,有算法之后就可以用在很多工程领域、图形学、计算机视觉、几何建模、网络、3D打印,当然也包括医学图像中。今天我主要讲的就是在医学图像方面的应用。

  从历史上来说,共形几何是多个领域的交叉点。大家都学过复变函数,学过保角变换,可能大家也学过代数拓扑、代数几何、代数曲线,特别是微分几何和偏微分方程PDE,共形几何是这些数学分支的交叉点。

  在我们之前也有很多人研究过计算复变函数。我们和前人最大的区别是,之前的人是做平面区域之间的保角变换,现在我们是做曲面之间的变换。换句话说,为了做平面之间的变换,只需要研究复变函数;但是要做曲面之间的变换的话,用的理论工具就要换成微分几何加上几何分析偏微分方程(Geometric PDE)。所以从历史来看,这是我们和前人的工作理论层面的最大差别。

  我们是从2000年开始做的,主要因为这时开始三维数据变得非常多,一方面三维扫描技术有大幅度发展,人们可以很轻易地得到三维曲面;医学图像的发展也非常快,我们可以得到大量的医学图像。

  这些信息非常容易获得,但处理起来非常困难。我们可以看一些原始的数据。这是我的一个学生,我把他的三维脸部曲面扫描下来,可以分析他的表情,做动态的跟踪。

  每张曲面上有300万个采样点,每秒钟可以得到120张动态曲面,数据量非常庞大。

  采集这些数据是很容易的。大家都有了iPhone X之后,得到这样的数据会变得更加廉价。但是分析起来非常困难。比如给你一个高速的动态的三维曲面序列,如何求它们之间的微分同胚,如何自动精确地找到一一对应、如何分析表情的变换,实际上具有非常大的挑战性。从计算角度讲比较困难,从理论角度讲也不是很完善。

  最简单的来说,比如给两副曲面,一张是平静的脸,一张是带表情的脸,要如何找有意义的微分同胚。迄今为止机器学习是做不了这个的,通过微分几何倒是有很多方法,所以这个方面还在发展。

  另一方面,随着GPU的发展,计算能力空前高涨。一些以前非常困难的几何偏微分方程的求解变得相对容易,在个人电脑上PC上就可以很容易地进行计算。

  总之,一方面由于三维数据的获得非常容易,另一方面由于计算能力的增加,催生了共形几何这个领域。

  这里列举了一些计算共形几何领域的基本问题。它们的描述方式比较数学化,但大家如果稍微有些数学背景的话,就可以知道大量的工程问题、医学问题,最后都可以归结为数学问题。

  我们知道所有曲面都是有黎曼度量的,有了黎曼度量之后计算它所对应的共同结构;比如给两个曲面,我们需要判断它们是否存在保角变换。如果曲面拓扑复杂的话,两个曲面之间不一定有保角变换;如果有的话,怎么把它算出来。

  如果固定曲面的共形结构,如何找到最简单的黎曼度量。如果找到这个简单黎曼度量的话很多计算问题可以得到大幅度简化。

  如果给了我们想要的目标曲率,如何设计构造一个黎曼度量,和初始度量黎曼共形等价,并且实现这个目标曲率。

  如果给了两个拓扑同胚的曲面,给了映射的同伦类,如何找到唯一的映射,使得映射带来的几何畸变最小、物理上最自然。

  我们知道所有曲面都是有黎曼度量的,有了黎曼度量之后计算它所对应的共同结构;比如给两个曲面,我们需要判断它们是否存在保角变换。如果曲面拓扑复杂的话,两个曲面之间不一定有保角变换;如果有的话,怎么把它算出来。

  如果固定曲面的共形结构,如何找到最简单的黎曼度量。如果找到这个简单黎曼度量的话很多计算问题可以得到大幅度简化。

  如果给了我们想要的目标曲率,如何设计构造一个黎曼度量,和初始度量黎曼共形等价,并且实现这个目标曲率。

  如果给了两个拓扑同胚的曲面,给了映射的同伦类,如何找到唯一的映射,使得映射带来的几何畸变最小、物理上最自然。

  这些问题,工程上有自己的提法,翻译成数学语言表达以后相对比较明确。历史上来看,这些问题在共形几何中都有比较完美的理论解答。

  这里的困难在于,第一个如何把实际问题看透,翻译成数学语言;第二个如何把数学理论看透,翻译成计算机语言。

  我们也试图用机器学习的方法做其中的一些问题,发现非常困难。基于统计的方法通过学习,揭示曲面的内在结构和曲面之间的微分同胚,效果并不好;分类的效果相对让人满意一些。所以目前这个领域机器学习还没有大规模的介入,还是基于数学方法。

  在过去的十多年间我们发展了相对完备的软件工具,在座的同学老师如果有兴趣的可以跟我联系,我们一起来做研究。

  过去我也写了几本书,和邱先生一起写的《计算工程几何》;还有《离散曲面变分法》。最后这本书在还国内买不到,它是讲如何应用这套理论进行曲面配准和形状分析。最近我还在写一本新书,汉语的,打算把《计算共形几何》的讲义写得更加深入浅出一些,更加工程一些。我会将主要内容发到我的公众号上,可能有很多缺点和错误,希望大家提出宝贵意见。

  这是我的办公室,我在桌面上放了一个镜框,照了一张整个办公室的照片,把照片嵌在镜框里;大家可以看到镜框里面还存在二级镜框,二级镜框里还有三级镜框,有无穷多的镜框嵌套,在无穷级嵌套的内部有唯一的不动点。

  把整个图像经过相似变换,将镜框内部放大成整张图像,则整个图像本身是不变的。这种不变相似变换它和它自己复合,构成了一个不变群;整个平面抠掉不动点,除掉这个群,它的商空间实际是一个拓扑环面,是一个二维的轮胎曲面。

  我们可以把它计算一个保角变换,把左图变成右图,映射之后的拓扑发生巨大变化。左边的镜框本来是一个封闭曲线,变换后的镜框变成了一条开放的螺旋线。本来镜框外部的世界是真实的世界,镜框内部的世界是虚拟的世界。经过变换以后,真实的世界和虚拟的世界混为一谈。很多惊恐片、科幻片都是基于这个原则:将现实和梦境混为一谈。

  仔细观察,这个映射有一个特别大的特点,变换前后能保持局部形状不变:变换以后还是能认出来图中的兔子和毕加索的画。这个映射从全局来看畸变非常剧烈,拓扑发生了巨大的变化,但局部形状并没有发生改变。这类变换就是所谓的保角变换,大家在复变函数论里应该学过这个概念。

  曲面也存在类似的变换。这是米开朗基罗的大卫头像,我们将头像扫描下来得到了这张三维曲面。我们可以把展开平贴在二维空间的长方形上。

  这个映射,第一把弯曲的曲面变成平面,实现了降维,把三维的体在平面上处理,把几何曲面之间的配准问题变成图像配准问题。降维可以让计算大幅简化。 第二它保持信息不变、保持局部形状不变。我们可以看到耳朵依旧是耳朵的形状,眼睛、鼻子、头发也是一样。这种映射在切空间上看,是相似变换;每一点有一个小临域,临域到临域之间的变换是相似变换,相似变换保持形状不变。但是每一点的相似比不一样,所以有的地方放大了,有的地方缩小了。鼻子就缩小的很厉害。这种变换就是共形变换,它保持了局部形状不变。

  这张图显示的就是共形变换的第一个优点,就是降维,把三维变成二维。大家如果对硬件比较熟悉的话,图像处理可以用 FPGA 来做、用 GPU 做,但是处理三维曲面比较困难。比如大家想把 CNN 从图像处理变成几何处理,有几种方法,一种是把曲面嵌在八叉树里;另一种就是展在平面上,然后用平面处理的方法来做。今年 SIGGRAPH 就有这方面的论文。把三维曲面变成二维,最自然的方法当然就是这种共形变换。

  这里给出它的数学定义。有一张三维人脸,经过变换以后变成二维圆盘,这是黎曼映照。在人脸上任意画两条相交曲线,曲面上的曲线在变换后成为平面上的曲线;原曲线交点切向量之间的交角为 θ,变换后的曲线交点切向量之间交角仍然为 θ,并不改变。曲线无论画在什么地方,交角都不改变。如果有一个微分同胚满足这个性质,它就可以称作保角变换。

  作为对比我们看一下,把同一张脸映射到同一个平面上。我们在可以在平面圆盘上放许多无穷小圆,然后拉回来看它们在曲面上的形状。上面一行是保角变换,保持了小圆的形状不变。下面是一般的微分同胚,它把平面上的无穷小圆,变成了曲面上的无穷小椭圆。

  这里看一个demo。这是一张通过扫描得到的三维人脸,通过黎曼映照投到平面上来。我们在平面上放了许多无穷小圆作为它的纹理,拉到三维曲面上以后还是无穷小圆。它的局部保持形状不变,圆形映射成圆形。

  作为对比,我们看一个一般的微分同胚。从平面拉伸到三维曲面以后,圆变成椭圆。这就是微分同胚和保角变换之间的差别。

  我们再看下角度的变化,在平面上放上棋盘格。棋盘格每个角都是直角,把它拉回到三维曲面上,我们可以看到每个棋盘格的大小发生了改变,但从法方向看下去的话,每个交角都还是直角。

  作为对比我们再看另一种变换,直角不再被保持。这给了我们保角变换的一个直观感受。

  我们知道曲面到平面区域的微分同胚有无穷多个,这些微分同胚构成的空间是无穷多维,所以很难控制;从曲面到平面的黎曼映照也有无穷多个,但是所有的黎曼映照构成的空间只有三维。

  所以维数非常有限,只需要在曲面边界上固定三个点,映射就可以被唯一固定。很多时候你可能想要找一个典范映射,第一行的保角变换就是比较好的选择;如果你想研究更为广义的微分同胚,用下方的。共形几何涵盖的范围很广。共形几何涵盖的范围很广,其中拟共形变换包括了所有可能的微分同胚。

  X光片的骨骼特征点识别、大脑功能区域变化追踪、虚拟肠镜等 9 项医学图像领域实际应用的介绍

  X光片的骨骼特征点识别、大脑功能区域变化追踪、虚拟肠镜等 9 项医学图像领域实际应用的介绍

http://airgomusic.com/tuxiangjihexue/642.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有