【技术实现步骤摘要】
【国外来华专利技术】
本专利技术大体涉及机器视觉系统和方法，且更特别地涉及用于便于控制机器人系统的机器视觉系统，且该机器人系统用于从冷冻样本取出多个冷冻样本芯而不解冻冷冻样本。
技术介绍
通常保存生物样本以支持各种各样的生物医学和生物学研究，其包括但不限于转化型研究、分子医学和生物标志物的发现。生物样本包括任何动物(包括人类)、植物、原生动物、真菌、细菌、病毒或其他生物来源的样本。例如，生物样本包括，但不限于生物体和/或从生物体分离的或分泌的生物流体，如血浆、血清、尿、全血、脐带血、其他基于血液的衍生物、脑脊液、粘液(从呼吸道、宫颈获取出的)、腹水、唾液、羊水、精液、眼泪、汗水、任何植物源性液体(包括汁液)；细胞(例如：动物、植物、原生动物、真菌或细菌细胞，包括软层细胞；细胞裂解物、匀浆或悬浮液；微粒体；细胞器(例如：线粒体)；核酸(例如：RNA、DNA)，包括染色体DNA、线粒体DNA和质粒(例如：种子质粒)；悬浮液或溶液中的小分子化合物(例如：DMSO中的小分子化合物)；以及其他流体基生物样本。生物样本还可包括植物、植物部分(例如：种子)和组织(例如：肌肉、脂肪、皮肤等)。生物样本库通常在容器中存储这些有价值的样本(例如，孔板或阵列、管、小瓶或类似物)并将其冷冻保存。管、小瓶和类似的容器可按阵列进行组织且可被存储在孔板、架子、分开的容器等中。尽管一些样本被存储在相对较高的温度上(例如，约-20摄氏度)，但其...
【技术保护点】
一种机器视觉系统，其用于与从每一个均被包含在各容器中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用，所述机器视觉系统包括：用于支撑所述容器中的一个或多个的平台，所述平台具有用于容纳所述容器中的至少一个的站以及在所述平台上位于相对于所述站的固定位置上的一对校准标记；用于在所述容器被容纳在所述站上的同时撷取所述容器的图像的摄像头；处理器，其被配置成从所述摄像头接收指示所述容器的所述图像的图像数据并通过进行下列操作确定已从在所述容器中含有的冷冻样本取出冷冻样本芯的一个或多个位置：(a)评估所述图像中的对比度以识别一个或多个候选孔；以及(b)使用有关所述校准标记相对于所述候选孔的位置的信息以确定所述一个或多个候选物是否可能是伪像而不是所述样本中的真正的孔。
【技术特征摘要】
【国外来华专利技术】2012.04.30 US 61/640,662;2012.06.05 US 13/489,234;1.一种机器视觉系统，其用于与从每一个均被包含在各容器中
的冷冻样本取出多个冷冻样本芯的机器人系统一起使用，所述机器视
觉系统包括：
用于支撑所述容器中的一个或多个的平台，所述平台具有用于容
纳所述容器中的至少一个的站以及在所述平台上位于相对于所述站
的固定位置上的一对校准标记；
用于在所述容器被容纳在所述站上的同时撷取所述容器的图像
的摄像头；
处理器，其被配置成从所述摄像头接收指示所述容器的所述图像
的图像数据并通过进行下列操作确定已从在所述容器中含有的冷冻
样本取出冷冻样本芯的一个或多个位置：(a)评估所述图像中的对比度
以识别一个或多个候选孔；以及(b)使用有关所述校准标记相对于所
述候选孔的位置的信息以确定所述一个或多个候选物是否可能是伪
像而不是所述样本中的真正的孔。
2.根据权利要求1所述的机器视觉系统，其中使用有关所述校
准标记相对于所述候选孔的所述位置的信息包括使用所述校准标记
以识别所述容器的中心轴线以及进行(i)使用有关所述一个或多个校
准标记相对于所述容器的所述中心轴线的所述位置的信息和(ii)使用
与所述候选孔中的一个相对于所述容器的所述中心轴线的角位置相
比的有关所述候选孔中的另一个相对于所述容器的所述中心轴线的
角位置的信息中的至少一个。
3.根据权利要求1或2所述的机器视觉系统，其中所述确定还
包括使用有关所述一个或多个候选孔的大小的信息以确定所述一个
或多个候选物是否可能是伪像而不是所述样本中的真正的孔。
4.根据权利要求2-3中任一项所述的机器视觉系统，其中所述处
理器被配置成在不检测所述容器的任何边缘的情况下根据所述校准
标记的所述位置识别所述容器的所述中心轴线。
5.根据权利要求1-3中任一项所述的机器视觉系统，其中所述处
理器被配置成识别所述容器的边缘，且其中所述确定包括使用有关所
述一个或多个候选孔相对于所述容器的所述边缘的所述位置的信息
以确定所述一个或多个候选物是否可能是伪像而不是所述样本中的
真正的孔。
6.根据权利要求1-5中任一项所述的机器视觉系统，其中所述校
准标记包括用于限制在所述校准标记上的霜累积的低功率电阻的加
热器。
7.根据权利要求1-6中任一项所述的机器视觉系统，其中所述处
理器被进一步配置成控制所述摄像头相对于所述站的位置的位置。
8.根据权利要求1-7中任一项所述的机器视觉系统，其中所述处
理器被配置成使用有关所述一个或多个候选孔相对于所述容器的中
心轴线的所述位置的信息确定所述一个或多个候选孔是否可能是伪
像而不是所述样本中的真正的孔。
9.根据权利要求1-8中任一项所述的机器视觉系统，其中所述处
理器被配置成使用与所述候选孔中的一个相对于所述容器的所述中
心轴线的角位置相比的有关所述候选孔中的另一个相对于所述容器
的所述中心轴线的角位置的信息确定所述一个或多个候选孔是否可
能是伪像而不是所述样本中的真正的孔。
10.根据权利要求1-9中的一项所述的机器视觉系统，其中所述
处理器被配置成通过从所述校准标记对所述中心进行三角划分以识
别所述容器的所述中心轴线。
11.一种从被包含在容器中的冷冻样本取出冷冻样本芯的方法，
\t所述方法包括：
在平台上的用于容纳容器的站上定位所述容器，所述平台具有位
于相对于所述站的固定位置上的在所述平台上的一对校准标记；
用于在所述容器被容纳在所述站上的同时撷取所述容器的图像；
通过进行下列操作确定已从在所述容器中含有的所述冷冻样本
取出冷冻样本芯的一个或多个位置：(a)评估所述图像中的对比度以识
别一个或多个候选孔；以及(b)使用有关所述校准标记相对于所述候
选孔的所述位置的信息以确定所述一个或多个候选物是否可能是伪
像而不是所述冷冻样本中的真正的孔；以及
从所述尚未取出冷冻样本芯的位置上的所述样本取出所述冷冻
样本芯，如在所述确定步骤中所确定的。
12.根据权利要求11所述的方法，其中所述确定还包括使用有
关所述一个或多个候选孔的大小的信息以帮助确定所述一个或多个
候选物是否可能是伪像而不是所述冷冻样本中的真正的孔。
13.根据权利要求11-12中任一项所述的方法，其还包括在所述
撷取的图像中检测所述容器的外周边缘，其中所述确定还包括使用有
关所述一个或多个候选孔相对于所述容器的所述边缘的所述位置的
信息以帮助确定所述一个或多个候选物是否可能是伪像而不是所述
冷冻样本中的真正的孔。
14.根据权利要求11-13中任一项所述的方法，其还包括加热所
述校准标记以限制在所述校准标记上的霜累积。
15.根据权利要求11或14所述的方法，其中使用有关所述校准
标记相对于所述一个或多个候选孔的所述位置的信息包括识别所述
容器的中心轴线并评估所述候选孔相对于所述容器的所述中心轴线
的所述位置以确定所述一个或多个候选物是否可能是伪像而不是所
\t述冷冻样本中的真正的孔。
16.根据权利要求15所述的方法，其中评估所述候选孔相对于
所述容器的所述中心轴线的所述位置包括使用与所述候选孔中的一
个相对于所述容器的所述中心轴线的角位置相比的有关所述候选孔
中的另一个相对于所述容器的所述中心轴线的角位置的信息以确定
所述一个或多个候选物是否可能是伪像而不是所述冷冻样本中的真
正的孔。
17.根据权利要求15-16中任一项所述的方法，其中识别所述容
器的所述中心轴线包括使用三角划分。
18.根据权利要求11-17中任一项所述的方法，其中评估所述图
像中的对比度以识别一个或多个候选孔包括对所述图像应用阈值滤
波器。
19.根据权利要求11-18中任一项所述的方法，其中评估所述图
像中的对比度以识别一个或多个候选孔包括对所述图像应用形态滤
波器。
20.根据权利要求18所述的方法，其中评估所述图像中的对比
度以识别一个或多个候选孔还包括在对所述图像应用所述阈值滤波
器后对所述图像应用形态滤波器。
21.根据权利要求18-20中任一项所述的方法，其中评估所述图
像中的对比度以识别一个或多个候选孔包括在所述滤波后应用粒子
分析成像算法。
22.一种机器视觉系统，其用于与从每一个均被包含在各容器中
的冷冻样本取出多个冷冻样本芯的机器人系统一起使用，所述机器视
觉系统包括：
平台；
用于当其位于所述平台上时撷取所述容器中的一个的图像的摄
像头；以及
处理器，其被配置成从所述摄像头接收指示通过所述摄像头撷取
的所述图像的图像数据并通过进行下列操作确定已从在所述容器中
含有的所述冷冻样本取出冷冻样本芯的一个或多个位置：(a)评估所述
图像中的对比度以识别一个或多个候选孔；以及(b)使用下列各项中
的至少一个确定所述一个或多个候选物是否可能是伪像而不是所述
样本中的真正的孔：
(i)所述候选孔的大小；
(ii)所述候选孔和所述容器的中心轴线之间的距离；
(iii)在第一线和第二线之间形成的角度，所述第一线在所述孔和
所述容器的所述中心轴线之间延伸且所述第二线在所述容器的所述
中心轴线和另一个候选孔之间延伸；
(iv)在所述一个或多个候选孔的位置和所述样本中的孔的预期
图案之间的关系；
(v)所述一个或多个候选孔相对于所述容器的外周边缘的位置；
(vi)所识别的候选孔的数量；
(vii)在所述候选孔和围绕所述候选孔的区域之间的对比量；以
及
(viii)其组合。
23.根据权利要求22所述的机器视觉系统，其中所述处理器被
配置成使用有关所述一个或多个候选孔相对于所述容器的外周边缘
的位置的信息确定所述一个或多个候选孔是否可能是伪像而不是所
述冷冻样本中的真正的孔。
24.根据权利要求22-23中任一项所述的机器视觉系统，其中所
述处理器被配置成使用有关所述一个或多个候选孔的大小的信息确
定所述一个或多个候选孔是否可能是伪像而不是所述冷冻样本中的
真正的孔。
25.根据权利要求22-24中任一项所述的机器视觉系统，其中所
述处理器被配置成使用有关所述候选孔和所述容器的中心轴线之间
的距离的信息确定所述一个或多个候选孔是否可能是伪像而不是所
述冷冻样本中的真正的孔。
26.根据权利要求22-25中任一项所述的机器视觉系统，其中所
述处理器被配置成通过使用有关在第一线和第二线之间形成的角度
的信息确定所述一个或多个候选孔是否可能是伪像而不是所述样本
中的真正的孔，所述第一线在所述孔和所述容器的所述中心轴线之间
延伸且所述第二线在所述容器的所述中心轴线和另一个候选孔之间
延伸。
27.根据权利要求22-26中任一项所述的机器视觉系统，其中所
述处理器被配置成通过使用有关所述一个或多个候选孔的所述位置
和在所述冷冻样本中的孔的预期图案之间的关系的信息确定所述一
个或多个候选孔是否可能是伪像而不是所述冷冻样本中的真正的孔。
28.根据权利要求22-27中任一项所述的机器视觉系统，其中所
述处理器被配置成通过使用有关所识别的候选孔的数量确定所述一
个或多个候选孔是否可能是伪像而不是所述冷冻样本中的真正的孔。
29.根据权利要求28所述的机器视觉系统，其中所述处理器被
配置成通过使用有关在所述候选孔和围绕所述候选孔的区域之间的
对比量的信息确定所述一个或多个候选孔是否可能是伪像而不是所
述冷冻样本中的真正的孔。
30.一种从被包含在容器中的冷冻样本取出冷冻样本芯的方法，
\t所述方法包括：
撷取所述容器的图像；
通过进行下列操作使用所述撷取的图像确定已从在所述容器中
含有的所述冷冻样本取出冷冻样本芯的一个或多个位置：(a)评估所述
图像中的对比度以识别一个或多个候选孔；以及(b)使用包括下列各
项中的至少一个的信息确定所述一个或多个候选孔是否可能是伪像
而不是所述冷冻样本中的真正的孔：
(i)所述候选孔的大小；
(ii)所述候选孔和所述容器的中心轴线之间的距离；
(iii)在第一线和第二线之间形成的角度，所述第一线在所述孔和
所述容器的所述中心轴线之间延伸且所述第二线在所述容器的所述
中心轴线和另一个候选孔之间延伸；
(iv)在所述一个或多个候选孔的位置和所述冷冻样本中的孔的
预期图案之间的关系；
(v)所述一个或多个候选孔相对于所述容器的外周边缘的位置；
(vi)所识别的候选孔的数量；
(vii)在所述候选孔和所述周边区域之间的对比量；以及
(viii)其组合；以及
从所述尚未取出冷冻样本芯的位置上的所述样本取出所述冷冻
样本芯，如在所述确定步骤中所确定的。
31.根据权利要求30所述的方法，其中所述确定包括使用有关
所述一个或多个候选孔相对于所述容器的外周边缘的位置的信息。
32.根据权利要求30-31中任一项所述的方法，其中所述确定包
括使用有关所述一个或多个候选孔的大小的信息。
33.根据权利要求30-32中任一项所述的方法，其中所述确定包
括使用有关在所述候选孔和所述容器的中心轴线之间的距离的信息。
34.根据权利要求30-33中任一项所述的方法，其中所述确定包
括使用有关在第一线和第二线之间形成的角度的信息，所述第一线在
所述孔和所述容器的所述中心轴线之间延伸且所述第二线在所述容
器的所述中心轴线和另一个候选孔之间延伸。
35.根据权利要求30-34中任一项所述的方法，其中所述确定包
括使用有关所述一个或多个候选孔的所述位置和在所述冷冻样本中
的孔的预期图案之间的关系的信息。
36.根据权利要求30-35中任一项所述的方法，其中所述确定包
括使用有关所识别的候选孔的数量的信息。
37.根据权利要求30-36中任一项所述的方法，其中所述确定包
括使用有关在所述候选孔和所述周边区域之间的对比量的信息。
38.一种校准系统，其被配置成校准用于从每一个均被包含在各
容器中的冷冻样本取出多个冷冻样本芯的机器人系统，所述校准系统
包括：
用于支撑所述容器的平台，所述平台具有位于其上的一个或多个
固定目标；
被安装在所述机器人系统上用于当所述容器被所述平台支撑的
同时撷取一个或多个容器的图像并撷取位于所述平台上的所述一个
或多个固定目标的图像的摄像头；以及
处理器，其被配置成：
从所述摄像头接收指示通过所述摄像头形成的图像的图像数据；
以及
使用在所述平台上的所述一个或多个固定目标的图像校准所述
机器人系统。
39.根据权利要求38所述的校准系统，其中所述处理器被进一
步配置成通过评估所述容器的图像中的对比度确定已从所述容器中
的一个中的冷冻样本取出冷冻样本芯的一个或多个位置。
40.根据权利要求38-39中任一项所述的校准系统，其中所述一
个或多个固定目标包括具有图像以在x和y方向进行校准以及具有已
知大小的形状以在z方向进行校准的目标。
41.根据权利要求40所述的校准系统，其中所述平台包括工作
台，其具有用于容纳所述容器的凹陷区域，所述具有所述图像以在所
述x和y方向进行校准以及具有已知大小的形状以在所述z方向进行
校准的目标被固定至在所述凹陷区域外的所述工作台的上表面。
42.根据权利要求41所述的校准系统，其中所述一个或多个固
定目标包括被固定至所述凹陷区域底部的目标。
43.根据权利要求42所述的校准系统，其中被固定至所述凹陷
区域的所述底部的所述目标具有用于在所述x和y方向进行校准的图
像。
44.根据权利要求38-43中任一项所述的校准系统，其还包括在
所述平台上的用于所述摄像头的亮/暗校准的密度梯级显示器。
45.根据权利要求38-44中任一项所述的校准系统，其中所述处
理器被进一步配置成使用从由下列各项组成的群组选出的在所述平
台上的具有多个特性的图像校准所述机器人系统
(i)用于容纳从其取出冷冻样本芯的容器的站；
(ii)用于容纳其中的冷冻样本芯将发生沉积的容器的站；
(iii)用于清洗所述机器人系统的取芯探头的站；
(iv)在所述平台上用于保持所述容器的一个或多个托盘；以及
(v)其组合。
46.根据权利要求38-45中任一项所述的校准系统，其还包括用
户界面，其被配置成允许用户将所述摄像头从不与所述目标中的一个
相配准的位置引向与所述目标相配准的位置。
47.根据权利要求38-46中任一项所述的校准系统，其中所述机
器人系统包括末端执行器，所述摄像头被安装在所述末端执行器上以
与所述末端执行器一起相对于所述平台移动，且所述校准系统被配置
成在所述末端执行器或和可与所述末端执行器一起移动的任何组件
与所述平台或所述平台上的组件之间不具有任何物理接触的情况下
完成对所述机器人系统的校准。
48.根据权利要求38-46中任一项所述的校准系统，其中所述机
器人系统包括末端执行器，所述摄像头被安装在所述末端执行器上以
与所述末端执行器一起相对于所述平台移动，所述末端执行器还包括
用于从所述冷冻样本取出冷冻样本芯的取芯探头以及适于选择性地
保持和释放容器以相对于所述平台移动所述容器的夹持器，所述校准
系统被进一步配置成确定所述摄像头、探头和夹持器相对于彼此的位
置以补偿与所述摄像头、探头和夹持器相关联的位置偏移中的变化。
49.一种校准用于从每一个均被包含在各容器中的冷冻样本取
出多个冷冻样本芯的机器人系统的方法，所述方法包括：
在所述容器被平台支撑的同时使用摄像头撷取一个或多个容器
\t的图像以确定是否已从所述冷冻样本取出一个或多个冷冻样本芯，从
而撷取在所述平台上的一个或多个固定目标的图像；以及
使用所述一个或多个目标的图像校准所述机器人系统。
50.根据权利要求49所述的方法，其中所述平台包括工作台，
其具有用于容纳所述容器的凹陷区域，且所述一个或多个目标中的至
少一个被固定至所述凹陷区域外的所述工作台的上表面。
51.根据权利要求50所述的方法，其中所述一个或多个固定目
标还包括被固定至所述凹陷区域底部的至少一个目标。
52.根据权利要求49-51中任一项所述的方法，其还包括使用在
所述平台上的密度梯级显示器以校准所述摄像头的亮/暗设置。
53.根据权利要求49-52中任一项所述的方法，其还包括使用在
所述平台上的具有多个额外特性的图像以帮助校准所述机器人系统，
所述多个额外特性包括下列各项中的至少一个：
(i)用于容纳从其取出冷冻样本芯的容器的站；
(ii)用于容纳其中的冷冻样本芯将发生沉积的容器的站；
(iii)用于清洗所述机器人系统的取芯探头的站；
(iv)在所述平台上用于保持所述容器的一个或多个托盘；以及
(v)其组合。
54.根据权利要求49-53所述的方法，其还包括使用所述摄像头
撷取容器的图像并使用所述图像确定在所述样本中的一个或多个孔
的位置。
55.一种机器视觉系统，其用于与适于从每一个均被包含在容器
中的冷冻样本取出多个冷冻样本芯的机器人系统一起使用，所述机器
\t视觉系统包括：
用于当所述容器被平台支撑的同时撷取容器的图像的摄像头，所
述摄像头具有光轴；
用于照亮在所述平台上的所述容器的环形灯，所述环形灯包括以
环形图案布置的多个光源，所述摄像头的所述光轴延伸通过所述环形
图案的中心部分；以及
处理器，其适于从所述摄像头接收指示通过所述摄像头撷取的所
述图像的图像数据并通过评估所述图像中的对比度确定已从在所述
容器中含有的所述样本取出冷冻样本芯的一个或多个位置。
56.根据权利要求55所述的机器视觉系统，其中所述环形灯发
出红光。
57.根据权利要求55所述的机器视觉系统，其中所述环形灯发
出绿光。
58.根据权利要求55所述的机器视觉系统，其中所述环形灯包
括红色发光元件、蓝色发光元件和绿色发光元件，从所述红色、蓝色
和绿色发光元件发出的光的强度可选择性地进行调整以允许将光的
多种不同颜色中的任一颜色选为待所述环形灯发出的光的颜色。
59.根据权利要求55所述的机器视觉系统，其中所述环形灯包
括多色LED，可操作所述多色LED中的每一个以发出红光、绿光、
蓝光及其组合。
60.与容器和在所述容器中含有的冷冻样本相组合的根据权利
要求55-59中任一项所述的机器视觉系统，对所述摄像头进行定位以
拍摄所述冷冻样本的图像，所述环形灯适于发出与所述冷冻样本的颜
色相配的光。
61.根据权利要求60所述的机器视觉系统，其中通过所述环形
灯发出的所述光具有第一颜色且所述冷冻样本的所述颜色具有第二
颜色，且所述第一颜色是选自由下列各项所组成的群组：(i)与所述第
二颜色相同的颜色以及(ii)除了在6色RGB色轮上两个相邻颜色中的
一个外与所述第二颜色没...
【专利技术属性】
技术研发人员：M·拉蒙泽尼法尔德，S·索克汉瓦尔，T·巴斯奎，P·L·弗勒尔，M·斯威特兰德，
申请(专利权)人：克莱奥克斯特拉克特仪器有限责任公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。