技术系统以及尤其是自主驾驶车辆的产品成熟度确定技术方案

按照本发明专利技术的主题，要求保护一种借助于测试来确定产品成熟度的方法，其中，测试包括借助于应用于测试对象的测试环境来对测试情况的实施，并且对于至少一个测试来说没有结果，并且该方法包括如下步骤：规定用于计算没有结果的测试将成功或者将不成功的概率的规则，其中这些规则使用测试的当前的或所预期的结果作为输入参量并将概率作为输出参量返回；并且借助于所规定的规则的至少一部分，计算没有结果的测试将成功的概率；并且根据在先前的步骤中计算的概率来示出产品成熟度。

Product maturity determination of technical systems and especially autonomous vehicles

【技术实现步骤摘要】
【国外来华专利技术】技术系统以及尤其是自主驾驶车辆的产品成熟度确定
本专利技术涉及按照专利权利要求1的前序部分的一种用于技术系统的产品成熟度确定的方法和测试系统。
技术介绍
尤其是在部分自主或自主驾驶车辆的领域中，产生对测试车辆、车辆的部件(例如电子控制设备)和驾驶功能(例如作为在控制设备上实施的软件的算法)的需求。因为这些驾驶功能大部分应被评价为安全关键，所以需要针对下一研发步骤的开启限定并且检查足够安全的标准。尤其是在最后的研发步骤结束之后，因为接着开始批量生产车辆。在部分自主或者自主驾驶车辆的情况下，这特别困难，因为所有可能要测试的场景的数目由于交通情况无法完全再现的事实而在一定程度上无穷无尽。因此，为了开启下一个研发步骤，必须找到合理的、能在有限的时间内检查的并且足够安全的标准。从现有技术公知用于产品成熟度确定的方法，其中借助于测试覆盖率来确定技术系统的产品成熟度。在这种情况下，测试覆盖率通常被理解为所实施的测试与对于技术系统来说能实施的测试的总数之比或者成功实施的测试与对于技术系统来说能实施的测试的总数之比。在欧洲专利申请EP3082000A1的公开文本中，产品成熟度借助于测试覆盖率来确定而且做出对改善测试覆盖率的建议。
技术实现思路
在该背景下，本专利技术的任务在于：说明一种对现有技术进行改进的设备。该任务通过具有专利权利要求1的特征的用于确定产品成熟度的方法以及通过具有专利权利要求15的特征的测试系统来解决。本专利技术的有利的设计方案是从属权利要求的主题。按照本专利技术的主题，要求保护一种借助于测试来确定产品成熟度的方法，其中，测试包括借助于应用于测试对象的测试环境对测试情况的实施，并且对于至少一个测试来说没有结果，并且该方法包括如下步骤：规定用于计算没有结果的测试将成功或者将不成功的概率的规则，其中，所述规则使用测试的当前的或所预期的结果作为输入参量并且返回概率作为输出参量；借助于所规定的规则的至少一部分，计算没有结果的测试将成功的概率；以及根据在先前的步骤中计算的概率来示出产品成熟度。按照本专利技术的方法的优点是：技术系统的产品成熟度不仅依据已经实施的测试来评价，而且在评价时也还考虑未实施的测试。由此，对于不是所有测试都被实施的情况，整体上得到产品成熟度的更完整的图像，否则在先前的时间点得到关于产品成熟度的更具说服力的结论，因为仍在将来的测试也一并影响评价。此外，基于对于将来的观察考虑，可以做出对还要实施的测试和这些测试的顺序的经改善的选择。进一步有利的是：借助于该方法可以更轻易地找到并且示出能简单地了解却具有说服力的产品成熟度表示。关于产品成熟度的结论可以根据当前的标准、诸如当前的测试情况、测试环境或者测试对象简单地来组合或编组。在一个实施方式中，测试对象(SUT)是至少部分自主驾驶车辆、至少部分自主驾驶车辆的一部分或者至少部分自主驾驶车辆的功能性，并且测试情况(TC)是所述至少部分自主驾驶车辆的驾驶操纵、利用或具有所述至少部分自主驾驶车辆的该部分的驾驶操纵或者在所述至少部分自主驾驶车辆的该功能性被考虑时的驾驶操纵，并且测试环境(TE)是所述至少部分自主驾驶车辆或者包括所述至少部分自主驾驶车辆的该部分或所述至少部分自主驾驶车辆的该功能性的车辆的环境、尤其是也包括虚拟环境。在另一实施方式中，测试情况或测试环境或测试对象在第一和第二版本下存在，其中，第二版本表示测试情况或测试环境或测试对象的一种研发状态，该研发状态在时间上处在测试情况或测试环境或测试对象的第一版本的研发状态之后。在之前所描述的实施方式中的一个扩展方案中，借助于这些规则或者除了这些规则之外还规定：在计算测试将成功或者将不成功的概率时不考虑测试的当前的和所预期的结果中的一部分，其中，不被考虑的结果的该部分取决于至少一个测试情况、至少一个测试环境和/或至少一个测试对象的一个或多个版本，其中，所述测试包括所述至少一个测试情况、所述至少一个测试环境和/或所述至少一个测试对象。在另一实施方式中，所规定的规则表示在第一或第二版本下的第一测试情况、第一测试环境或第一测试对象与在第一或第二版本下的第二测试情况、第二测试环境或第二测试对象之间的技术关联或统计学关联。在另一实施方式中，测试的结果至少可以取如下值：“测试成功”(passed)和“测试失败”(failed)。在接下来的另一实施方式中，所规定的规则借助于对这些测试中的至少一个测试的数据集的分析来自动地创建和/或验证，该数据集包括测试情况、测试环境、测试对象和结果。在先前的实施方式的一个扩展方案中，该分析包括对测试的关联性、尤其是具有肯定性结果的测试的关联性的静态分析。在一个实施方式中，在计算概率的方法步骤之前，借助于统计学分布来确定第一组测试，其中，对于所述第一组测试来说存在或者产生结果。在先前的实施方式的一个扩展方案中，对该第一组测试中的测试的确定基于测试情况、测试环境和/或测试对象的一个或多个其它静态分布。在先前的实施方式的另一扩展方案中，所述静态分布和/或所述其它静态分布中的一个或多个是随机分布。在先前的实施方式的一个替选的扩展方案中，对没有结果的测试将成功的概率的计算取决于测试、测试情况、测试环境和/或测试对象的静态分布。在另一实施方式中，以数值覆盖率、尤其百分比测试覆盖率的形式或者以尤其是颜色编码的图形的形式来示出产品成熟度。在一个替选的实施方式中，规定一个或多个标准，并且在第二方法步骤中计算了测试将成功或者将不成功的概率的测试中的一部分被实施或者被建议实施，其中，所要实施的或者被建议实施的测试满足所规定的标准中的至少一个。在另一实施方式中，所规定的标准中的至少一个标准是超过或低于测试将成功或者将不成功的概率的阈值。在另一实施方式中，给测试情况(TC)、测试环境(TE)、测试对象(SUT)或者由测试情况(TC)、测试环境(TE)和测试对象(SUT)构成的至少两个要素的组合分配权重，并且该权重在第二步骤中计算没有结果的测试将成功或者将不成功的概率时和/或在最后步骤中示出产品成熟度时被考虑。在一个替选的实施方式中，规定了产品成熟度的阈值，并且在超过产品成熟度的阈值时，准许测试对象(SUT)用于进一步的研发步骤。在先前的实施方式的一个扩展方案中，将测试对象尤其是借助于自动化程度的水平分配给测试对象(SUT)的类型，并且产品成熟度的阈值根据所分配的类型来规定。该任务同样通过一种用于对技术系统进行测试的测试系统来解决，其中该测试系统实施之前所描述的方法之一。附图说明随后，本专利技术参考附图进一步予以阐述。在这种情况下，给相同的部分配上相同的附图标记。其中：图1示意性地示出了测试(1)由测试环境(TE)、测试情况(TC)和测试对象(SUT)组成；图2示意性地示出了在测试(1)、测试环境(TE)、测试情况(TC)、测试对象(SUT)和测试的结果(TR)之间的关联性；图3示意性地示出了测试情况(TC)和测试对象(SUT)的存放或存储以及从中对不本文档来自技高网...

【技术保护点】
1.一种用于借助于测试来确定产品成熟度的方法，/n其中，测试包括借助于应用于测试对象(SUT)的测试环境(TE)对测试情况(TC)的实施，并且/n对于至少一个测试来说没有结果(TR)，并且/n所述方法包括如下步骤：/na)规定用于计算没有结果的测试将成功或将不成功的概率的规则，/n其中，所述规则使用测试的当前的或所预期的结果作为输入参量并且将概率作为输出参量返回，/nb)借助于所规定的规则的至少一部分，计算没有结果的测试将成功或者将不成功的概率，以及/nc)根据在先前的步骤中计算的概率来示出所述产品成熟度。/n

【技术特征摘要】
【国外来华专利技术】20170509 EP 17170127.91.一种用于借助于测试来确定产品成熟度的方法，
其中，测试包括借助于应用于测试对象(SUT)的测试环境(TE)对测试情况(TC)的实施，并且
对于至少一个测试来说没有结果(TR)，并且
所述方法包括如下步骤：
a)规定用于计算没有结果的测试将成功或将不成功的概率的规则，
其中，所述规则使用测试的当前的或所预期的结果作为输入参量并且将概率作为输出参量返回，
b)借助于所规定的规则的至少一部分，计算没有结果的测试将成功或者将不成功的概率，以及
c)根据在先前的步骤中计算的概率来示出所述产品成熟度。


2.一种用于借助于测试来确定产品成熟度的方法，
其中，测试包括借助于应用于测试对象(SUT)的测试环境(TE)对测试情况(TC)的实施，并且
对于至少一个测试来说没有结果(TR)，
测试对象(SUT)是至少部分自主驾驶车辆、至少部分自主驾驶车辆的部分或者至少部分自主驾驶车辆的功能性，
测试情况(TC)是所述至少部分自主驾驶车辆的驾驶操纵、利用所述至少部分自主驾驶车辆的所述部分的驾驶操纵或者在所述至少部分自主驾驶车辆的所述功能性被考虑时的驾驶操纵，
测试环境(TE)是所述至少部分自主驾驶车辆或者包括所述至少部分自主驾驶车辆的所述部分或所述至少部分自主驾驶车辆的所述功能性的车辆的环境、尤其是也包括虚拟环境，并且
所述方法包括如下步骤：
d)规定用于计算没有结果的测试将成功或者将不成功的概率的规则，
其中，所述规则使用测试的当前的或所预期的结果作为输入参量并且将概率作为输出参量返回，
e)借助于所规定的规则的至少一部分，计算没有结果的测试将成功或者将不成功的概率，以及
f)根据在先前的步骤中计算的概率来示出所述产品成熟度。


3.根据权利要求1或2所述的方法，其中，
测试环境(TC)或测试环境(TE)或测试对象(SUT)在第一和第二版本下存在，
其中，所述第二版本表示所述测试情况(TC)或所述测试环境(TE)或所述测试对象(SUT)的一种研发状态，所述研发状态在时间上处在所述测试情况(TC)或所述测试环境(TE)或所述测试对象(SUT)的研发状态之后。


4.根据权利要求3所述的方法，其中，
借助于所述规则或者除了所述规则之外还规定：在计算测试将成功或者将不成功的概率时不考虑测试的当前的和所预期的结果中的一部分，其中，不被考虑的结果的所述部分取决于至少一个测试情况(TC)、至少一个测试环境(TE)和/或至少一个测试对象(SUT)的一个或多个版本，其中，所述测试包括所述至少一个测试情况(TC)、所述至少一个测试环境(TE)和/或所述至少一个测试对象(SUT)。


5.根据上述权利要求之一所述的方法，其中，
所规定的规则表示在第一或第二版本下的至少一个第一测试情况(TC)、至少一个第一测试环境(TE)或至少一个第一测试对象(SUT)与在第一或第二版本下的至少一个第二测试情况(TC)、至少一个第二测试环境(TE)或至少一个第二测试对象...

【专利技术属性】
技术研发人员：H·瑙恩多夫，
申请(专利权)人：帝斯贝思数字信号处理和控制工程有限公司，
类型：发明
国别省市：德国;DE