功能安全-理论到实践-机器学习中罕见事件的重尾分布与自动驾驶系统中的误判行为。

卡耐基梅隆大学教授Philip Koopman认为，罕见事件的分布是重尾的（ heavy-tailed ），因为自动驾驶车辆可能在整个产品生命周期中都不会遇到一大群鸡穿过马路的情况，所以，没有合理的理由来训练自动驾驶车辆处理这种情况。但是，如果这些罕见事件(rare events )不被包含在训练数据中的话，当自动驾驶系统遇到一只真正的鸡时，它会出现什么反应？Koopman在《The Heavy Tail Safety Ceiling》一文中给出了一个让人沮丧的结果：
“The heavy tail safety ceiling problem occurs when (a) the total population of latent surprises is relatively large, and (b) the aggregate arrival rate of unacceptably risky latent surprises is more frequent than the system safety target. In this situation the system is not acceptably safe. Worse, fixing surprises as they arrive won’t resolve the problem, because mitigating one type of surprise will not substantively change the size of the large latent surprise population.当（a）潜在突击事件(latent surprise)的总数量相对较大，并且（b）风险不可接受的(unacceptable riky)潜在突击事件(latent surprise)的总到达率(aggregate arrival rate)比系统安全目标(system )safety target更为频繁时，就会发生重尾安全上限(heavy tail safety ceiling)问题。在这种情况下，系统是不安全的。更糟糕的是，在意外出现时解决某个意外问题并不能彻底解决问题，因为,减轻一种意外类型并不会实质性地改变大量潜在意外的存在的现状。”

另外一个让人纠结的问题是要不要允许设备使用过程中持续学习( continue learning in the field)，既可以从本设备的经验数据中学习，也可以从其他设备的经验数据中学习。假如系统是持续学习的，就很难分辨那些是认证过的系统行为，而且，系统还可能被一些不怀好意的人用来训练学习危险行为。假如，所有学习只在开发阶段进行，此后只有在售后维护时才更新，如果这样危险行为可能在设备中长期存在。

预期功能安全SOTIF

对安全关键的机器学习系统进行检查并不是新问题。早在2006年 Zeshan Kurd 就在文章《Developing Artificial Neural Networks for Safety Critical Systems》中提出来了，事实上文章2003年就已经发给期刊了。对安全关键机器学习系统进行检查是嵌入式安全领域目前变化最快的技术。现在介绍的最新技术水平( state of the art )，有可能很快就成为历史。ISO/PAS 21448(Road vehicles – Safety of the intended functionality)是在2019年早些时候发布的，用来专门解决系统限制(system limitation )导致的危险,而非系统故障( system malfunction)导致的危险。ISO/PAS 21448中明确强调预期功能安全(SOTIF)与功能安全( functional safety (as in ISO 26262 and IEC 61508) )是不同的，两者相互补充。

预期功能安全在分析控制器环境模型的不充分性和人类驾驶员可能的行为时，不知不觉的使用了文章基于可靠性理论的的SIL与基于系统理论的STAMP中介绍的STAMP模型。

标准引用上图作为一个使车辆产生错觉的例子。上图来自于加拿大温哥华的“Community Against Preventable Injuries ”，图中的小孩是路上的贴纸并非真人。遇到上图这种情况，在摄像头报告有小孩时，激光雷达并不会报告有障碍物。一旦自动驾驶普及，我们可能会遇到很多如上图所示被人们用来干扰自动驾驶的情况。
如果目标检测系统，识别出滑板上的人。但是，因为似然估计( likelihood estimator)发现移动速度与人的速度不一致，目标的识别有可能被拒绝。
关注微信订阅号 autotechspace （汽车知识共享空间）获取更多实时内容。。。