边聊安全 | 智能驾驶时代的新挑战：AI功能安全

智能驾驶时代的新挑战：AI功能安全

写在前面：

随着人工智能（AI）技术在自动驾驶汽车等领域的快速发展，其功能安全性成为了一个不可忽视的议题。功能安全指的是在正常或异常操作情况下，系统能够安全运行的能力，这对于直接影响人类生命安全的自动驾驶汽车尤为重要。为了全面管理安全生命周期，确保车辆AI系统在各种情况下都能保持预期的安全性能，需要系统地实施安全措施。

本文将详细探讨AI功能安全的生命周期，从ISO/CD PAS 8800标准的角度，讲述如何实施生命周期内的各项安全措施，以及这些措施如何帮助实现AI系统的可持续、安全运行。

01.

AI安全管理

AI安全生命周期流程，主要用来支撑整个ISO/CD PAS 8800标准，把ISO/CD PAS 8800标准的所有章节都融入到此流程。

图2-1-AI安全生命周期

（参考ISO/CD PAS 8800 chapter7 Figure7-1）

AI安全生命周期流程是一个全面的框架，旨在确保AI系统从设计到部署的各个阶段都符合安全标准。这一流程开始于需求分配阶段，其中上游系统输入的需求首先在第9章中进行详细的规划和优化，然后将优化后的需求传递到开发阶段。在开发阶段，进行AI系统的开发和测试验证，以确保系统满足所有安全要求。

开发和验证确认活动完成后，AI系统将进行安全认证，以验证其是否满足输入的安全要求。如果认证成功，系统则可投入市场。上市后，将执行运营阶段的监控工作，确保系统的持续安全性能。整个过程形成一个完整的闭环，每个阶段的工作产出都将支持最终的安全认证。

此外，流程中还考虑了软件工具的资质认证，包括如何进行相关的软件开发和资质认证工作，从而确保AI系统在整个生命周期中的安全性和可靠性。

图2-1-AI安全生命周期的V&V阶段

（参考ISO/CD PAS 8800 chapter7 Figure7-2）

其中，专门针对AI系统的V模型开发生命周期模型与ISO 26262标准中的生命周期具有相似之处。V模型的开发流程从最左侧开始，涵盖AI系统的设计和AI组件的设计与实施。一旦AI组件开发完成，接下来是AI组件的验证，随后进行整个AI系统的集成，包括进一步的验证和确认环节。

在V模型的整个过程中，功能安全分析是必不可少的，它帮助识别和预防各个环节中可能出现的潜在安全失效和功能不足。此外，数据的重要性在AI系统中尤为突出，因此在V模型的开发过程中也特别强调对数据相关性的考量。数据管理同样遵循自身的生命周期，确保数据的有效性和安全性贯穿AI系统开发的每一个阶段。这样的流程设计确保了AI系统在安全性和功能性方面能够满足预设的标准和要求。

02.

总结和展望

AI安全生命周期流程和V模型的实施不仅保证了AI系统在功能和安全性方面的高标准，还提供了一种适应未来技术发展的灵活框架。随着AI技术的快速发展和应用领域的不断扩展，这种全面的安全管理方法显得尤为重要。未来，随着更多的技术创新和新的安全挑战的出现，这一流程将需要不断地更新和优化，以适应新的安全需求和标准，从而保证AI系统在所有使用场景中的安全性和可靠性。这将要求业界、学界和标准制定者之间有更深入的合作和持续的技术革新，以推动AI安全管理向更高水平发展。

03.

面对的挑战

实施AI安全生命周期流程和V模型面临的挑战包括技术的快速变化、数据管理和隐私保护问题、跨学科合作困难、缺乏详细的安全认证和标准、资源和成本限制、不确定性和未知风险以及需适应不断变化的监管和法规要求。这些挑战要求组织必须具备高度的技术能力和战略规划，建立内部的跨部门合作及与外部监管和标准化机构的密切协作，通过技术创新和持续的政策更新来有效管理风险并保障AI系统的安全性。

作者

边俊

磐时创始人/首席安全专家

汽车安全社区SASETECH发起人；智能网联预期功能安全工作组核心成员；国内最早从事汽车功能安全、预期功能安全的专家之一