英伟达(NVDA.US)推出“护栏”软件以防止AI模型失控

英伟达(NVDA.US)的强大芯片为人工智能(AI)的繁荣奠定了基础。然而，随着ChatGPT等生成式AI的出现，越来越多用户在享受便利的同时发现，AI模型有时会出现“幻觉”，即说出错误的事实、涉及有害的话题或导致安全风险。智通财经APP获悉，为了解决这一问题，英伟达在周二发布了一款名为NeMo Guardrails的新软件，该软件能够为AI模型设置安全“护栏”，避免AI输出一些不良的内容。

资料显示，NeMo Guardrails是一个软件层，位于用户和AI模型之间，可以在模型输出不良内容之前进行拦截和修改。例如，如果用户需要一个针对特定方向的AI，就可以利用该软件来限制AI至输出对应方面的内容，而不谈论不相关的话题。

此外，该软件还能够利用一个AI模型检测另一个AI模型，如果两个模型输出的答案不一致，软件将直接输出“我不知道”的回答。通过这种方式，人工智能“胡说八道”的情况会得到有效降低，一些可能存在危险的回复也能够被直接拦截。

英伟达应用研究副总裁Jonathan Cohen表示：“每个人都意识到生成式大语言模型的力量，以一种安全可靠的方式部署它们非常重要。”英伟达将NeMo Guardrails作为开源软件提供，并将持续对其进行更新。