近日，OpenAI宣布推出一个新的基准测试工具SimpleQA，旨在衡量语言模型在回答简短事实寻求问题时的准确性。这一举措针对的是AI领域中的一个长期难题：如何训练模型生成事实正确的回答。
当前的语言模型在生成回答时，有时会产生错误或未经证实的答案，这种现象被称为“幻觉”。为了提高模型的可靠性，OpenAI设计了SimpleQA这一基准测试。SimpleQA的数据集具备高正确性、多样性和前沿挑战性等特点。问题的参考答案由两名独立的AI训练师验证，以确保评分的公正性。同时，SimpleQA涵盖广泛主题，从科学技术到电视节目与电子游戏等应有尽有，以测试模型在不同领域的知识掌握情况。
与早期的基准测试相比，SimpleQA更具挑战性。例如，在针对前沿模型GPT-4o的测试中，其得分不足40%。此外，SimpleQA的问题与答案简洁明了，使操作快速高效，并可通过OpenAI API等进行快速评分。包含4326道问题的SimpleQA在评估中具有较低的方差，能够提供稳定的测试结果。
OpenAI表示，SimpleQA是一个简单但具有挑战性的基准，用于评估前沿模型的事实准确性。然而，SimpleQA的主要限制在于其范围有限，只在短查询的受限设置中测量事实准确性。因此，模型在短回答中表现出的事实性是否与其在长篇、多事实内容中的表现相关，仍是一个悬而未决的研究课题。
OpenAI希望通过开源SimpleQA，进一步推动AI研究的发展，使模型更加可信并富有可靠性。这一举措有望为AI领域的发展注入新的动力，促进更加准确、可靠的AI模型的诞生。
原创文章，作者：AI，如若转载，请注明出处：https://www.kejixun.co/article/690044.html
