针对上述网友反映的情况,扬子晚报记者进行了实测,记者挑选了朱自清的《背影》和刘慈欣的科幻小说《球状闪电》的片段,使用网友常用的某论文检测工具进行检测。
检测结果显示,朱自清的《背影》的AIGC总体疑似度为18.21%、而《球状闪电》片段的AIGC总体疑似度高达32.05%。随后,记者又在网上搜索AI检测,随机挑选了两家AI检测网站进行测试,结果显示两家网站《背影》的AI生成率均小于1%,有一家网站检测《球状闪电》片段的AI率为23%,另一家检测结果为0.23%。
记者调查发现,AI检测实际上就是一种预测文档是否由大型语言模型编写的分类模型,一般来说这类模型都是基于大量人工和AI生成文本语料库进行训练。一位从事AI领域研究的技术人员告诉记者,与人类的不可预测性相比,AI更倾向于以可预测的模式写作。检测模型使用这些特征和自然语言处理算法来识别AI生成的内容。“但是AI检测中会存在误判情况,因为AI生成内容的性质在不断变化。”技术人员告诉记者,通过技术改进可以降低AI检测的误判率,但不可能完全消除。他表示,AI检测模型和AI大模型犹如矛和盾的关系,随着AI大模型的迭代升级,AI检测模型也必须同步进行优化,否则误判会更严重。
此外,针对社交平台上关于“论文AI率高到离谱”的讨论,记者咨询了某AI检测公司,公司技术人员表示,尽管当下AI检测模型优化更新的速度不断加快,但教育工作者不应将AI检测的结果视为评判学生成果的唯一标准,而应将其作为综合评估体系中的一个参考指标。
校对 潘政
编辑 : 石伟
更多内容请打开紫牛新闻, 或点击链接