Hacker News 上的一篇讨论围绕一篇文章展开,该文章强调 AI 模型在诊断黑人和女性患者疾病时的准确性较低。评论员将此归因于训练数据中的偏差,反映了医疗研究和治疗中长期存在的不平等现象。微软的 MedFuzz 研究被引用,该研究表明误导性提示如何歪曲大型语言模型的诊断,尤其是在加入种族或社会经济因素时。
减轻偏差的建议包括将种族和性别作为模型输入,使用多样化和包容性的训练数据(DIET),以及专门化模型。一些人认为,即使是不完美的 AI 也能提高某些人群的疾病检测率,主张谨慎部署和验证;而另一些人则警告不要部署可能损害患者的缺陷技术。一个关键问题是如何在 AI 系统对不同人口群体表现不同时,以道德的方式使用它们,平衡潜在的好处和加剧差异的风险。