岗位描述
团队介绍:负责公司大模型信息安全保障体系,持续识别和治理大模型衍生出的新型风险,并建设相应安全产品,保障大模型及其应用在训练、推理和部署等阶段的安全。同时将大模型相关技术应用到安全技术和安全运营领域,实现技术突破,做到效果和效率双提升。 1、对接Cyber安全数据团队/模型训练团队,识别模型到底缺少什么能力,再将这些缺陷转化为训练任务、数据及评测信号; 2、分析模型究竟失败在根因定位、实验设计、工具使用还是证据解释; 3、把失败转化为明确、可验证的训练命题; 4、与安全专家及模型训练团队共同补充高 质量解题数据; 5、建立自动化验证,区分有效和无效的模型行为; 6、与模型训练团队合作开展实验,并通过独立评测检验效果。