第21期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

                    Security Papers

· Analyzing Leakage of Personally Identifiable Information in Language Models

简介：在这项工作中，我们通过黑盒提取、推理和重构攻击，对三种类型的PII泄露进行了重新定义，这些攻击只需通过API访问LM。我们在法律、医疗保健和电子邮件这三个领域对经过微调的GPT-2模型进行了实证评估。

链接：https://ieeexplore.ieee.org/document/10179300

· Towards JavaScript program repair with generative pre-trained transformer (GPT-2)

简介：据我们所知，迄今为止，GPT-2 模型尚未用于自动程序修复。该模型针对特定任务进行了微调：它被用来自动修复JavaScript Bug。为此，我们在16863个JS代码片段上对该模型进行了训练，使其能够学习所观察到的编程语言的性质。在实验中，我们观察到 GPT-2 模型尽管在某些情况下它未能学会良好的错误修复但几乎每次都能学会如何编写语法正确的源代码。不过，在大多数情况下，它都能生成正确的修正，总体准确率高达 17.25%。

链接：https://dl.acm.org/doi/abs/10.1145/3524459.3527350

· Automated CVE Analysis for Threat Prioritization and Impact Prediction

简介：在这项研究中，我们介绍了新的预测模型和工具(称为CVEDrill)，它彻底改变了CVE分析和威胁优先级。CVEDrill准确地估计CVSSvector，以实现精确的威胁缓解和优先级排序，并将cve无缝地自动分类到适当的CWE层次结构类中。通过利用CVEDrill，组织现在可以以无与伦比的准确性和及时性实施网络安全对策缓解，在该领域超越ChaptGPT等最先进工具的能力。

链接：https://arxiv.org/pdf/2309.03040.pdf

· Reverse-Engineering Decoding Strategies Given Blackbox Access to a Language Generation System

简介：在本文中，我们提出了对用于生成文本的解码方法进行逆向工程的方法(即top-k或核采样)。我们发现使用了哪种解码策略的能力对检测生成的文本具有重要意义。此外，发现解码策略的过程可以揭示由于选择解码设置而导致的偏差，这些设置严重截断了模型的预测分布。

链接：https://arxiv.org/pdf/2309.04858.pdf

· GenAIPABench: A Benchmark for Generative AI-based Privacy Assistants

简介：本研究介绍了genaipabach，这是一个新的基准测试框架，旨在评估基于生成人工智能的隐私助理(GenAIPAs)的性能。genaipbench包括:1)关于组织隐私政策和数据保护法规的全面问题集，以及针对多个组织和法规的注释答案;2)一套稳健的评估指标，用于评估生成响应的准确性、相关性和一致性;3)一个评估工具，生成适当的提示，将系统引入隐私文档和不同的隐私问题变体，以评估其稳健性。

链接：https://arxiv.org/pdf/2309.05138.pdf

· FuzzLLM: A Novel and Universal Fuzzing Framework for Proactively Discovering Jailbreak Vulnerabilities in Large Language Models

简介：虽然模型所有者可以通过安全培训策略抵御个别越狱提示，但这种相对被动的方法很难处理更广泛的类似越狱类别。为了解决这个问题，我们引入了FuzzLLM，这是一个自动模糊测试框架，旨在主动测试和发现llm中的越狱漏洞。

链接：https://arxiv.org/pdf/2309.05274.pdf