第2期 | GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好的知悉近一周的贡献内容，现总结如下如下。

                     Security Papers

1.行业新闻

Facebook季度安全报告：假冒ChatGPT的恶意软件激增
https://about.fb.com/news/2023/05/metas-q1-2023-security-repo...

Tenable的报告展示了生成式人工智能正在如何改变安全研究
https://venturebeat.com/security/tenable-report-shows-how-gen...

2.GPT自身安全

论文

*Boosting Big Brother: Attacking Search Engines with Encodings

攻击测试了集成OpenAI GPT-4模型的必应搜索引擎

https://arxiv.org/pdf/2304.14031.pdf

*More than you've asked for: A Comprehensive Analysis of Novel Prompt Injection Threats to Application-Integrated Large Language Models

间接提示注入的开山之作，里面很多场景都已成为现实

https://arxiv.org/pdf/2302.12173.pdf

*Evaluating the Code Quality of AI-Assisted Code Generation Tools: An Empirical Study on GitHub Copilot, Amazon CodeWhisperer, and ChatGPT

https://arxiv.org/pdf/2304.10778.pdf

3.安全运营

*GPT-2C: A GPT-2 Parser for Cowrie Honeypot Logs

https://arxiv.org/pdf/2109.06595.pdf

*Elastic公司发布的"与ChatGPT探索安全的未来" 提出了6个构想：(1) 聊天机器人协助事件响应 (2) 威胁报告生成 (3) 自然语言检索 (4) 异常检测 (5) 安全策略问答机器人 (6) 告警排序。

https://www.elastic.co/cn/security-labs/exploring-application...

*ChatGPT在安全运营中的应用初探结论
https://www.secrss.com/articles/51775

*利用Chat GPT和D3的AI辅助事件响应探讨将ChatGPT与Smart SOAR整合的好处

https://www.163.com/dy/article/I48DBHHG055633FJ.htm

4.以数据安全训练GPT

ChatGPT：和黑客知识库聊天 (1) 从prompt到自训练数据原文反向索引的准确性；(2) openai提供模型的微调服务的尝试；(3) 其他可替代性模型总结；(4) 围绕markdown格式的数据集解析和分块索引的脚本示例；(5) 相似索引向量引擎推荐。

https://mp.weixin.qq.com/s/dteH4oP24qGY-4l3xSl7Vg

                       Security tools

Falco-gpt

简介：Falco-gpt是借助OpenAI自动为Falco提供的内核审计事件提供补救措施的工具。

https://github.com/Dentrax/falco-gpt

CodaMOSA

简介：CodaMOSA是CODAMOSA: Escaping Coverage Plateaus in Test Generation with Pre-trained Large Language Models的论文代码，实现了一款结合了OpenAI API的fuzzer，旨在缓解传统fuzz中陷入覆盖率停滞不前的问题。

https://github.com/microsoft/codamosa