AIGC应用周刊EP02：20+公司AI应用产品分析；24名工程师的LLM使用痛点

1.20多家顶尖科技公司的AI应用

AI产品功能对市场来说仍然是新事物。没有人完全弄清楚其中多少功能将得到广泛使用，以及用户在多大程度上真正想要这些新产品。

本系列文章分析了海外科技公司将AI集成到其产品中的新方法和功能，包括Chrome、Slack、Docusign、Yelp、Google地图、Pinterest、Airbnb、Replit、Airtable等，总体而言，这些产品团队目前正在构建的功能分为5种不同的类别：

嵌入式助手：嵌入在核心产品中的AI助手，旨在以某种方式放大其产品价值主张
新的独立产品：由AI驱动的独立产品，区分于核心产品
用户体验增强器：由AI驱动的功能，旨在让现有产品更容易使用或以某种方式改善整体用户体验
生产力助推器/节省时间：旨在提高用户生产力的AI功能
ML智能/数据分析：部署AI驱动的机器学习模型以增加价值或发现见解

本文从功能类别、工作原理等维度分析了上述公司发布的不同的新AI功能，有助于AI团队做产品时进行参考。

https://departmentofproduct.substack.com/p/dop-deep-what-ai-f...

2.超越代码生成：24名工程师的ChatGPT使用体验观察

来自瑞典哥德堡查尔姆斯理工大学和瑞典RISE研究机构的研究人员，对来自在日常工作中使用ChatGPT超过一周的10公司的24名软件工程师，进行定性分析他们与聊天机器人的对话以及他们的整体体验。

作者发现，从业者更多地使用ChatGPT来获得有关如何解决任务或以更抽象的方式了解主题的指导，而不是期望ChatGPT生成随时可用的软件工件（例如代码）。

本研究还提出了一个理论框架，说明（i）交互的目的、（ii）内部因素（例如用户的个性）和（iii）外部因素（例如公司政策）如何共同塑造用户体验（就感知有用性和信任度而言）。

本研究指出，当涉及到企业应用时，有一些问题甚至前沿模型也无法解决。其中之一就是上下文。无论模型经过多少训练，它都不会了解企业的专有信息。在工程师与模型交互时，拥有能够自动向模型提供上下文信息的聊天界面将在将用户体验提升到新的水平中发挥关键作用。有几种方法可以做到这一点，包括检索增强生成 ( RAG )，其中上下文信息会在发送到模型之前自动添加到用户的提示中。或者，把LLM可以集成到用户的IDE中，在回答问题时它会自动使用代码和项目文件作为上下文。

另一个需要解决的问题是隐私和数据共享限制。一种解决方法是使用Llama 3这样的开源模型，这样可以确保数据永远不会离开用户所属的组织。

研究中提出的另一个观点是工程师在提示模型上投入的精力。用户提出请求和指令的方式对LLM的性能有重大影响。减少提示工程的摩擦可以帮助改善用户体验并节省工程师与LLM交互的时间。在这方面一个令人印象深刻的方向是Anthropic公司的提示生成器，它可以自动为你想要完成的任务创建最佳提示。另一个例子是OPRO ，这是DeepMind开发的一种自动优化提示的技术。

最后，该研究提到使用ChatGPT导致注意力下降。通过将LLM融入团队合作，可以在一定程度上缓解这一挑战。一个有趣的例子是Glue ，这是一款新的企业聊天应用程序，它将LLM作为智能体添加到讨论对话中。从孤立的LLM体验到将智能体插入群组对话可以产生非常有趣的结果。

本研究结果提供了有关软件工程师使用ChatGPT执行的任务类型以及影响他们体验的因素的重要信息，对于希望将LLM融入其工作流的企业具有重要意义。

https://arxiv.org/abs/2404.14901https://bdtechtalks.substack....

3.ChatNT：多模态对话智能体，用于处理DNA、RNA和蛋白质任务

InstaDeep和BioNTech的研究者们开发了ChatNT，这是一个先进的多模态对话智能体，能够理解生物序列并执行相关任务。ChatNT通过自然语言处理，使用户无需编程背景即可解决生物学问题。

研究者们计划将ChatNT应用于更广泛的程序理解任务，并扩展其数据模态，以构建更全面的生物学智能体。

关键特性：

多模态理解：ChatNT结合了DNA编码器和预训练的英语解码器，能够处理DNA、RNA和蛋白质序列。
任务通用性：智能体能够执行多种分类和回归任务，涵盖不同的物种、组织和生物过程。
对话式交互：用户可以通过英语与ChatNT交互，执行如预测RNA降解率、鉴定增强子活性和评估蛋白质稳定性等任务。

SOTA性能：

ChatNT在Nucleotide Transformer基准测试中取得了SOTA结果，并在一系列生物学相关任务上达到了与专门方法相当的性能。

技术细节：

ChatNT的架构包括一个预训练的DNA编码器、一个投影层和一个预训练的英语解码器。
通过自然语言提示，ChatNT能够在不同任务之间实现无缝切换，同时解决多个任务。

应用与扩展性：

ChatNT的框架可以轻松扩展到更多任务和生物数据模态，如结构和成像数据。
该模型的灵活性和多模态特性使其成为生物学研究的有力工具。

https://www.instadeep.com/wp-content/uploads/2024/04/ChatNT_A...

4.Astra是谷歌AI的未来？

Astra是一款在Google I/O 大会上亮相的实时多模式AI助手，能够以对话方式识别物体、回答问题和协助完成任务。该项目是谷歌Gemini产品系列发布的一部分，其中包括用于更快完成任务的 Gemini 1.5 Flash、用于根据文本提示生成视频的Veo和用于本地设备使用的Gemini Nano等新模型。

谷歌DeepMind CEO Demis Hassabis设想，AI的未来将更多地关注功能而不是模型，即由AI智能体代表用户执行任务。他认为，Astra更接近真正的实时AI助手，代表着谷歌AI的未来，目前Astra的速度和时延一直是他们的关注重点。

https://www.theverge.com/2024/5/14/24156296/google-ai-gemini-...

5.什么是检索增强生成（RAG）？

RAG是使LLM在实际的、特定领域的应用中更加准确、知识丰富和健壮的最简单、最有效的方法。

增强技术允许以多种方式扩展LLM 的功能，而无需重新训练模型。我们可以通过提供从外部知识源获取的相关上下文，或教它们直接查询专门的搜索引擎或API，来扩展它们的知识广度。我们可以将它们与执行特定任务的专用工具集成，或使它们能够即时生成和运行代码，从而扩展它们的推理和解决问题的能力。最后，我们可以将LLM变成成熟的智能体，能够决定如何以及何时与环境交互、收集信息并采取行动以实现长期目标。

在本文和后续文章中会回顾目前最先进的LLM中可以使用的最常见增强策略。这些技术人人都能掌握，而且与它们提供的价值相比，只需付出很少的努力。

https://blog.apiad.net/p/what-is-retrieval-augmented-generation