这是一篇关于利用 Hacker News 数据构建语义地图和相关工具的博客文章，主要内容如下：

• 背景与目标：创建 Hacker News 所有帖子的语义地图，利用文本嵌入技术进行搜索、推荐和分析等操作，分享数据和代码供他人使用和探索。

• 数据获取与处理：

  • 使用简单的 Hacker News API 获取帖子数据，通过 Node.js 的 worker threads 实现并行抓取以提高效率，并处理抓取过程中的各种问题和细节。
  • 生成文本嵌入，选择 BGE-M3 模型生成词汇权重以提高检索性能，利用 RunPod 提供的带有 GPU 的机器进行大规模嵌入生成，同时解决连接延迟和数据分布等问题。
  • 通过爬取网页为帖子添加更多上下文，处理链接腐烂问题，确保数据集的完整性。

• 维度降低与可视化：

  • 使用 UMAP 进行维度降低，将 1024 维的嵌入向量转换为 2D 空间，以便可视化和分析数据。
  • 绘制 2D 嵌入图，通过分块和选择最高得分帖子等方法减少点的数量，添加标题以更好地展示语义关系。

• 相似性计算与搜索：

  • 介绍余弦相似度作为文本嵌入中常用的相似性度量方法，解释其在文本内容中的优势。
  • 构建交互式地图可视化工具，通过分块和按需加载数据提高性能，添加标签和视觉效果以增强地图的可读性和导航性。

• 其他功能与应用：

  • 添加“城市”（代表常见主题）以帮助用户导航和定位，将城市名称嵌入并获取其位置。
  • 实现自动虚拟子社区功能，根据相似性阈值显示相关帖子和评论，计算用户的影响力。
  • 分析整个数据集的 popularity 和 sentiment，使用 TweetEval 模型对评论进行情感分析，估计语言的流行度。
  • 利用 GPU 进行大数据处理，提高分析查询的效率。
• 演示与未来计划：提供应用程序的演示地址hn.wilsonl.in，分享数据和代码，期待社区的反馈和进一步的探索，未来计划包括实时数据更新、深度学习推荐系统等。