Faiss利用mkl加速,构建索引训练时出错。

2019-03-28
阅读 1 分钟
7.3k
前言记录一下faiss构建索引训练时碰到的一个坑。Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.

pymong 游标超时:pymongo.errors.CursorNotFound: Cursor not found

2019-03-12
阅读 1 分钟
7.1k
前言 从库批量抽取数据或数据集较大后续代码运行时间太长而导致游标超时 运行env: {代码...} 解决方案:设置连接永远不超时 {代码...} Done

Faiss优化:针对OMP_NUM_THREADS环境变量设置的测试验证

2018-12-21
阅读 3 分钟
6.9k
前言 记录一下Faiss在项目使用中的一些优化,对OMP_NUM_THREADS 环境变量参数的测试验证~ {代码...} 结论: {代码...} 测试结果统计: * CPU=1 & OMP_NUM_THREADS=1 * CPU=3 & OMP_NUM_THREADS=1 * CPU=3 & OMP_NUM_THREADS=10 * CPU=1 & OMP_NUM_THREADS=10

Mongdb中常用的数据清洗

2018-11-17
阅读 2 分钟
3.9k
前言 分享一些Mongdb常用的数据清洗方式 注:"Exceeded memory limit for $group, but didn't allow external sort. Pass allowDiskUse:true to opt in." 原因与解决: 原因 {代码...} 解决方案: {代码...} 查询重复数据 {代码...} 删除重复数据 {代码...} 删除重复数据(python版本) {代码...} 复制collection里的数据到...