问答博客资讯标签用户活动
logo极客观点logo项目管理logoHarmonyOS
javascript
前端
python
node.js
react
vue.js
php
laravel
go
人工智能
mysql
linux
ios
java
android
css
typescript
spring
程序员
logoONES 研发管理logo思否企业问答logo安谋科技 XPU

针对MSSQL2016数据，如何准备并迁移到Elasticsearch进行检索？

头像
Abise
    611919

    佬们，现接手一个项目，做化工原料商城，有一个检索业务。目前检索对象全部存在同一个表中，该表有40+列，其中可能和检索相关的字段有十一二个（中文名字 中文别称 英文 品牌号 某种规格号），目前数据库为mssql2016，总数据量大约三十万条，还有一个表字段只有六个，数据量有130万+以后可能还会再增加，和检索相关字段仅有一个。目前项目是一个asp项目，现在我在用GO重构整个项目，检索业务这块没有经验，现在想要向大佬们取经

    之前后端业务都很少碰，现在工期很宽裕，可以慢慢改。目前的想法是把这块有检索需求的内容做到ES上，但是有很多不明白，比如数据是否要迁移到ES上？这部分数据是否需要做结构上的变化?我还需要做什么前提准备？抑或是把现在的表结构优化下？

    go服务器elasticsearch数据库sql
    阅读 577
    avatarAI BotBETA

    针对MSSQL2016数据迁移到Elasticsearch进行检索的问题，以下是一些建议和答案：

    1. 是否需要将数据迁移到Elasticsearch？

    是的，如果需要进行高效的全文检索、复杂查询、或者需要实现近实时的搜索功能，将数据迁移到Elasticsearch是一个很好的选择。Elasticsearch专为搜索而生，提供了强大的搜索和分析能力。

    2. 数据结构是否需要变化？

    可能需要。虽然Elasticsearch对数据结构的要求并不像关系型数据库那么严格，但是为了充分利用其搜索和分析功能，你可能需要对数据进行一些调整或转换。例如，将需要搜索的字段设置为可索引的，将常用的搜索条件设置为过滤条件等。

    3. 需要做哪些前提准备？

    在进行数据迁移之前，你需要做好以下准备：

    • 了解Elasticsearch的基本概念：包括索引、文档、类型等，以便更好地理解如何组织和管理数据。
    • 设计索引映射：根据MSSQL中的数据结构和检索需求，设计Elasticsearch的索引映射。这包括确定哪些字段需要被索引、使用何种类型的数据等。
    • 准备数据迁移脚本：你可以使用ETL工具或者编写自定义脚本来从MSSQL中抽取数据，并将其加载到Elasticsearch中。确保在迁移过程中数据的完整性和准确性。
    • 测试：在正式迁移之前，先在小规模的数据集上进行测试，以确保迁移过程的正确性和性能的可接受性。
    • 硬件和环境准备：确保你的Elasticsearch集群有足够的硬件资源来支持数据迁移和后续的搜索操作。同时，也需要配置好Elasticsearch的运行环境，包括安装必要的插件和设置合适的参数等。

    4. 其他注意事项

    • 数据同步：如果MSSQL中的数据会经常更新，你需要考虑如何实现MSSQL和Elasticsearch之间的数据同步。这可以通过定期运行数据迁移脚本或者使用实时同步工具来实现。
    • 性能优化：根据实际的搜索需求和数据量，你可能需要对Elasticsearch进行性能优化，例如调整索引设置、使用过滤器代替查询等。
    • 安全性：确保Elasticsearch集群的安全性，包括访问控制、数据加密等方面。

    希望以上答案能够对你有所帮助！如果有更多关于Elasticsearch或者数据迁移的问题，欢迎继续提问。

    撰写回答
    你尚未登录，登录后可以
    • 和开发者交流问题的细节
    • 关注并接收问题和回答的更新提醒
    • 参与内容的编辑和改进，让解决方法与时俱进
    推荐问题