技术分享 | MySQL Shell import_table 数据导入
发布网友
共1个回答
热心网友
余振兴，爱可生 DBA 团队成员，专精 Oracle、MySQL、MongoDB、Redis 等数据库，现深入研究 TiDB，擅长架构设计、故障诊断、数据迁移及灾备构建。负责处理客户 MySQL 及自研 DMP 数据库管理平台的日常运维问题。热衷于技术分享与编写技术文档。
MySQL Shell 工具集中的 import_table，全称为 Parallel Table Import Utility，支持高效并发数据导入。自 MySQL Shell 8.0.23 版本起，其功能更加强大，为数据导入提供了便利。
本文对比了 MySQL Load Data 和 import_table 的数据导入功能。Load Data 是 MySQL 的一种常用数据导入方法，本文将通过导入 employees 表的数据，展示 Load Data 的使用场景。
接着，本文介绍了 import_table 的特定功能。多文件导入（模糊匹配）和并发导入是其亮点。实验模拟了导入 1000W 条数据的 sbtest1 表，并使用 threads 参数配置并发导入。此外，import_table 还支持导入速率控制，通过 maxRate 和 threads 参数调节每个线程的导入速率。
import_table 还允许自定义 chunk 大小，调整为 1M 可以减少事务大小，提升导入效率。最后，本文对比了 Load Data 和 import_table 的性能，显示 import_table 的导入速度显著高于 Load Data，效率提升一倍以上（受限于虚拟机环境磁盘 IO 能力）。
总结而言，import_table 是一个高效、灵活的数据导入工具，尤其在处理大量数据时展现出显著优势。在实际应用中，可以根据具体需求选择合适的导入方法。
