# MongoDB - 文档数据库模式 ## 概述 MongoDB 是一个面向文档的 NoSQL 数据库，它将数据存储在灵活的、类似 JSON 的文档中。它擅长处理非结构化或半结构化数据、层次关系以及需要水平扩展的场景。 **主要特点**： * 灵活的模式（无模式文档） * 具有二级索引的丰富查询语言 * 分析聚合框架 * 水平扩展（分片） * 副本集实现高可用性 * 更改实时数据流 * 地理空间和全文搜索 **何时使用 MongoDB** ： * 快速发展的模式 * 分层/嵌套数据（嵌入文档） * 实时分析与聚合 * 地理空间应用 * 内容管理系统 * 物联网数据摄取 * 目录/库存系统 **何时不使用 MongoDB** ： * 复杂的多表连接（使用RDBMS） * 跨多个文档的 ACID 事务（在 4.0+ 中有所改进，但有限） * 严格的架构执行要求 ## 架构设计基础知识 ### 文档结构 // MongoDB 文档（BSON 格式） { "_id": ObjectId("507f1f77bcf86cd799439011"), // 主键（自动生成） “电子邮件”：“alice@example.com”， “姓名”：“爱丽丝·约翰逊”， "profile": { // 嵌入文档 "bio": "软件开发人员", "头像": "https://example.com/avatar.jpg", “社交”：{ “推特”：“@alice”， “github”：“alice-dev” } }, "tags": ["developer", "python", "mongodb"], // 数组字段 “创建时间”：ISODate(“2024-01-15T10:30:00Z”), “更新时间”：ISODate(“2024-01-20T14:22:00Z”) } ### 嵌入文档与参考文档 **嵌入式（非规范化）** \- 将相关数据存储在同一文档中： // 嵌入：适合 1:1 或 1:Few 关系 // 具有嵌入地址的用户 { “_id”：ObjectId（“...”）， “名字”：“爱丽丝”， “地址”：{ "街道": "主街 123 号", “城市”：“旧金山”， “邮政编码”：“94102” } } // 嵌入：带有行项目的订单（1：多个有界） { “_id”：ObjectId（“...”）， "订单号": "ORD-2024-001", “客户”：{“姓名”：“Alice”，“电子邮件”：“alice@example.com”}， “项目”：[ { "productId": "SKU001", "名称": "小部件", "数量": 2, "价格": 29.99 }, { "productId": "SKU002", "名称": "小工具", "数量": 1, "价格": 49.99 } ], “总计”：109.97 } **何时嵌入**： * 数据经常一起查询 * 没有父级数据，子级数据就没有意义 * 1:1 或 1:很少的关系 * 子数据是有界的（不会无限增长） * 数据不需要独立访问 **引用（标准化）** \- 存储对其他文档的引用： // 参考：适用于 1:Many unbounded 或 Many:Many // 用户文档 { "_id": ObjectId("user123"), “名字”：“爱丽丝”， “电子邮件”：“alice@example.com” } // 帖子集合（引用用户） { "_id": ObjectId("post456"), "authorId": ObjectId("user123"), // 对用户的引用 "title": "MongoDB 架构设计", "内容": "...", “评论数”：42 } // 评论收集（参考帖子） { "_id": ObjectId("comment789"), "postId": ObjectId("post456"), // 帖子引用 "authorId": ObjectId("user999"), // 引用评论者 "text": "很棒的文章！", “创建时间”：ISODate(“2024-01-20T10:00:00Z”) } **何时参考**： * 许多：许多关系 * 1：许多无限增长（评论、日志） * 数据独立访问 * 文档大小将超过 16MB 限制 * 需要对参考文档进行原子更新 ### 混合模式（扩展参考） // 使用非规范化的作者信息 + 参考文献进行发布 { "_id": ObjectId("post456"), "title": "MongoDB 最佳实践", "内容": "...", “作者”：{ "_id": ObjectId("user123"), // 查找参考 "name": "Alice", // 非规范化显示 "avatar": "https://..." // 常用字段 }, “评论数”：42， “lastCommentAt”：ISODate（“...”） } ## 查询模式 ### 基本增删改查操作 // 查找文档 db.users.find({ 电子邮件: "alice@example.com" }) db.users.find({ 年龄: { $gte: 18, $lte: 65 } }) db.users.find({ 标签: { $in: ["开发人员", "设计人员"] } }) // 使用投影查找（选择特定字段） db.users.find( { 状态：“活动” }， { name: 1, email: 1, _id: 0 } // 包含姓名、电子邮件；排除_id ） // 找一个 db.users.findOne({ 电子邮件: "alice@example.com" }) // 插入 db.users.insertOne({ 姓名: "Bob", 电子邮件: "bob@example.com" }) db.users.insertMany([ { 姓名：“查理”，电子邮件：“charlie@example.com” }， { 姓名：“戴安娜”，电子邮件：“diana@example.com” } ]） // 更新 db.users.updateOne( { 电子邮件：“alice@example.com” }, { $set: { name: "Alice Updated", UpdatedAt: new Date() } } ） db.users.updateMany( { 状态：“不活动” }， { $set: { 存档: true } } ） // Upsert（更新或插入） db.users.updateOne( { 电子邮件：“new@example.com” }, { $set: { name: "新用户",createdAt: new Date() } }, { 更新插入：真 } ） // 删除 db.users.deleteOne({ 电子邮件: "bob@example.com" }) db.users.deleteMany({ status: "已删除" }) ### 查询运算符 // 比较 db.products.find({ Price: { $gt: 100 } }) // 大于 db.products.find({ Price: { $gte: 100 } }) // 大于或等于 db.products.find({ Price: { $lt: 50 } }) // 小于 db.products.find({ Price: { $lte: 50 } }) // 小于或等于 db.products.find({ Price: { $ne: 0 } }) // 不等于 db.products.find({category: { $in: ["A", "B"] } }) // 在数组中 db.products.find({category: { $nin: ["C", "D"] } }) // 不在数组中 // 逻辑 db.users.find({ $and: [{ 年龄: { $gte: 18 } }, { status: "active" }] }) db.users.find({ $or: [{ 角色: "管理员" }, { 角色: "主持人" }] }) db.users.find({ 年龄: { $not: { $lt: 18 } } }) // 元素 db.users.find({ middleName: { $exists: true } }) // 字段存在 db.users.find({age: { $type: "number" } }) // 字段类型 // 数组 db.posts.find({ Tags: "mongodb" }) // 包含元素 db.posts.find({ Tags: { $all: ["mongodb", "database"] } }) // 包含所有 db.posts.find({ Tags: { $size: 3 } }) // 数组大小 db.posts.find({ "tags.0": "featured" }) // 第一个元素 // 嵌入文档 db.users.find({ "address.city": "旧金山" }) db.users.find({ "profile.social.twitter": { $exists: true } }) // 正则表达式 db.users.find({ name: { $regex: /^alice/i } }) db.users.find({ 电子邮件: { $regex: /@example\.com$/ } }) ### 更新运算符 // 字段更新 db.users.updateOne( { _id: 用户 ID }, { $set: { name: "新名称" }, // 设置字段值 $unset: { temporField: "" }, // 删除字段 $rename: { oldName: "newName" }, // 重命名字段 $inc: { loginCount: 1 }, // 递增 $mul: { 价格: 1.1 }, // 乘法 $min: { lowerScore: 50 }, // 如果小于当前值则设置 $max: { highScore: 100 }, // 如果大于当前则设置 $currentDate: { UpdatedAt: true } // 设置为当前日期 } ） // 数组更新 db.posts.updateOne( { _id: 帖子 ID }, { $push: { Tags: "new-tag" }, // 添加到数组 $addToSet: { Tags: "unique-tag" }, // 如果不存在则添加 $pop: { Tags: 1 }, // 删除最后一个（-1 表示第一个） $pull: { Tags: "old-tag" }, // 删除特定值 $pullAll: { Tags: ["a", "b"] } // 删除多个值 } ） // 带修饰符的数组 db.posts.updateOne( { _id: 帖子 ID }, { $推：{ 评论：{ $each: [comment1, comment2], // 添加多个 $sort: { createdAt: -1 }, // 推送后排序 $slice: -100 // 只保留最后 100 个 } } } ） // 位置更新（更新匹配的数组元素） db.posts.updateOne( { _id: postId, "comments._id": commentId }, { $set: { "comments.$.text": "更新评论" } } ） // 更新所有匹配的数组元素 db.posts.updateOne( { _id: 帖子 ID }, { $set: { "comments.$[elem].read": true } }, { arrayFilters: [{ "elem.userId": currentUserId }] } ） ## 索引策略 ### 索引类型 // 单字段索引 db.users.createIndex({ email: 1 }) // 升序 db.users.createIndex({createdAt: -1 }) // 降序 // 复合索引 db.orders.createIndex({ customerId: 1,createdAt: -1 }) // 唯一索引 db.users.createIndex({ email: 1 }, { unique: true }) // 部分索引（文档的索引子集） db.orders.createIndex( { 创建于: 1 }, {partialFilterExpression：{状态：“待处理”}} ） // TTL索引（自动删除旧文档） db.sessions.createIndex( { 创建于: 1 }, { expireAfterSeconds: 3600 } // 1小时后删除） // 文本索引（全文搜索） db.articles.createIndex({ 标题: "文本", 内容: "文本" }) // 查询：db.articles.find({ $text: { $search: "mongodb 教程" } }) // 地理空间索引 db.locations.createIndex({ 坐标: "2dsphere" }) // 查询：db.locations.find({ // 坐标：{ // $附近：{ // $geometry: { 类型: "点", 坐标: [-122.4, 37.8] }, // $maxDistance: 5000 // 米 // } // } // }) // 多键索引（对于数组字段 - 自动） db.posts.createIndex({ 标签: 1 }) // 哈希索引（用于分片） db.users.createIndex({ email: "hashed" }) ### 索引最佳实践 // 复合索引的ESR规则：相等、排序、范围 // 查询：查找status = "active"的用户，按createdAt排序，年龄> 18 // 索引: { 状态: 1, 创建时间: -1, 年龄: 1 } // ^相等 ^排序 ^范围 // 覆盖查询（索引中的所有字段） db.users.createIndex({ 电子邮件: 1, 姓名: 1, 状态: 1 }) db.users.find( { 电子邮件：“alice@example.com” }, { name: 1, status: 1, _id: 0 } // 索引中的所有字段） // 检查解释：“totalDocsExamined”：0 // 分析查询性能 db.users.find({ email: "alice@example.com" }).explain("executionStats") // 寻找： // - IXSCAN（索引扫描）与 COLLSCAN（集合扫描） // -totalDocsExamined 与totalKeysExamined // - 执行时间毫秒 // 列出索引 db.user.getIndexes() // 删除索引 db.users.dropIndex("email_1") db.users.dropIndex({ 电子邮件: 1, 姓名: 1 }) ## 聚合管道 ### 管道阶段 // 基本聚合结构 db.orders.aggregate([ { $match: { status: "completed" } }, // 过滤器（如 WHERE） { $group: { _id: "$customerId", 总计: { $sum: "$amount" } } }, // 组 { $sort: { 总计: -1 } }, // 排序 { $limit: 10 } // 限制结果 ]） // 公共阶段 db.collection.aggregate([ // $match - 过滤文档 { $match: { status: "active",createdAt: { $gte: ISODate("2024-01-01") } } }, // $project - 重塑文档（包含/排除/计算字段） { $项目：{ 姓名: 1, 电子邮件: 1, fullName: { $concat: ["$firstName", " ", "$lastName"] }, 年创建：{ $年：“$createdAt” } }}, // $addFields - 添加新字段（保持现有） { $addFields: { 总价格: { $multiply: ["$价格", "$数量"] } }}, // $group - 分组和聚合 { $组：{ _id: "$类别", 计数: { $sum: 1 }, 总收入: { $sum: "$amount" }, 平均价格：{$平均：“$价格”}，最大价格：{$最大：“$价格”}， products: { $push: "$name" }, // 收集到数组中 uniqueTags: { $addToSet: "$tag" } // 唯一值 }}, // $排序 { $sort: { 总收入: -1, 计数: 1 } }, // $skip 和 $limit （分页） { $跳过：20 }， { $限制：10 }， // $unwind - 解构数组字段 { $unwind: "$tags" }, // {tags: ["a", "b"] } 变成 {tags: "a" }, {tags: "b" } // $lookup - 加入集合 { $查找：{ 来自：“用户”， localField: "作者Id", 外域：“_id”，作为：“作者” }}, { $unwind: "$author" }, // 将单元素数组转换为对象 // $facet - 多个并行管道 { $方面：{ 结果：[{ $skip: 0 }, { $limit: 10 }], 总数：[{ $count: "count" }] }} ]） ### 现实世界的聚合示例 // 按月销售分析 db.orders.aggregate([ { $match: { status: "已完成" } }, { $组：{ _id：{ 年：{$年：“$createdAt”}，月份：{ $month: "$createdAt" } }, 总销售额: { $sum: "$amount" }, orderCount: { $sum: 1 }, avgOrderValue: { $avg: "$金额" } }}, { $sort: { "_id.year": -1, "_id.month": -1 } } ]） // 包含订单详细信息的热门客户 db.orders.aggregate([ { $match: { createAt: { $gte: ISODate("2024-01-01") } } }, { $组：{ _id: "$客户ID", 总花费: { $sum: "$amount" }, orderCount: { $sum: 1 }, 最后订单: { $max: "$createdAt" } }}, { $sort: { 总花费: -1 } }, { $限制：10 }， { $查找：{ 来自：“客户”， localField: "_id", 外域：“_id”，作为：“客户” }}, { $unwind: "$customer" }, { $项目：{ 客户名称：“$客户.名称”，客户电子邮件：“$客户.电子邮件”，总花费：1，订单数：1，最后订单: 1 }} ]） // 嵌套展开的产品类别表现 db.orders.aggregate([ { $unwind: "$items" }, { $查找：{ 来自：“产品”， localField: "items.productId", 外域：“_id”，如：“产品” }}, { $unwind: "$product" }, { $组：{ _id: "$产品.类别", 总收入: { $sum: { $multiply: ["$items.quantity", "$items.price"] } }, 已售单位：{ $sum: "$items.quantity" }, uniqueProducts: { $addToSet: "$product._id" } }}, { $addFields: { uniqueProductCount: { $size: "$uniqueProducts" } }}, { $sort: { 总收入: -1 } } ]） ## 事务（MongoDB 4.0+） // 多文档交易 const session = client.startSession(); 尝试{ session.startTransaction(); // 账户之间转账等待账户.updateOne( { _id: fromAccountId }, { $inc: { 余额: -金额 } }, { 会话 } ）；等待账户.updateOne( { _id: toAccountId }, { $inc: { 余额: 金额 } }, { 会话 } ）；等待交易.insertOne( { 来自: fromAccountId, 至：toAccountId，金额：金额，创建时间：新日期() }, { 会话 } ）；等待会话.commitTransaction(); } 捕获（错误）{ 等待会话.abortTransaction(); 抛出错误； }最后{ session.endSession(); } ## 更改流 // 实时观察变化 const changeStream = db.orders.watch([ { $match: { "fullDocument.status": "待处理" } } ]); changeStream.on("更改", (更改) => { console.log("检测到更改：",change.operationType); console.log("文档：",change.fullDocument); if (change.operationType === "插入") { // 处理新的挂单 processNewOrder(change.fullDocument); } }); // 从特定点恢复（为了容错） constresumeToken=change._id; const changeStream = db.orders.watch([], { 恢复后：恢复令牌， fullDocument: "updateLookup" // 包含有关更新的完整文档 }); ## Spring Data MongoDB 集成 ### 实体类 @Document(集合=“用户”) @数据 @Builder @NoArgs构造函数 @AllArgsConstructor 公共类用户{ @Id 私有字符串 ID； // 映射到_id @Indexed（唯一= true）私人字符串电子邮件；私有字符串名称； @Field("password_hash") // 自定义字段名称私有字符串密码哈希； @DBRef // 引用另一个集合私有列表角色；私人地址地址； // 嵌入文档私有列表标签； @创建日期私有 LocalDateTime 创建于； @最后修改日期私有 LocalDateTime 更新时间； @版本私人长版； // 乐观锁 } @数据公开课地址{ 私人弦街；私人字符串城市；私有字符串邮政编码； @GeoSpatialIndexed（类型= GeoSpatialIndexType.GEO_2DSPHERE）私有 GeoJsonPoint 位置； } ### 存储库接口公共接口 UserRepository 扩展 MongoRepository { // 派生查询可选<用户> findByEmail(字符串电子邮件); List<用户> findByNameContainingIgnoreCase(字符串名称); List<用户> findByTagsContaining(字符串标签); // 使用@Query 自定义查询 @Query("{ 'createdAt': { $gte: ?0 }, '状态': '活动' }") List<用户> findActiveUsersCreatedAfter(LocalDateTime 日期); // 投影 @Query(value = "{ 'email': ?0 }", fields = "{ 'name': 1, 'email': 1 }") 可选 findSummaryByEmail(String email); // 聚合 @Aggregation（管道= { "{ $match: { 'status': 'active' } }", "{ $group: { _id: '$country', 计数: { $sum: 1 } } }", “{$排序：{计数：-1}}” }) List getActiveUsersByCountry(); // 地理空间查询 List findByAddressLocationNear(点位置, Distance 距离); } ### 用于复杂查询的 MongoTemplate @服务 @RequiredArgsConstructor 公共类用户服务{ 私有最终 MongoTemplate mongoTemplate; 公共列表 <用户> searchUsers(UserSearchCriteria criteria) { 查询查询 = new Query(); if (criteria.getName() != null) { query.addCriteria(Criteria.where("名称") .regex(criteria.getName(), "i")); } if (criteria.getTags() != null && !criteria.getTags().isEmpty()) { query.addCriteria(Criteria.where("标签") .in(criteria.getTags())); } if (criteria.getCreatedAfter() != null) { query.addCriteria(Criteria.where("createdAt") .gte(criteria.getCreatedAfter())); } query.with(Sort.by(Sort.Direction.DESC, "createdAt")); query.with(PageRequest.of(criteria.getPage(), criteria.getSize())); 返回 mongoTemplate.find(query, User.class); } 公共 AggregationResults getUserStatsByStatus() { 聚合聚合 = Aggregation.newAggregation( Aggregation.match(Criteria.where("createdAt") .gte(LocalDateTime.now().minusMonths(1))), 聚合.group("状态") .count().as("计数") .avg("loginCount").as("avgLogins"), Aggregation.sort(Sort.Direction.DESC, "计数") ）； return mongoTemplate.aggregate(聚合, "用户", UserStats.class); } 公共无效bulkUpdateStatus（列表<字符串> userIds，字符串newStatus）{ 批量操作bulkOps = mongoTemplate.bulkOps( BulkOperations.BulkMode.UNORDERED，User.class); for (String userId : userIds) { 查询 query = Query.query(Criteria.where("_id").is(userId)); 更新 update = Update.update("status", newStatus) .currentDate("更新时间"); bulkOps.updateOne（查询，更新）； } 批量操作.execute(); } } ## 性能优化 ### 连接池 // Spring启动配置春天：数据：蒙戈数据库： uri: mongodb://localhost:27017/mydb auto-index-creation: false # 在生产中手动创建索引 # 连接池设置（通过 URI） # mongodb://localhost:27017/mydb?maxPoolSize=50&minPoolSize=10&maxIdleTimeMS=30000 ### 查询优化 // 使用投影来限制返回的字段 db.users.find({ status: "active" }, { name: 1, email: 1 }) // 使用hint强制指定索引 db.users.find({ status: "active" }).hint({ status: 1,createdAt: -1 }) // 限制分页结果 db.users.find().sort({createdAt: -1 }).skip(20).limit(10) // 对于缺失字段使用 $exists: false （可以使用索引） db.users.createIndex({ 可选字段: 1 }, { 稀疏: true }) db.users.find({ 可选字段: { $exists: true } }) ### 架构优化 // 避免使用大数组（限制在合理的大小） // 对时间序列数据使用分桶模式 { _id: "传感器1_2024-01-15", 传感器ID：“传感器1”，日期: ISODate("2024-01-15"), 读数：[ { ts: ISODate("..."), 值: 23.5 }, { ts: ISODate("..."), 值: 24.1 }, // ...每个桶最多 N 个读数 ], count: 288 // 满桶检测的跟踪计数 } // 预聚合用于报告 { _id：“stats_2024-01”，月份：“2024-01”，订单总数：1523，总收入：152300.50，平均订单价值：100.00，顶部产品：[“SKU001”、“SKU002”、“SKU003”] } ## 最佳实践 ### 1\.架构设计 // 嵌入时：数据一起查询，有界数组 // 引用时：无界数组、多对多、独立访问 // 对经常访问的字段使用扩展引用模式 ### 2\.索引 // 为查询模式创建索引，而不仅仅是字段 // 使用遵循ESR规则的复合索引 // 监控慢查询： db.setProfilingLevel(1, { Slowms: 100 }) // 避免单独索引低基数字段 ### 3\.写操作 // 使用批量操作进行多次写入 // 避免数组无限增长 // 使用适合持久性需求的写关注 db.orders.insertOne(doc, { writeConcern: { w: "多数" } }) ### 4\.读操作 // 始终使用投影来限制返回的数据 // 使用explain()来验证索引的使用情况 // 优先选择聚合而不是多个查询 // 使用读取首选项来扩展读取 db.orders.find().readPref("secondaryPreferred") ### 5\.连接管理 // 使用连接池 // 设置适当的池大小（默认值：100） // 使用重试逻辑处理连接错误 // 关闭时正确关闭连接 ## 常见陷阱 **无限数组增长**： // 不好：评论数组永远增长 { _id: "post1", comments: [...数千条评论...] } // 好：带有引用的单独集合 { _id: "comment1", postId: "post1", text: "..." } **缺少索引**： // 始终为查询模式创建索引 // 使用explain()检查 - 寻找COLLSCAN（不好） db.users.find({ email: "..." }).explain() **过度索引**： // 每个索引都会增加写入开销 // 仅查询中使用的索引字段 // 监控索引使用情况: db.users.aggregate([{ $indexStats: {} }]) ## 资源 * **MongoDB 文档** : * **MongoDB 大学** : * **架构设计模式**： * **聚合参考**： * **Spring Data MongoDB** : ## 相关技能使用 MongoDB 时，请考虑以下补充技能： * **spring-boot** ：Java 框架与 Spring Data MongoDB 集成 * **docker** ：在容器中运行 MongoDB * **nodejs** : MongoDB 与 Mongoose ODM * **聚合管道**：高级分析模式

蒙古数据库

包含技能