Ampio ny vidin'ny MongoDB amin'ny 79% amin'ny fanatsarana Shape-First

Ny

Protect your database from future fires to avoid high-scale capital loss at your Series A stage

Ny

Miaro ny angon-drakitra anao amin'ny afo amin'ny hoavy mba hisorohana ny fahaverezan'ny vola avo lenta amin'ny dingana Series A

---

Disclaimer: The following is a fictional case study used to communicate best practices for MongoDB schema design, performance tuning, and cost optimization

---

Ny andro nahatongavan'ny baiko nokleary

Ny antso dia tonga amin'ny2:17Ny

Ny Atlas dia nahatonga ny famokarana cluster tsy ara-drariny iray hafa izay niterakaM60Ny milina amin'ny vidiny isam-bolana$15kTiany ho fantatra ny antony nahatonga ny fandoroana niakatra tamin'ny 20% raha M60 dia miasa toy ny lafo vidy.$15 k/monthNy rafitra.

I opened the profiler:

db.system.profile.aggregate([
  { $match: { millis: { $gt: 100 } } },
  { $group: {
      _id: { op: "$op", ns: "$ns", query: "$command.filter" },
      n: { $sum: 1 },
      avgMs: { $avg: "$millis" }
  }},
  { $sort: { n: -1 } }, { $limit: 10 }
]).pretty();

Ny widget dashboard tsirairay dia nangatahana ny mpanohitra mba handroso amin'ny total1.7 GBNy habetsaky ny fampiasana fahatsiarovana no namorona ny tendrombohitra tao amin'ny grafika izay nahatsikaritra an'i Everest.

Ny mpizara M30 amin'izao fotoana izao dia miasa amin'ny iray amin'ireto clusters ireto. Ny vahaolana dia tsy miteraka fitomboan'ny fako.shape crimesNisy tao amin'ny codebase talohan'ny fanesorana.

---

Fanadihadiana momba ny heloka bevava

2.1 N + 1 Tezitra Tsunami

Izany dia fantatra amin'ny anarana hoe anti-pattern—raha ny fametrahana vondrona iray amin'ny baiko dia mitaky ny hanatanterahana fanontaniana samihafa N mba hahazoana andininy baiko.

// Incorrect:  Orders   +   1 000 extra queries
const orders = await db.orders.find({ userId }).toArray();
for (const o of orders) {
  o.lines = await db.orderLines.find({ orderId: o._id }).toArray();
}

Hidden taxes

Mitara Fa nahoana no miteraka 1 000 cursors = 1 000 context switches Storage I/O 1 000 index walks + 1 000 doc deserializations Network Ny dingana tsirairay dia mihinana ~1 ms RTT + TLS handshake overheadMitondra ny antony mahatonga ny spikesNyNy

Ny solosaina

Ny

1 000 cursors = 1 000 fifanakalozan-kevitra

NyNyNyNy

Ny fametrahana ny I / O

Ny

1 000 mpandehandeha index + 1 000 deserializations dok

NyNy tambajotra tsirairay dia mihinana ~1 ms RTT + TLS handshake overheadMitondra ny antony mahatonga ny spikesNy

Ny metatra

Ny metatra

Ny

Nahoana no miteraka

Nahoana no miteraka

NyNy solosainaNyNy

1 000 cursors = 1 000 fifanakalozan-kevitra

Ny

Ny solosaina

Compute

Ny

1 000 cursors = 1 000 fifanakalozan-kevitra

1 000 cursors = 1 000 context switches

NyNy fametrahana ny I / ONy1 000 mpandehandeha index + 1 000 deserializations dokNyNy

Ny fametrahana ny I / O

Storage I/O

1 000 mpandehandeha index + 1 000 deserializations dok

1 000 mpandehandeha index + 1 000 deserializations dok

Ny tambajotra tsirairay dia mihinana ~1 ms RTT + TLS handshake overheadNy tambajotra

Network

Ny

Isaky ny fialan-tsasatra dia mihinana ~1 ms RTT + TLS handshake overhead

Isaky ny fialan-tsasatra dia mihinana ~1 ms RTT + TLS handshake overhead

Refactor (4 lines):

// Success: Single round‑trip, 1 read unit per order
db.orders.aggregate([
  { $match: { userId } },
  { $lookup: {
      from: "orderLines",
      localField: "_id",
      foreignField: "orderId",
      as: "lines"
  }},
  { $project: { lines: 1, total: 1, ts: 1 } }
]);

Nihena ny fahatarana p95 avy amin'ny 2300 ms ho 160 ms.

2 300 eo ho eo160 taona

Ao amin'ny Reading-ops101 → 1.Izany dia 99% - tsy ilaina ny code coupon.

---

Ny fampiasana ny Unbounded Query Firehose

“Fa tsy maintsy mampiseho ny tantaran'ny tsindrio feno izahay!”

Mazava ho azy fa tsy amin'ny tsindry iray ihany.

// Failure: Streams 30 months of data through the API gateway
db.events.find({ userId }).toArray();

Fix: hard-cap ny batch sy ny tetikasa fotsiny ny sehatra izay manolotra.

db.events.find(
  { userId, ts: { $gte: ISODate(new Date() - 1000*60*60*24*30) } },
  { _id: 0, ts: 1, page: 1, ref: 1 }     // projection
).sort({ ts: -1 }).limit(1_000);

Avy eo dia avelao ny Mongo mamonjy ny rantsan-tananao:

// 90‑day sliding window
db.events.createIndex({ ts: 1 }, { expireAfterSeconds: 60*60*24*90 });

Ny mpanjifa iray amin'ny fintech dia namoaka ny vidiny amin'ny fitehirizana 72 isan-jato tamin'ny alina amin'ny alàlan'ny fampidirana TTLs.

---

2.3 Jumbo-Document vola pit

Mongo manapaka ny antontan-taratasy amin'ny 16 MB, fa na inona na inona mihoatra noho ny 256 KB dia renivohiny.

{
  "_id": "...",
  "type": "invoice",
  "customer": { /* 700 kB */ },
  "pdf": BinData(0,"..."),        // 4 MB binary
  "history": [ /* 1 200 delta rows */ ],
  "ts": ISODate()
}

Why it hurts

Ny
1. Ny dokotera manontolo dia voasoratra amin'ny pejy, na dia mamaky sehatra iray aza ianao.
2. Ny WiredTiger dia tsy afaka mitahiry dokam-barotra maro isaky ny pejy → ambany ny tahan'ny hitany amin'ny cache.
Ny

3. Index entries are huge → bloom filter misses → more disk seeks.

   
   

Ny

SolutionNy :schema‑by‑access‑pattern:

graph TD
  Invoice[(invoices<br/>&lt;2 kB)] -->|ref| Hist[history<br/>&lt;1 kB * N]
  Invoice -->|ref| Bin[pdf‑store (S3/GridFS)]

Ny metas amin'ny faktiora kely dia mitoetra; Ny BLOBS ao amin'ny S3 dia mandoa $ 0,023 / GB-taona fa tsy ny NAND-grade Atlas SSDs.

---

Four More Shape Crimes You’re Probably Guilty Of

1. Low‑cardinality index head ({ type: 1, ts: -1 })—re‑order it to { userId: 1, ts: -1 }.
Ny
2. $regex dia manomboka amin'ny sehatra tsy voamarina - fanadihadiana amin'ny string avy amin'ny afobe.
3. findOneAndUpdate seat—document‐level locking bottleneck; mampiasa Redis/Kafka.
Ny
4. skip + large offset pagination—Mongo must count every skipped doc; switch to range (ts, _id) cursors.

---

Ny anatomy amin'ny vidiny 101

“Fa ny Atlas milaza fa lafo ny famakiana!”

Aoka isika hanao ny matematika.

NyReads (3 k/s) 7.8 B $0.09 / M $702NyNyNyNyNyNyNyNyNy

Ny metaly	Ny lanjany	Ny vidin'ny	Monthly cost
Ny vokatra (150 / s)	380 M	Ny $0.225 / M	Ny $86
Data transfer	Ny 1.5 TB	$0.25 / GB	$375
Storage (2 TB)		Ny vidiny dia 0.24 / GB.	Ny $480

Metric Value Unit Cost Ny vidiny isam-bolanaNyReads (3 k/s) 7.8 B $0.09 / M $702NyManoratra (150 / s) 380 M $0.225 / M $86NyNy fandefasana angon-drakitra 1.5 TB $0.25 / GB $375NyNyNy fitehirizana dia 2 TB.Ny

NyNy

Ny vidiny dia 0.24 / GB.

NyNy vola 480.NyMetric Value Unit Cost Ny vidiny isam-bolanaNy metaly

Ny metaly

Ny lanjany

Ny lanjany

Ny

Ny vidin'ny

Ny vidin'ny

Ny vidiny isam-bolana

Ny vidiny isam-bolana

Reads (3 k/s) 7.8 B $0.09 / M $702Mifototra amin'ny 3 k/s

Mifototra amin'ny 3 k/s

Ny

8 B ny

7.8 B

Ny

$0.09 / M

Ny vidiny dia 0.09 / m.

Ny

$702

$702

Manoratra (150 / s) 380 M $0.225 / M $86Ny vokatra (150 / s)

Ny vokatra (150 / s)

380 metatra

380 metatra

Ny

Ny vidiny dia 0.225 / m.

Ny vidiny dia 0.225 / m.

Ny

$86

$86

Ny fandefasana angon-drakitra 1.5 TB $0.25 / GB $375

Ny famindrana

Ny famindrana

Ny

1.5 TB

Ny habetsaky ny 1.5 TB

Ny vidiny dia 0.25 / GB.

Ny vidiny dia 0.25 / GB.

Ny

$375

$375

NyNy fitehirizana dia 2 TB.NyNyNyNy

Ny vidiny dia 0.24 / GB.

NyNy vola 480.NyNy fitehirizana dia 2 TB.

Ny fitehirizana dia 2 TB.

Ny

Ny vidiny dia 0.24 / GB.

Ny vidiny dia 0.24 / GB.

Ny vola 480.

$480

Ny manontolo:$1,643.

Ampiasao ny fikarakarana:

Ny
• Ny vidiny dia mihena 70 % → $210
Ny
• Ny fandoavam-bola dia mihena 80% → $ 75
Ny
• Ny fitehirizana dia mihena 60% → $192
Ny

New bill: $564. That’s one mid‑level engineer Aryfitaterana ho any amin'ny Q4 - ianao no misafidy.

---

48-hour Rescue Sprint (fandresena ny fotoana)

Ny42Akaza niteraka an'i Jarà; Jarà niteraka an'i Alamata, Azmota ary Zamrì; Zamrì niteraka an'i Alamata, Azmota ary Zamrì; Zamrì niteraka an'i Mosà.Fandresena ny Hour Action ToolNy0‐2 Turn on profiler (slow = 50). Mongo shell Surface top 10 slow ops.2‐6 Manoratra indray ny N + 1 ho any amin'ny $lookup. VS Code + Jest dia manandrana 90% latsaky ny famakiana.6‐10 Ampidiro ny famantarana sy ny fetra amin'ny finds tsy voafetra. API layer RAM tsy tapaka; API 4x haingana kokoa.Ny10‐16 Break jumbo docs → metas + GridFS/S3. Scripted ETL Working set mifanaraka amin'ny RAM.Ny16‐22 Tsindrio / miova ny indices ambany-cardinality. Compass Disk mihena; hits ny cache ↑.NyNy22‐30 Mamorona TTLs, tahirin-tsakafo tahirin-tsakafo isan-taona, mamela ny Online Archive. Atlas UI 60 % ny fitehirizana voavonjy.NyNyNy

30 ny 36

Ny

Add Grafana panels: cache hit %, scan:ix ratio, eviction rate.

Ny Prometheus

Ny fampitandremana haingana.Ny36 - 48 taona Load‐test amin'ny k6 k6 + Atlas metrics NyConfirm p95 < 150 ms @ 2× loading.NyFandresena ny Hour Action ToolNy

Ny ora

Ny ora

Action

Ny hetsika

Ny

Ny fitaovana

Ny fitaovana

Ny

Ny fandresena

Ny fandresena

0‐2 Turn on profiler (slow = 50). Mongo shell Surface top 10 slow ops.0 ny 2

0 ny 2

Ny

Miverina amin'ny profil (slows = 50)

Turn on profiler (slowms = 50Ny

Ny Shell

Ny Shell

Ny Surface Top 10 dia miakatra amin'ny fotoana fohy.

Ny Surface Top 10 dia miakatra amin'ny fotoana fohy.

Ny2 ny 6

Rewrite N + 1 into $lookup.

NyVS Code + Jest fanandramana90 isanjaton'ny olona tsy mahazo mamaky.2 ny 6

2 ny 6

Manoratra indray ny N + 1 ao amin'ny $lookup.

Rewrite N + 1 into $lookup.

VS Code + Jest tests

VS Code + Jest fanandramana

Ny

90 isanjaton'ny olona tsy mahazo mamaky.

90 isanjaton'ny olona tsy mahazo mamaky.

6‐10 Ampidiro ny famantarana sy ny fetra amin'ny finds tsy voafetra. API layer RAM tsy tapaka; API 4x haingana kokoa.Ny

6 ny 10

6‑10

Ny

Add projections & limit to unbounded finds.

Add projections & limit to unbounded finds.

Ny afo dia

Ny afo dia

RAM tsy tapaka; API 4x haingana kokoa.

RAM tsy tapaka; API 4x haingana kokoa.

Ny faha-16NyAtaovy eo amin'ny jumbo docs → metas + GridFS / S3.Ny famoahana ETLMiasa amin'ny fametrahana ny RAM.NyNy faha-16

10‑16

Ataovy eo amin'ny jumbo docs → metas + GridFS / S3.

Break jumbo docs → metas + GridFS/S3.

Ny famoahana ETL

Ny famoahana ETL

Miasa amin'ny fametrahana ny RAM.

Miasa amin'ny fametrahana ny RAM.

16 ny 22Ny

Drop / hanolo ny ambany-cardinality indices.

Ny Compass

Ny fandehan-javatra dia miovaova; ny fandehan-javatra dia miovaova ↑.Ny

16‑22

16 ny 22

Ny

Drop / hanolo ny ambany-cardinality indices.

Drop / hanolo ny ambany-cardinality indices.

Ny Compass

Compass

Ny

Disk shrinks; cache hits ↑.

Disk shrinks; cache hits ↑.

Ny22‐30 Mamorona TTLs, tahirin-tsakafo tahirin-tsakafo isan-taona, mamela ny Online Archive. Atlas UI 60 % ny fitehirizana voavonjy.22 ny 30

22 ny 30

Ny

Mamorona TTLs, volana-partition cold data, mamela Online Archive.

Create TTLs, month‑partition cold data, enable Online Archive.

Ny Atlas dia

Ny Atlas dia

60 % storage saved.

60 % storage saved.

NyNy

30 ny 36

Add Grafana panels: cache hit %, scan:ix ratio, eviction rate.

Ny Prometheus

Ny fampitandremana haingana.Ny

30‑36

30 ny 36

Ny

Add Grafana panels: cache hit %, scan:ix ratio, eviction rate.

Ampidiro ny grafana: Cache hit %, scan:ix ratio, tahan'ny fanesorana.

Ny Prometheus

Prometheus

Visual early warnings.

Ny fampitandremana haingana.

36 - 48 taona Load‐test amin'ny k6 k6 + Atlas metrics NyConfirm p95 < 150 ms @ 2× loading.

36‑48

36 - 48 taona

Ny

Load‑test with k6

Load‑test with k6

Ny

k6 + Atlas metriky

k6 + Atlas metriky

Ny

Ataovy azo antoka fa p95 < 150 ms @ 2× loading.

Ataovy azo antoka fa p95 < 150 ms @ 2× loading.

---

Tsindrio ny lisitry ny fanaraha-maso - Pin It Above Your Desk

• Largest doc ÷ median > 10? → Refactor.

Ny
• Ny Cursor dia miverina > 1000 docs? → Paginate.
Ny
• TTL eo amin'ny sehatry ny hetsika / fivarotana rehetra? (Eny / Tsy)
Ny

• Any index where cardinality < 10 %? → Drop/re‑order.

Ny
• Profile slowops > 1 % total ops? → Optimize na Cache.

If primary cache hits remain under 90% it is wise to separate collections or add additional RAM memory post fixes.

Place the checklist on your laptop with adhesive glue after laminating it for printing.

---

Nahoana ny Shape Beats Indices?

Ny mpandrindra fanontaniana ao amin'ny MongoDB dia manao fikarohana mifototra amin'ny vidiny eo amin'ny drafitry ny kandidà.

workUnits = ixScans + fetches + sorts + #docs returned

Ny indices dia mampihenaixScansNy endrika ratsy dia inflatesfetchesArysortsIndraindray dia mitovy amin'ny ankamaroan'ny mpitarika. ohatra:

db.logs.find(
  { ts: { $gte: start, $lt: end }, level: "error" }
).sort({ level: 1, ts: -1 });

Ny indices{ level: 1, ts: -1 }Tsy manampy ny Planner mba hisorohana ny antontan-taratasy tsirairay rehefa manampy predicate ho an'ny sehatra tsy voalaza ao amin'ny sehatra array ao amin'ny famaritana. Net vokatra: 20 k famaritana ho an'ny 200 hits. Indices tokony mialoha ny endrika asa amin'ny asa isan'andro.

---

Live Metrics ianao tokony hijery (Grafana PromQL)

# WiredTiger cache hit ratio
(rate(wiredtiger_blockmanager_blocks_read[1m]) /
 (rate(wiredtiger_blockmanager_blocks_read[1m]) +
  rate(wiredtiger_blockmanager_blocks_read_from_cache[1m]))
) < 0.10

Ataovy azo antoka raha > 10 % miala 5 m.

# Docs scanned vs returned
rate(mongodb_ssm_metrics_documents[1m]{state="scanned"}) /
rate(mongodb_ssm_metrics_documents[1m]{state="returned"}) > 100

If you scan 100× more docs than you return, you’re burning money.

---

Hands-On: Thin-Slice Migration Script amin'ny alàlan'ny famerenana

Need to crack a 1‑TB eventsNy fanangonana aoclicksNyviewsNylogins without downtime? Use the double‑write / backfillNy Pattern.

// 1. Add trigger
const changeStream = db.events.watch([], { fullDocument: 'updateLookup' });
changeStream.on('change', ev => {
  const dest = db[`${ev.fullDocument.type}s`];
  dest.insertOne({ ...ev.fullDocument });
});

// 2. Backfill historical in chunks
let lastId = ObjectId("000000...");
while (true) {
  const batch = db.events.find({_id: {$gt: lastId}}).sort({_id: 1}).limit(10_000);
  if (!batch.hasNext()) break;
  const docs = batch.toArray();
  docs.forEach(d => db[`${d.type}s`].insertOne(d));
  lastId = docs[docs.length - 1]._id;
}

Zero downtime, minimal extra storage (thanks to TTL), everyone sleeps.

---

When Sharding Is the Answer

According to the rule of thumb you should shard only if you verify oneIreo fepetra ireo dia mitranga aorian'ny fanatsarana ny angon-drakitrao:

Ny
1. Ny rafitra dia miasa amin'ny rafitra miasa mihoatra ny 80 isan-jato amin'ny RAM, na inona na inona ny fahombiazan'ny fahombiazan'ny cache.

2. The system generates more than 15 thousand operations per second in its peak write performance when using one primary server.

3. Ny lanjanao voalohany dia ny fitazonana ny fihenan'ny faritra maro latsaky ny 70 millisecond satria ny vidin'ny fandoavam-bola avo lenta amin'ny AWS dia tsy mahaliana anao.

The decision should be simple when the conditions do not match these rules.

---

Ny fanadihadiana momba ny raharaha Wrap-Up

NyMetric Before After Δ RAM lany 120 GB 36 GB −70 % Reads/sec 6 700 900 −86 % Storage (hot) 2.1 TB 600 GB −71 % p95 lany 1.9 s 140 ms −92 % Atlas vola / volana $15 284 $3 210 −79 %Metric Before After Δ RAM lany 120 GB 36 GB −70 % Reads/sec 6 700 900 −86 % Storage (hot) 2.1 TB 600 GB −71 % p95 lany 1.9 s 140 ms −92 % Atlas vola / volana $15 284 $3 210 −79 %NyNy metalyNyMialohaNy

Taorian'ny

Ny ΔNyNy

Metric

Ny metaly

Mialoha

Before

Ny

After

Taorian'ny

Ny

Ny Δ

Ny Δ

Ny fametrahana ny RAM dia 120 GB 36 GB −70%

Ny lalan'ny RAM

Ny lalan'ny RAM

Ny

120 GB

120 GB

36 GB amin'ny

36 GB amin'ny

Ny

Ny 70 isan-jato

Ny 70 isan-jato

NyNy mpamaky / SecNyNy 6 700

Ny 900

Ny86 isan-jato nyNy

Ny mpamaky / Sec

Ny mpamaky / Sec

Ny

Ny 6 700

Ny 6 700

Ny 900

Ny 900

86 isan-jato ny

86 isan-jato ny

NyMifototra amin'ny hafananaNy 2 TB

600 GB

71 isan-jato

NyMifototra amin'ny hafanana

Storage (hot)

Ny

Ny 2 TB

Ny 2 TB

Ny faha-600 GB

600 GB

Ny

71 isan-jato

−71 %

NyP95 ny faharetan'nyNyNy 9SNy140 taonaNy

92 isan-jato ny

NyNy

p95 latency

P95 ny faharetan'ny

Ny 9S

1.9 s

140 taona

140 taona

Ny

92 isan-jato ny

92 isan-jato ny

NyNy

Atlas ny vidiny / mo.

Ny vola dia 15 284 dolara.NyNy vola dia 3 210.Ny

79 isan-jato

Ny

Atlas ny vidiny / mo.

Atlas ny vidiny / mo.

Ny vola dia 15 284 dolara.

Ny vola dia 15 284 dolara.

Ny vola dia 3 210.

Ny vola dia 3 210.

79 isan-jato

79 isan-jato

Tsy misy tsikelikely, tsy misy fihenan'ny code lehibe, fotsiny ny fametrahana ny endrika tsy ara-drariny.

---

Tombontsoa ho an'ny tsy fahampian-tsakafo - Debt vs. Death Spiral

Ny fepetra hanome haingana dia manan-danja, fa ny fitazonana asa tsy misy kalitao dia ampahany amin'ny fanangonana trosa tsy ara-drariny. Ny mpamatsy Cloud dia mandoa tombontsoa ho anao izay mandany amin'ny tahan'ny isan-taona 1000% amin'ny trosa tsy nahazoan-dalana. Nanadihady ny karatra fampindramam-bola avo lenta avy amin'ny MongoDB satria izy ireo dia maneho ny heloka bevava dimy izay nianatra izahay. Ny fanesorana ireo trosa ireo ao anatin'ny vanim-potoan'ny sprint amin'izao fotoana izao dia hiteraka tatitra ara-teknika sy ara-bola mahatsikaiky.

Tsy maintsy misokatra ny mombamomba mba hiasa amin'ny$lookupny pistons raha manampy TTL vovoka, ary avy eo mampiasa ny tetikasa amin'ny fomba lean. Ny biraonao sy ny ekipa developer sy ny pager amin'ny 02:17 dia hahazo fialan-tsasatra tsara.

Mandeha amin'ny refactoring ny code mandra-pahatongan'ny manaraka autoescaling zava-nitranga.