┌─────────────────────────────────────────────────────────────────────────────────────────┐
│ TEXT-TO-VECTOR-TO-TEXT PIPELINE │
└─────────────────────────────────────────────────────────────────────────────────────────┘
Input Text
"The cat sits on mat"
│
▼
┌───────────────────────┐
│ GTR-T5-Base │
│ Sentence Encoder │
│ (768D vectors) │
└───────────┬───────────┘
│
▼
Original GTR-T5 Vector
[0.1, 0.3, ...]
│
│
┌─────────────────┼─────────────────┐
│ │ │
▼ ▼ ▼
┌─────────────────────┐ DIRECT PATH ┌─────────────────────┐
│ VMMoE │ │ Skip Transform │
│ Transformation │ │ │
│ │ │ │
│ ┌─────────────────┐ │ │ │
│ │ Mamba Encoder │ │ │ │
│ │ (Sequential │ │ │ │
│ │ Processing) │ │ │ │
│ └─────────────────┘ │ │ │
│ │ │ │ │
│ ▼ │ │ │
│ ┌─────────────────┐ │ │ │
│ │ Latent Space │ │ │ │
│ │ Transformation │ │ │ │
│ └─────────────────┘ │ │ │
│ │ │ │ │
│ ▼ │ │ │
│ ┌─────────────────┐ │ │ │
│ │ LoRA/PEFT │ │ │ │
│ │ Fine-tuning │ │ │ │
│ └─────────────────┘ │ │ │
└─────────┬───────────┘ └─────────┬───────────┘
│ │
▼ ▼
VMMoE Transformed Vector Original GTR-T5 Vector
[0.05, 0.7, ...] [0.1, 0.3, ...]
│ │
│ │
┌─────────┼─────────────────────────────────────┼─────────────┐
│ │ │ │
│ ▼ ▼ │
│ │
│ VEC2TEXT RECONSTRUCTION ENGINES │
│ │
│ ┌─────────────────────┐ ┌─────────────────────┐ │
│ │ JXE │ │ IELab │ │
│ │ Vec2Text Model │ │ Vec2Text Model │ │
│ │ │ │ │ │
│ │ ┌─────────────────┐ │ │ ┌─────────────────┐ │ │
│ │ │ Frozen GTR-T5 │ │ │ │ Frozen GTR-T5 │ │ │
│ │ │ Encoder │ │ │ │ Encoder │ │ │
│ │ └─────────────────┘ │ │ └─────────────────┘ │ │
│ │ │ │ │ │ │ │
│ │ ▼ │ │ ▼ │ │
│ │ ┌─────────────────┐ │ │ ┌─────────────────┐ │ │
│ │ │ Inversion Model │ │ │ │ Inversion Model │ │ │
│ │ │ (Transformer) │ │ │ │ (Transformer) │ │ │
│ │ └─────────────────┘ │ │ └─────────────────┘ │ │
│ │ │ │ │ │ │ │
│ │ ▼ │ │ ▼ │ │
│ │ ┌─────────────────┐ │ │ ┌─────────────────┐ │ │
│ │ │ Text Generator │ │ │ │ Text Generator │ │ │
│ │ │ (Iterative) │ │ │ │ (Iterative) │ │ │
│ │ └─────────────────┘ │ │ └─────────────────┘ │ │
│ └─────────┬───────────┘ └─────────┬───────────┘ │
│ │ │ │
│ ▼ ▼ │
│ JXE Reconstructed IELab Reconstructed │
│ Text Text │
└────────────┼─────────────────────────────┼────────────────┘
│ │
▼ ▼
┌─────────────────────────────────────────────────────────────────────────────────────────┐
│ PERFORMANCE RESULTS │
└─────────────────────────────────────────────────────────────────────────────────────────┘
DIRECT PATH (GTR-T5 → Vec2Text)
================================
Original Text → GTR-T5 → JXE Vec2Text
"The cat sits on mat" → [vector] → "random garbage text"
Cosine: 0.47 ❌ BROKEN
Original Text → GTR-T5 → IELab Vec2Text
"The cat sits on mat" → [vector] → "The cat sits on the mat"
Cosine: 0.94 ✅ EXCELLENT
VMMOE PATH (GTR-T5 → VMMoE → Vec2Text)
=====================================
Original Text → GTR-T5 → VMMoE → JXE Vec2Text
"The cat sits on mat" → [vector] → [transformed] → "even worse garbage"
Cosine: <0.30 ❌ VERY POOR
Original Text → GTR-T5 → VMMoE → IELab Vec2Text
"The cat sits on mat" → [vector] → [transformed] → "cat sits mat"
Cosine: 0.36-0.47 ⚠️ DEGRADED
(Varies by checkpoint)
┌─────────────────────────────────────────────────────────────────────────────────────────┐
│ CHECKPOINT COMPATIBILITY │
└─────────────────────────────────────────────────────────────────────────────────────────┘
VMMoE Checkpoint Performance with IELab:
┌──────────────┬─────────────────┬─────────────────┬─────────────────┐
│ Checkpoint │ VMMoE Cosine │ IELab Cosine │ Status │
├──────────────┼─────────────────┼─────────────────┼─────────────────┤
│ v1p25 │ 0.63 │ 0.36 │ Poor Compat │
│ v2p0 │ -0.08 │ 0.47 │ Best Compat │
│ v2p1 │ 0.00 │ 0.46 │ Good Compat │
│ v1p24 │ 0.57 │ 0.42 │ Moderate │
│ v1p23 │ 0.61 │ 0.44 │ Moderate │
└──────────────┴─────────────────┴─────────────────┴─────────────────┘
KEY FINDINGS:
• JXE Vec2Text: Fundamentally broken model (poor even with correct GTR-T5)
• IELab Vec2Text: Production ready for direct GTR-T5 vectors
• VMMoE transforms vectors in ways that break vec2text assumptions
• Different VMMoE checkpoints have vastly different compatibility profiles
• Negative VMMoE cosine doesn't always mean poor vec2text performance
RECOMMENDED USAGE:
Direct Path: GTR-T5 → IELab Vec2Text (0.94 cosine)
VMMoE Path: GTR-T5 → VMMoE v2p0 → IELab Vec2Text (0.47 cosine)
⏺ Bash(say "ASCII art pipeline flow diagram created")
⎿ (No content)
10:01
⏺ Created ASCII art showing the complete vec2text pipeline flow from text through GTR-T5 to both VMMoE and direct paths, then to JXE and IELab vec2text models. The diagram illustrates:
Direct Path Performance:
- GTR-T5 → IELab: 0.94 cosine ✅ (Production ready)
- GTR-T5 → JXE: 0.47 cosine ❌ (Fundamentally broken)
VMMoE Path Performance:
- GTR-T5 → VMMoE → IELab: 0.36-0.47 cosine ⚠️ (Degraded but functional)
- GTR-T5 → VMMoE → JXE: <0.30 cosine ❌ (Very poor)