从零开始的OCR-0——基础篇[ViT ／ CLIP]

学习目标：掌握 ViT 的完整流程与维度变化 → 掌握 Patch Embedding、CLS Token、Position Embedding → 掌握 CLIP 双塔架构、对比学习、InfoNCE Loss、Temperature 
难度：⭐⭐⭐ 
重要性：⭐⭐⭐⭐⭐ 
世间万象，本不属于文字的领域。然而，当图像化作 Token，当视觉与语言在同一片识海中产生共鸣……那道横亘于两个世界之间的壁垒，终于出现了裂痕。 

ViT
ViT 的思想十分简单：既然 Transformer 可以处理文本 Token 序列，那么我们能不能把一张图片也转换成 Token 序列，再直接交给 Transformer Encoder？ 
 [image] 
整体流程


输入是一系列图片，每张图片的维度可以理解为 ​[C, H, W]​，​C​是通道...