Update README.md

README.md

@@ -70,3 +70,106 @@ Dataset: [ViDoRe Benchmark](https://huggingface.co/collections/vidore/vidore-ben
 | ColVintern-1B                                 | 0.9B        | 78.8          | 71.6    | 48.3   | 84.6    | 92.9                    | 88.7   | 89.4       | 95.2                 | 59.6    |
 | Vintern-Embedding-1B                             | 0.9B        | 82.85         | 75.37   | 51.79  | 86.2    | 97.52                   | 93.19  | 93.97      | 97.09                | 67.72   |
 
+## Quickstart: 
+
+```python
+import torch
+from PIL import Image
+from transformers import AutoModel, AutoProcessor
+import matplotlib.pyplot as plt
+
+# ==============================
+# 1. Load Model and Processor
+# ==============================
+model_name = "5CD-AI/Vintern-Embedding-1B"
+
+processor = AutoProcessor.from_pretrained(
+    model_name,
+    trust_remote_code=True
+)
+
+model = AutoModel.from_pretrained(
+    model_name,
+    torch_dtype=torch.bfloat16,       # Use bfloat16 for efficiency
+    low_cpu_mem_usage=True,
+    trust_remote_code=True,
+).eval().cuda()                        # Set model to eval mode and move to GPU
+
+# ==============================
+# 2. Prepare Input Data
+# ==============================
+
+# Images
+images = [Image.open("ex1.jpg"), Image.open("ex2.jpg")]
+batch_images = processor.process_images(images)
+
+# Queries (questions)
+queries = [
+    "Cảng Hải Phòng ở đâu ?",
+    "Phí giao hàng bao nhiêu ?",
+]
+batch_queries = processor.process_queries(queries)
+
+# Text documents
+text_documents = [
+    "Cảng Hải Phòng là một cụm cảng biển tổng hợp cấp quốc gia, lớn thứ 2 ở Việt Nam sau cảng Sài Gòn, là cửa ngõ quốc tế của Việt Nam, nằm tại ba quận Hồng Bàng, Ngô Quyền và Hải An. Bên cạnh đó, cùng tên Cảng Hải Phòng (tiếng Anh: Port of Hai Phong hoặc Hai Phong Port) là một cụm cảng biển thuộc Công ty cổ phần cảng Hải Phòng tại thành phố Hải Phòng, Việt Nam. Đây là một trong hai cảng biển tổng hợp lớn và lâu đời nhất tại Việt Nam, cùng với Công ty Cảng Sài Gòn ở phía Nam.",
+    "Sân bay Chu Lai (tỉnh Quảng Nam) cũng được hãng hàng không giá rẻ Vietjet đề xuất đầu tư nâng cấp 20.000 tỉ đồng theo 3 giai đoạn từ 2020-2025 để đến năm 2025 trở thành Cảng hàng không quốc tế và trở thành trung tâm trung chuyển, vận tải hàng hóa lớn của cả nước theo quy hoạch của Bộ GTVT năm 2015.",
+]
+batch_text_docs = processor.process_docs(text_documents)
+
+# Combine images and text docs for retrieval
+raw_docs = images + text_documents
+
+# ==============================
+# 3. Move Tensors to GPU
+# ==============================
+# Images
+batch_images["pixel_values"] = batch_images["pixel_values"].cuda().bfloat16()
+batch_images["input_ids"] = batch_images["input_ids"].cuda()
+batch_images["attention_mask"] = batch_images["attention_mask"].cuda().bfloat16()
+
+# Queries
+batch_queries["input_ids"] = batch_queries["input_ids"].cuda()
+batch_queries["attention_mask"] = batch_queries["attention_mask"].cuda().bfloat16()
+
+# Text Documents
+batch_text_docs["input_ids"] = batch_text_docs["input_ids"].cuda()
+batch_text_docs["attention_mask"] = batch_text_docs["attention_mask"].cuda().bfloat16()
+
+# ==============================
+# 4. Generate Embeddings
+# ==============================
+with torch.no_grad():
+    image_embeddings = model(**batch_images)
+    query_embeddings = model(**batch_queries)
+    text_docs_embeddings = model(**batch_text_docs)
+
+# ==============================
+# 5. Compute Similarity Scores
+# ==============================
+scores = processor.score_multi_vector(
+    query_embeddings,
+    list(image_embeddings) + list(text_docs_embeddings)
+)
+
+max_scores, max_indices = torch.max(scores, dim=1)
+
+# ==============================
+# 6. Print Results
+# ==============================
+for i, query in enumerate(queries):
+    print("=" * 100)
+    print(f"Query: '{query}'")
+    print(f"Score: {max_scores[i].item()}\n")
+    
+    doc = raw_docs[max_indices[i]]
+    if isinstance(doc, str):
+        print(f"Matched Text Document:\n{doc}\n")
+    else:
+        plt.figure(figsize=(5, 5))
+        plt.imshow(doc)
+        plt.axis("off")
+        plt.show()
+
+```
+