Add combined file for CQADupstackRetrieval for Gemma-Embeddings-v0.8 (#…

…70) * Add Gofer-Embeddings-v0.8 Retrieval Results * Set revision to be external * Fix revision ID * Fix formatting * Fix formatting * Fix formatting * model naming * Update to improved model and results using mteb version 1.21.7 * Update results/google__Gemma-Embeddings-v0.8/d6813d20532a97ea8e30fc285397d5105316511f/model_meta.json Co-authored-by: Kenneth Enevoldsen <[email protected]> * Fix -1 evaluation time * Fix revision hash / model meta data * Update paths to include new Gemma Embedding results. Fix malformed json line. * Add CQADupstackRetrieval combined results file. --------- Co-authored-by: Kenneth Enevoldsen <[email protected]>
embeddings-benchmark · Dec 12, 2024 · 328e0e8 · 328e0e8
1 parent 08dd9ae
commit 328e0e8
Show file tree

Hide file tree

Showing 2 changed files with 160 additions and 1 deletion.
diff --git a/paths.json b/paths.json
@@ -15118,6 +15118,7 @@
     "results/google__Gemma-Embeddings-v0.8/c9c76df8fa92c9f561bee6c61b4f9c13750a661c/CQADupstackGamingRetrieval.json",
     "results/google__Gemma-Embeddings-v0.8/c9c76df8fa92c9f561bee6c61b4f9c13750a661c/HotpotQA.json",
     "results/google__Gemma-Embeddings-v0.8/c9c76df8fa92c9f561bee6c61b4f9c13750a661c/CQADupstackProgrammersRetrieval.json",
+    "results/google__Gemma-Embeddings-v0.8/c9c76df8fa92c9f561bee6c61b4f9c13750a661c/CQADupstackRetrieval.json",
     "results/google__Gemma-Embeddings-v0.8/c9c76df8fa92c9f561bee6c61b4f9c13750a661c/CQADupstackPhysicsRetrieval.json",
     "results/google__Gemma-Embeddings-v0.8/c9c76df8fa92c9f561bee6c61b4f9c13750a661c/CQADupstackWordpressRetrieval.json",
     "results/google__Gemma-Embeddings-v0.8/c9c76df8fa92c9f561bee6c61b4f9c13750a661c/ClimateFEVER.json",
@@ -15134,4 +15135,4 @@
     "results/google__Gemma-Embeddings-v0.8/c9c76df8fa92c9f561bee6c61b4f9c13750a661c/MSMARCO.json",
     "results/google__Gemma-Embeddings-v0.8/c9c76df8fa92c9f561bee6c61b4f9c13750a661c/CQADupstackMathematicaRetrieval.json"
   ]
-}
+}
diff --git a/..._Gemma-Embeddings-v0.8/c9c76df8fa92c9f561bee6c61b4f9c13750a661c/CQADupstackRetrieval.json b/..._Gemma-Embeddings-v0.8/c9c76df8fa92c9f561bee6c61b4f9c13750a661c/CQADupstackRetrieval.json
@@ -0,0 +1,158 @@
+{
+  "dataset_revision": "CQADupstackRetrieval_is_a_combined_dataset",
+  "task_name": "CQADupstackRetrieval",
+  "mteb_version": "1.21.7",
+  "scores": {
+    "test": [
+      {
+        "ndcg_at_1": 0.4020541666666666,
+        "ndcg_at_3": 0.4666908333333333,
+        "ndcg_at_5": 0.4936708333333333,
+        "ndcg_at_10": 0.5218766666666667,
+        "ndcg_at_20": 0.5432208333333334,
+        "ndcg_at_100": 0.5703583333333334,
+        "ndcg_at_1000": 0.5849916666666666,
+        "map_at_1": 0.33820999999999996,
+        "map_at_3": 0.42414833333333335,
+        "map_at_5": 0.44435916666666664,
+        "map_at_10": 0.45972166666666675,
+        "map_at_20": 0.4674225,
+        "map_at_100": 0.4728383333333333,
+        "map_at_1000": 0.47376666666666667,
+        "recall_at_1": 0.33820999999999996,
+        "recall_at_3": 0.5055849999999998,
+        "recall_at_5": 0.5759116666666667,
+        "recall_at_10": 0.6590283333333333,
+        "recall_at_20": 0.7360616666666667,
+        "recall_at_100": 0.8637716666666666,
+        "recall_at_1000": 0.9607316666666664,
+        "precision_at_1": 0.4020541666666666,
+        "precision_at_3": 0.2170416666666667,
+        "precision_at_5": 0.153365,
+        "precision_at_10": 0.09181833333333334,
+        "precision_at_20": 0.053378333333333326,
+        "precision_at_100": 0.013653333333333332,
+        "precision_at_1000": 0.001665,
+        "mrr_at_1": 0.40205325,
+        "mrr_at_3": 0.4771851666666666,
+        "mrr_at_5": 0.4928709166666667,
+        "mrr_at_10": 0.50312025,
+        "mrr_at_20": 0.5079848333333333,
+        "mrr_at_100": 0.5107778333333334,
+        "mrr_at_1000": 0.5111320833333334,
+        "nauc_ndcg_at_1_max": 0.27959433333333333,
+        "nauc_ndcg_at_1_std": -0.051863,
+        "nauc_ndcg_at_1_diff1": 0.512957,
+        "nauc_ndcg_at_3_max": 0.26203025,
+        "nauc_ndcg_at_3_std": -0.06255891666666667,
+        "nauc_ndcg_at_3_diff1": 0.4646831666666667,
+        "nauc_ndcg_at_5_max": 0.2749124166666667,
+        "nauc_ndcg_at_5_std": -0.05559333333333335,
+        "nauc_ndcg_at_5_diff1": 0.4599999166666666,
+        "nauc_ndcg_at_10_max": 0.28059758333333334,
+        "nauc_ndcg_at_10_std": -0.04480933333333333,
+        "nauc_ndcg_at_10_diff1": 0.4566293333333335,
+        "nauc_ndcg_at_20_max": 0.2844583333333333,
+        "nauc_ndcg_at_20_std": -0.03484508333333334,
+        "nauc_ndcg_at_20_diff1": 0.45688449999999997,
+        "nauc_ndcg_at_100_max": 0.28945174999999995,
+        "nauc_ndcg_at_100_std": -0.02521816666666667,
+        "nauc_ndcg_at_100_diff1": 0.4582004166666667,
+        "nauc_ndcg_at_1000_max": 0.28690625,
+        "nauc_ndcg_at_1000_std": -0.02926841666666666,
+        "nauc_ndcg_at_1000_diff1": 0.46183749999999996,
+        "nauc_map_at_1_max": 0.22903666666666667,
+        "nauc_map_at_1_std": -0.08212708333333334,
+        "nauc_map_at_1_diff1": 0.5246739166666666,
+        "nauc_map_at_3_max": 0.24647175000000007,
+        "nauc_map_at_3_std": -0.07754766666666667,
+        "nauc_map_at_3_diff1": 0.4807849166666667,
+        "nauc_map_at_5_max": 0.25908183333333334,
+        "nauc_map_at_5_std": -0.070416,
+        "nauc_map_at_5_diff1": 0.47696650000000007,
+        "nauc_map_at_10_max": 0.2648871666666666,
+        "nauc_map_at_10_std": -0.06285816666666666,
+        "nauc_map_at_10_diff1": 0.47451991666666665,
+        "nauc_map_at_20_max": 0.26760866666666666,
+        "nauc_map_at_20_std": -0.05832466666666664,
+        "nauc_map_at_20_diff1": 0.4743503333333334,
+        "nauc_map_at_100_max": 0.2692709166666667,
+        "nauc_map_at_100_std": -0.055308583333333335,
+        "nauc_map_at_100_diff1": 0.474343,
+        "nauc_map_at_1000_max": 0.26909025,
+        "nauc_map_at_1000_std": -0.05502908333333333,
+        "nauc_map_at_1000_diff1": 0.4744370833333333,
+        "nauc_recall_at_1_max": 0.22903666666666667,
+        "nauc_recall_at_1_std": -0.08212708333333334,
+        "nauc_recall_at_1_diff1": 0.5246739166666666,
+        "nauc_recall_at_3_max": 0.2338484166666667,
+        "nauc_recall_at_3_std": -0.07751666666666666,
+        "nauc_recall_at_3_diff1": 0.4226811666666666,
+        "nauc_recall_at_5_max": 0.26351625,
+        "nauc_recall_at_5_std": -0.056870583333333335,
+        "nauc_recall_at_5_diff1": 0.39880075,
+        "nauc_recall_at_10_max": 0.28123716666666665,
+        "nauc_recall_at_10_std": -0.019335916666666664,
+        "nauc_recall_at_10_diff1": 0.3767715833333334,
+        "nauc_recall_at_20_max": 0.30026233333333335,
+        "nauc_recall_at_20_std": 0.03786475,
+        "nauc_recall_at_20_diff1": 0.3637902499999999,
+        "nauc_recall_at_100_max": 0.38340541666666655,
+        "nauc_recall_at_100_std": 0.19742633333333334,
+        "nauc_recall_at_100_diff1": 0.33567858333333334,
+        "nauc_recall_at_1000_max": 0.4925595,
+        "nauc_recall_at_1000_std": 0.4351984166666667,
+        "nauc_recall_at_1000_diff1": 0.3328621666666666,
+        "nauc_precision_at_1_max": 0.27959433333333333,
+        "nauc_precision_at_1_std": -0.051863,
+        "nauc_precision_at_1_diff1": 0.512957,
+        "nauc_precision_at_3_max": 0.2537675833333333,
+        "nauc_precision_at_3_std": -0.0009907499999999981,
+        "nauc_precision_at_3_diff1": 0.27616416666666666,
+        "nauc_precision_at_5_max": 0.2626798333333334,
+        "nauc_precision_at_5_std": 0.03978466666666666,
+        "nauc_precision_at_5_diff1": 0.19944983333333333,
+        "nauc_precision_at_10_max": 0.23977883333333336,
+        "nauc_precision_at_10_std": 0.09176050000000001,
+        "nauc_precision_at_10_diff1": 0.11407491666666665,
+        "nauc_precision_at_20_max": 0.21376024999999998,
+        "nauc_precision_at_20_std": 0.13474358333333333,
+        "nauc_precision_at_20_diff1": 0.048363750000000004,
+        "nauc_precision_at_100_max": 0.14341025000000002,
+        "nauc_precision_at_100_std": 0.17450875,
+        "nauc_precision_at_100_diff1": -0.056095833333333345,
+        "nauc_precision_at_1000_max": 0.04704733333333333,
+        "nauc_precision_at_1000_std": 0.1305885,
+        "nauc_precision_at_1000_diff1": -0.12969583333333332,
+        "nauc_mrr_at_1_max": 0.27959433333333333,
+        "nauc_mrr_at_1_std": -0.051863,
+        "nauc_mrr_at_1_diff1": 0.512957,
+        "nauc_mrr_at_3_max": 0.28132708333333334,
+        "nauc_mrr_at_3_std": -0.048320916666666665,
+        "nauc_mrr_at_3_diff1": 0.47595641666666677,
+        "nauc_mrr_at_5_max": 0.28779724999999995,
+        "nauc_mrr_at_5_std": -0.04348183333333334,
+        "nauc_mrr_at_5_diff1": 0.47218791666666676,
+        "nauc_mrr_at_10_max": 0.2882275,
+        "nauc_mrr_at_10_std": -0.04052833333333333,
+        "nauc_mrr_at_10_diff1": 0.4715955833333334,
+        "nauc_mrr_at_20_max": 0.2885099166666667,
+        "nauc_mrr_at_20_std": -0.038913500000000004,
+        "nauc_mrr_at_20_diff1": 0.47183975,
+        "nauc_mrr_at_100_max": 0.28868125,
+        "nauc_mrr_at_100_std": -0.03853541666666666,
+        "nauc_mrr_at_100_diff1": 0.47237300000000015,
+        "nauc_mrr_at_1000_max": 0.28862125,
+        "nauc_mrr_at_1000_std": -0.03864533333333334,
+        "nauc_mrr_at_1000_diff1": 0.4724678333333334,
+        "main_score": 0.5218766666666667,
+        "hf_subset": "default",
+        "languages": [
+          "eng-Latn"
+        ]
+      }
+    ]
+  },
+  "evaluation_time": null,
+  "kg_co2_emissions": null
+}