diff --git a/config/prismjs/dvctable.js b/config/prismjs/dvctable.js index 266e008e6e..1db6373aae 100644 --- a/config/prismjs/dvctable.js +++ b/config/prismjs/dvctable.js @@ -1,9 +1,6 @@ /* eslint-env node */ const Prism = require('prismjs') -const getTableCellBgColorRegex = color => - new RegExp(String.raw`(?<=[│┃])\s+${color}:(?:(?![│┃]).)+(?=[│┃])`) - const getTableTextBgColorRegex = color => new RegExp(String.raw`${color}:\S+`) const boldAndItalicConfig = { @@ -22,39 +19,8 @@ const boldAndItalicConfig = { } Prism.languages.dvctable = { - 'bg-white': { - pattern: getTableCellBgColorRegex('(white|neutral)'), - inside: { - hide: { - pattern: /(white|neutral):/ - }, - ...boldAndItalicConfig - } - }, - 'bg-yellow': { - pattern: getTableCellBgColorRegex('(yellow|metric)'), - inside: { - hide: { - pattern: /(yellow|metric):/ - }, - ...boldAndItalicConfig - } - }, - 'bg-blue': { - pattern: getTableCellBgColorRegex('(blue|param)'), - inside: { - hide: { - pattern: /(blue|param):/ - }, - ...boldAndItalicConfig - } - }, - ...boldAndItalicConfig -} - -Prism.languages.dvctablehorizontals = { rows: { - pattern: /((?<=^|\n)\s[^─][\s\S]*?(:?\n|$))+/, + pattern: /((?<=^|\n)[^─]{2}[\s\S]*?(:?\n|$))+/, inside: { 'bg-white': { pattern: getTableTextBgColorRegex('(white|neutral)'), diff --git a/content/blog/2021-07-19-hyperparam-tuning.md b/content/blog/2021-07-19-hyperparam-tuning.md index aaad659a87..0158de5793 100644 --- a/content/blog/2021-07-19-hyperparam-tuning.md +++ b/content/blog/2021-07-19-hyperparam-tuning.md @@ -114,13 +114,13 @@ run `dvc exp show` without the options to see the entire table._ This will produce a table similar to this. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**avg_prec** ┃ metric:**roc_auc** ┃ param:**train.min_split** ┃ param:**train.n_est** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━┩ -│ **workspace** │ **0.51682** │ **0.93819** │ **175** │ **64** │ -│ **master** │ **0.56447** │ **0.94713** │ **100** │ **64** │ -│ └── a1e8716 [exp-09074] │ 0.57333 │ 0.94801 │ 100 │ 32 │ -└─────────────────────────┴──────────┴─────────┴─────────────┴─────────────────┘ + ────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**avg_prec** metric:**roc_auc** param:**train.min_split** param:**train.n_est** + ────────────────────────────────────────────────────────────────────────────── + **workspace** **0.51682** **0.93819** **175** **64** + **master** **0.56447** **0.94713** **100** **64** + └── a1e8716 [exp-09074] 0.57333 0.94801 100 32 + ────────────────────────────────────────────────────────────────────────────── ``` ### Start tuning with grid search @@ -196,25 +196,25 @@ included the `--include-params` and `--no-timestamp` options to give us a table that's easier to read. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**avg_prec** ┃ metric:**roc_auc** ┃ param:**train.min_split** ┃ param:**train.n_est** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━┩ -│ **workspace** │ **0.67038** │ **0.96693** │ **64** │ **100** │ -│ **try-large-dataset** │ **0.67038** │ **0.96693** │ **64** │ **100** │ -│ ├── 4899d41 [exp-ae5ed] │ 0.6888 │ 0.97028 │ 8 │ 250 │ -│ ├── bcdd8ed [exp-56613] │ 0.68733 │ 0.96773 │ 16 │ 250 │ -│ ├── 703f20b [exp-caa84] │ 0.68942 │ 0.9698 │ 32 │ 250 │ -│ ├── 1a882e6 [exp-c208f] │ 0.681 │ 0.96772 │ 64 │ 250 │ -│ ├── 3ac33fb [exp-4c53e] │ 0.67775 │ 0.96664 │ 128 │ 250 │ -│ ├── ea90ee0 [exp-fdb47] │ 0.65382 │ 0.96719 │ 256 │ 250 │ -│ ├── b8277b1 [exp-3fb5c] │ 0.68547 │ 0.97011 │ 8 │ 300 │ -│ ├── 7be641e [exp-3bbbc] │ 0.6883 │ 0.96724 │ 16 │ 300 │ -│ ├── 4202757 [exp-38ca4] │ 0.68808 │ 0.96968 │ 32 │ 300 │ -│ ├── b71ee2f [exp-5384b] │ 0.68111 │ 0.96848 │ 64 │ 300 │ -│ ├── 1bbb0f4 [exp-f5d54] │ 0.67707 │ 0.96753 │ 128 │ 300 │ -│ ├── 71ba159 [exp-31749] │ 0.65282 │ 0.96752 │ 256 │ 300 │ -│ ├── 836c1c5 [exp-2ce0a] │ 0.68758 │ 0.96998 │ 8 │ 350 │ -│ ├── dac9e22 [exp-5c799] │ 0.68778 │ 0.96779 │ 16 │ 350 │ + ────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**avg_prec** metric:**roc_auc** param:**train.min_split** param:**train.n_est** + ────────────────────────────────────────────────────────────────────────────── + **workspace** **0.67038** **0.96693** **64** **100** + **try-large-dataset** **0.67038** **0.96693** **64** **100** + ├── 4899d41 [exp-ae5ed] 0.6888 0.97028 8 250 + ├── bcdd8ed [exp-56613] 0.68733 0.96773 16 250 + ├── 703f20b [exp-caa84] 0.68942 0.9698 32 250 + ├── 1a882e6 [exp-c208f] 0.681 0.96772 64 250 + ├── 3ac33fb [exp-4c53e] 0.67775 0.96664 128 250 + ├── ea90ee0 [exp-fdb47] 0.65382 0.96719 256 250 + ├── b8277b1 [exp-3fb5c] 0.68547 0.97011 8 300 + ├── 7be641e [exp-3bbbc] 0.6883 0.96724 16 300 + ├── 4202757 [exp-38ca4] 0.68808 0.96968 32 300 + ├── b71ee2f [exp-5384b] 0.68111 0.96848 64 300 + ├── 1bbb0f4 [exp-f5d54] 0.67707 0.96753 128 300 + ├── 71ba159 [exp-31749] 0.65282 0.96752 256 300 + ├── 836c1c5 [exp-2ce0a] 0.68758 0.96998 8 350 + ├── dac9e22 [exp-5c799] 0.68778 0.96779 16 350 ``` Now you can see how your precision changed with each hyperparameter value @@ -265,21 +265,21 @@ look at the results with table should look something like this. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**avg_prec** ┃ metric:**roc_auc** ┃ param:**train.min_split** ┃ param:**train.n_est** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━┩ -│ **workspace** │ **0.67038** │ **0.96693** │ **64** │ **100** │ -│ **try-large-dataset** │ **0.67038** │ **0.96693** │ **64** │ **100** │ -│ ├── fc28c0c [exp-45902] │ 0.68358 │ 0.96956 │ 64 │ 466 │ -│ ├── f13ac72 [exp-b9dfa] │ 0.68275 │ 0.96914 │ 64 │ 444 │ -│ ├── a8cbc8f [exp-b0aeb] │ 0.68989 │ 0.97003 │ 32 │ 260 │ -│ ├── 4791c52 [exp-5f2b5] │ 0.67711 │ 0.96809 │ 128 │ 497 │ -│ ├── c5398e0 [exp-86c74] │ 0.6811 │ 0.96829 │ 64 │ 374 │ -│ ├── db16c91 [exp-db50f] │ 0.68986 │ 0.97073 │ 32 │ 485 │ -│ ├── 2dd08fa [exp-fee4f] │ 0.68262 │ 0.96941 │ 64 │ 497 │ -│ ├── 18d2ec5 [exp-d73c7] │ 0.67696 │ 0.96726 │ 128 │ 341 │ -│ ├── 1710032 [exp-dd198] │ 0.68756 │ 0.9687 │ 16 │ 478 │ -│ ├── 4f0b80a [exp-746c1] │ 0.68724 │ 0.96811 │ 16 │ 379 │ + ────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**avg_prec** metric:**roc_auc** param:**train.min_split** param:**train.n_est** + ────────────────────────────────────────────────────────────────────────────── + **workspace** **0.67038** **0.96693** **64** **100** + **try-large-dataset** **0.67038** **0.96693** **64** **100** + ├── fc28c0c [exp-45902] 0.68358 0.96956 64 466 + ├── f13ac72 [exp-b9dfa] 0.68275 0.96914 64 444 + ├── a8cbc8f [exp-b0aeb] 0.68989 0.97003 32 260 + ├── 4791c52 [exp-5f2b5] 0.67711 0.96809 128 497 + ├── c5398e0 [exp-86c74] 0.6811 0.96829 64 374 + ├── db16c91 [exp-db50f] 0.68986 0.97073 32 485 + ├── 2dd08fa [exp-fee4f] 0.68262 0.96941 64 497 + ├── 18d2ec5 [exp-d73c7] 0.67696 0.96726 128 341 + ├── 1710032 [exp-dd198] 0.68756 0.9687 16 478 + ├── 4f0b80a [exp-746c1] 0.68724 0.96811 16 379 ``` This shows the difference in the randomly selected values and the values from diff --git a/content/blog/2021-08-24-transfer-learning-experiments.md b/content/blog/2021-08-24-transfer-learning-experiments.md index 0ec3e4bdb0..8396deab7f 100644 --- a/content/blog/2021-08-24-transfer-learning-experiments.md +++ b/content/blog/2021-08-24-transfer-learning-experiments.md @@ -166,17 +166,17 @@ $ dvc exp show You'll see a table similar to this. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**step** ┃ metric:**acc** ┃ metric:**loss** ┃ metric:**training_time** ┃ metric:**val_acc** ┃ metric:**val_loss** ┃ param:**lr** ┃ param:**momentum** ┃ param:**model_name** ┃ param:**num_classes** ┃ param:**batch_size** ┃ param:**num_epochs** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━┩ -│ **workspace** │ - │ **4** │ **0.92623** │ **0.19567** │ **229.18** │ **0.9085** │ **0.25145** │ **0.001** │ **0.09** │ **alexnet** │ **2** │ **8** │ **5** │ -│ **main** │ **01:58 PM** │ - │ - │ - │ - │ - │ - │ **0.001** │ **0.09** │ **alexnet** │ **2** │ **8** │ **5** │ -│ │ ╓ bf81637 [exp-a1f53] │ 02:05 PM │ 4 │ 0.92623 │ 0.19567 │ 229.18 │ 0.9085 │ 0.25145 │ 0.001 │ 0.09 │ alexnet │ 2 │ 8 │ 5 │ -│ │ ╟ 9ca3fb8 │ 02:04 PM │ 3 │ 0.89344 │ 0.27423 │ 178.34 │ 0.90196 │ 0.26965 │ 0.001 │ 0.09 │ alexnet │ 2 │ 8 │ 5 │ -│ │ ╟ a34ead1 │ 02:03 PM │ 2 │ 0.87295 │ 0.29018 │ 127.36 │ 0.9085 │ 0.2796 │ 0.001 │ 0.09 │ alexnet │ 2 │ 8 │ 5 │ -│ │ ╟ ae382c7 │ 02:02 PM │ 1 │ 0.89754 │ 0.26993 │ 76.419 │ 0.89542 │ 0.31113 │ 0.001 │ 0.09 │ alexnet │ 2 │ 8 │ 5 │ -│ ├─╨ a95260d │ 02:01 PM │ 0 │ 0.73361 │ 0.5271 │ 25.71 │ 0.86928 │ 0.36408 │ 0.001 │ 0.09 │ alexnet │ 2 │ 8 │ 5 │ -└─────────────────────────┴──────────┴──────┴─────────┴─────────┴───────────────┴─────────┴──────────┴───────┴──────────┴────────────┴─────────────┴────────────┴────────────┘ + ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**step** metric:**acc** metric:**loss** metric:**training_time** metric:**val_acc** metric:**val_loss** param:**lr** param:**momentum** param:**model_name** param:**num_classes** param:**batch_size** param:**num_epochs** + ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + **workspace** - **4** **0.92623** **0.19567** **229.18** **0.9085** **0.25145** **0.001** **0.09** **alexnet** **2** **8** **5** + **main** **01:58 PM** - - - - - - **0.001** **0.09** **alexnet** **2** **8** **5** + │ ╓ bf81637 [exp-a1f53] 02:05 PM 4 0.92623 0.19567 229.18 0.9085 0.25145 0.001 0.09 alexnet 2 8 5 + │ ╟ 9ca3fb8 02:04 PM 3 0.89344 0.27423 178.34 0.90196 0.26965 0.001 0.09 alexnet 2 8 5 + │ ╟ a34ead1 02:03 PM 2 0.87295 0.29018 127.36 0.9085 0.2796 0.001 0.09 alexnet 2 8 5 + │ ╟ ae382c7 02:02 PM 1 0.89754 0.26993 76.419 0.89542 0.31113 0.001 0.09 alexnet 2 8 5 + ├─╨ a95260d 02:01 PM 0 0.73361 0.5271 25.71 0.86928 0.36408 0.001 0.09 alexnet 2 8 5 + ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── ``` Now let's update the hyperparameters and run another experiment. There are @@ -211,22 +211,22 @@ note that we continue training additional epochs on top of your previous experiment. You'll see what it takes to start training from scratch later. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**step** ┃ metric:**acc** ┃ metric:**loss** ┃ metric:**training_time** ┃ metric:**val_acc** ┃ metric:**val_loss** ┃ param:**lr** ┃ param:**momentum** ┃ param:**model_name** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━┩ -│ **workspace** │ **9** │ **0.91803** │ **0.27989** │ **228.59** │ **0.82353** │ **0.69077** │ **0.009** │ **0.017** │ **alexnet** │ -│ **main** │ **-** │ **-** │ **-** │ **-** │ **-** │ **-** │ **0.001** │ **0.09** │ **alexnet** │ -│ │ ╓ 2361cff [exp-c0b11] │ 9 │ 0.91803 │ 0.27989 │ 228.59 │ 0.82353 │ 0.69077 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ 7686d2f │ 8 │ 0.90984 │ 0.23496 │ 177.65 │ 0.87582 │ 0.50887 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ 671f8cd │ 7 │ 0.88934 │ 0.39237 │ 126.7 │ 0.86928 │ 0.47856 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ ea1bf61 │ 6 │ 0.84836 │ 0.4195 │ 75.834 │ 0.91503 │ 0.30885 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ a9f8dab (bf81637) │ 5 │ 0.79508 │ 0.72891 │ 25.219 │ 0.66667 │ 1.0311 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╓ bf81637 [exp-a1f53] │ 4 │ 0.92623 │ 0.19567 │ 229.18 │ 0.9085 │ 0.25145 │ 0.001 │ 0.09 │ alexnet │ -│ │ ╟ 9ca3fb8 │ 3 │ 0.89344 │ 0.27423 │ 178.34 │ 0.90196 │ 0.26965 │ 0.001 │ 0.09 │ alexnet │ -│ │ ╟ a34ead1 │ 2 │ 0.87295 │ 0.29018 │ 127.36 │ 0.9085 │ 0.2796 │ 0.001 │ 0.09 │ alexnet │ -│ │ ╟ ae382c7 │ 1 │ 0.89754 │ 0.26993 │ 76.419 │ 0.89542 │ 0.31113 │ 0.001 │ 0.09 │ alexnet │ -│ ├─╨ a95260d │ 0 │ 0.73361 │ 0.5271 │ 25.71 │ 0.86928 │ 0.36408 │ 0.001 │ 0.09 │ alexnet │ -└─────────────────────────┴──────┴─────────┴─────────┴───────────────┴─────────┴──────────┴───────┴──────────┴────────────┘ + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**step** metric:**acc** metric:**loss** metric:**training_time** metric:**val_acc** metric:**val_loss** param:**lr** param:**momentum** param:**model_name** + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + **workspace** **9** **0.91803** **0.27989** **228.59** **0.82353** **0.69077** **0.009** **0.017** **alexnet** + **main** **-** **-** **-** **-** **-** **-** **0.001** **0.09** **alexnet** + │ ╓ 2361cff [exp-c0b11] 9 0.91803 0.27989 228.59 0.82353 0.69077 0.009 0.017 alexnet + │ ╟ 7686d2f 8 0.90984 0.23496 177.65 0.87582 0.50887 0.009 0.017 alexnet + │ ╟ 671f8cd 7 0.88934 0.39237 126.7 0.86928 0.47856 0.009 0.017 alexnet + │ ╟ ea1bf61 6 0.84836 0.4195 75.834 0.91503 0.30885 0.009 0.017 alexnet + │ ╟ a9f8dab (bf81637) 5 0.79508 0.72891 25.219 0.66667 1.0311 0.009 0.017 alexnet + │ ╓ bf81637 [exp-a1f53] 4 0.92623 0.19567 229.18 0.9085 0.25145 0.001 0.09 alexnet + │ ╟ 9ca3fb8 3 0.89344 0.27423 178.34 0.90196 0.26965 0.001 0.09 alexnet + │ ╟ a34ead1 2 0.87295 0.29018 127.36 0.9085 0.2796 0.001 0.09 alexnet + │ ╟ ae382c7 1 0.89754 0.26993 76.419 0.89542 0.31113 0.001 0.09 alexnet + ├─╨ a95260d 0 0.73361 0.5271 25.71 0.86928 0.36408 0.001 0.09 alexnet + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── ``` Finding good values for hyperparameters can take a few iterations, even when @@ -240,19 +240,19 @@ $ dvc exp run -S lr=0.025 -S momentum=0.5 -S num_epochs=2 The updated table will have values similar to this. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**step** ┃ metric:**acc** ┃ metric:**loss** ┃ metric:**training_time** ┃ metric:**val_acc** ┃ metric:**val_loss** ┃ param:**lr** ┃ param:**momentum** ┃ param:**model_name** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━┩ -│ **workspace** │ **11** │ **0.88525** │ **1.1355** │ **76.799** │ **0.9085** │ **1.7642** │ **0.025** │ **0.5** │ **alexnet** │ -│ **main** │ **-** │ **-** │ **-** │ **-** │ **-** │ **-** │ **0.001** │ **0.09** │ **alexnet** │ -│ │ ╓ 54e87bc [exp-52406] │ 11 │ 0.88525 │ 1.1355 │ 76.799 │ 0.9085 │ 1.7642 │ 0.025 │ 0.5 │ alexnet │ -│ │ ╟ b2b9ad0 (2361cff) │ 10 │ 0.79098 │ 2.9427 │ 25.715 │ 0.8366 │ 1.4148 │ 0.025 │ 0.5 │ alexnet │ -│ │ ╓ 2361cff [exp-c0b11] │ 9 │ 0.91803 │ 0.27989 │ 228.59 │ 0.82353 │ 0.69077 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ 7686d2f │ 8 │ 0.90984 │ 0.23496 │ 177.65 │ 0.87582 │ 0.50887 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ 671f8cd │ 7 │ 0.88934 │ 0.39237 │ 126.7 │ 0.86928 │ 0.47856 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ ea1bf61 │ 6 │ 0.84836 │ 0.4195 │ 75.834 │ 0.91503 │ 0.30885 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ a9f8dab (bf81637) │ 5 │ 0.79508 │ 0.72891 │ 25.219 │ 0.66667 │ 1.0311 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╓ bf81637 [exp-a1f53] │ 4 │ 0.92623 │ 0.19567 │ 229.18 │ 0.9085 │ 0.25145 │ 0.001 │ 0.09 │ alexnet │ + ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**step** metric:**acc** metric:**loss** metric:**training_time** metric:**val_acc** metric:**val_loss** param:**lr** param:**momentum** param:**model_name** + ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + **workspace** **11** **0.88525** **1.1355** **76.799** **0.9085** **1.7642** **0.025** **0.5** **alexnet** + **main** **-** **-** **-** **-** **-** **-** **0.001** **0.09** **alexnet** + │ ╓ 54e87bc [exp-52406] 11 0.88525 1.1355 76.799 0.9085 1.7642 0.025 0.5 alexnet + │ ╟ b2b9ad0 (2361cff) 10 0.79098 2.9427 25.715 0.8366 1.4148 0.025 0.5 alexnet + │ ╓ 2361cff [exp-c0b11] 9 0.91803 0.27989 228.59 0.82353 0.69077 0.009 0.017 alexnet + │ ╟ 7686d2f 8 0.90984 0.23496 177.65 0.87582 0.50887 0.009 0.017 alexnet + │ ╟ 671f8cd 7 0.88934 0.39237 126.7 0.86928 0.47856 0.009 0.017 alexnet + │ ╟ ea1bf61 6 0.84836 0.4195 75.834 0.91503 0.30885 0.009 0.017 alexnet + │ ╟ a9f8dab (bf81637) 5 0.79508 0.72891 25.219 0.66667 1.0311 0.009 0.017 alexnet + │ ╓ bf81637 [exp-a1f53] 4 0.92623 0.19567 229.18 0.9085 0.25145 0.001 0.09 alexnet ``` If you take a look at the metrics and the corresponding hyperparameter values, @@ -277,16 +277,16 @@ the `--reset` option here so that we can start a fresh experiment for the new model. You should see results similar to this in your table. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**step** ┃ metric:**acc** ┃ metric:**loss** ┃ metric:**training_time** ┃ metric:**val_acc** ┃ metric:**val_loss** ┃ param:**lr** ┃ param:**momentum** ┃ param:**model_name** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━┩ -│ **workspace** │ **1** │ **0.85656** │ **0.35667** │ **83.414** │ **0.87582** │ **0.34273** │ **0.025** │ **0.5** │ **squeezenet** │ -│ **main** │ - │ - │ - │ - │ - │ - │ **0.001** │ **0.09** │ **squeezenet** │ -│ │ ╓ 87ccd2e [exp-95f0f] │ 1 │ 0.85656 │ 0.35667 │ 83.414 │ 0.87582 │ 0.34273 │ 0.025 │ 0.5 │ squeezenet │ -│ ├─╨ 7d2fafc │ 0 │ 0.80328 │ 0.50723 │ 29.165 │ 0.89542 │ 0.3987 │ 0.025 │ 0.5 │ squeezenet │ -│ │ ╓ 54e87bc [exp-52406] │ 11 │ 0.88525 │ 1.1355 │ 76.799 │ 0.9085 │ 1.7642 │ 0.025 │ 0.5 │ alexnet │ -│ │ ╟ b2b9ad0 (2361cff) │ 10 │ 0.79098 │ 2.9427 │ 25.715 │ 0.8366 │ 1.4148 │ 0.025 │ 0.5 │ alexnet │ -│ │ ╓ 2361cff [exp-c0b11] │ 9 │ 0.91803 │ 0.27989 │ 228.59 │ 0.82353 │ 0.69077 │ 0.009 │ 0.017 │ alexnet │ + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**step** metric:**acc** metric:**loss** metric:**training_time** metric:**val_acc** metric:**val_loss** param:**lr** param:**momentum** param:**model_name** + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + **workspace** **1** **0.85656** **0.35667** **83.414** **0.87582** **0.34273** **0.025** **0.5** **squeezenet** + **main** - - - - - - **0.001** **0.09** **squeezenet** + │ ╓ 87ccd2e [exp-95f0f] 1 0.85656 0.35667 83.414 0.87582 0.34273 0.025 0.5 squeezenet + ├─╨ 7d2fafc 0 0.80328 0.50723 29.165 0.89542 0.3987 0.025 0.5 squeezenet + │ ╓ 54e87bc [exp-52406] 11 0.88525 1.1355 76.799 0.9085 1.7642 0.025 0.5 alexnet + │ ╟ b2b9ad0 (2361cff) 10 0.79098 2.9427 25.715 0.8366 1.4148 0.025 0.5 alexnet + │ ╓ 2361cff [exp-c0b11] 9 0.91803 0.27989 228.59 0.82353 0.69077 0.009 0.017 alexnet ``` The newest experiment has an accuracy that's significantly different since we @@ -312,23 +312,23 @@ You can check out the details for the queues you have in place by looking at the experiments table with `dvc exp show`. You'll see something like this. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**step** ┃ metric:**acc** ┃ metric:**loss** ┃ metric:**training_time** ┃ metric:**val_acc** ┃ metric:**val_loss** ┃ param:**lr** ┃ param:**momentum** ┃ param:**model_name** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━┩ -│ **workspace** │ **1** │ **0.85656** │ **0.35667** │ **83.414** │ **0.87582** │ **0.34273** │ **0.025** │ **0.5** │ **squeezenet** │ -│ **main** │ - │ - │ - │ - │ - │ - │ **0.001** │ **0.09** │ **squeezenet** │ -│ │ ╓ 87ccd2e [exp-95f0f] │ 1 │ 0.85656 │ 0.35667 │ 83.414 │ 0.87582 │ 0.34273 │ 0.025 │ 0.5 │ squeezenet │ -│ ├─╨ 7d2fafc │ 0 │ 0.80328 │ 0.50723 │ 29.165 │ 0.89542 │ 0.3987 │ 0.025 │ 0.5 │ squeezenet │ -│ │ ╓ 54e87bc [exp-52406] │ 11 │ 0.88525 │ 1.1355 │ 76.799 │ 0.9085 │ 1.7642 │ 0.025 │ 0.5 │ alexnet │ -│ │ ╟ b2b9ad0 (2361cff) │ 10 │ 0.79098 │ 2.9427 │ 25.715 │ 0.8366 │ 1.4148 │ 0.025 │ 0.5 │ alexnet │ -│ │ ╓ 2361cff [exp-c0b11] │ 9 │ 0.91803 │ 0.27989 │ 228.59 │ 0.82353 │ 0.69077 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ 7686d2f │ 8 │ 0.90984 │ 0.23496 │ 177.65 │ 0.87582 │ 0.50887 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ 671f8cd │ 7 │ 0.88934 │ 0.39237 │ 126.7 │ 0.86928 │ 0.47856 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ ea1bf61 │ 6 │ 0.84836 │ 0.4195 │ 75.834 │ 0.91503 │ 0.30885 │ 0.009 │ 0.017 │ alexnet │ + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**step** metric:**acc** metric:**loss** metric:**training_time** metric:**val_acc** metric:**val_loss** param:**lr** param:**momentum** param:**model_name** + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + **workspace** **1** **0.85656** **0.35667** **83.414** **0.87582** **0.34273** **0.025** **0.5** **squeezenet** + **main** - - - - - - **0.001** **0.09** **squeezenet** + │ ╓ 87ccd2e [exp-95f0f] 1 0.85656 0.35667 83.414 0.87582 0.34273 0.025 0.5 squeezenet + ├─╨ 7d2fafc 0 0.80328 0.50723 29.165 0.89542 0.3987 0.025 0.5 squeezenet + │ ╓ 54e87bc [exp-52406] 11 0.88525 1.1355 76.799 0.9085 1.7642 0.025 0.5 alexnet + │ ╟ b2b9ad0 (2361cff) 10 0.79098 2.9427 25.715 0.8366 1.4148 0.025 0.5 alexnet + │ ╓ 2361cff [exp-c0b11] 9 0.91803 0.27989 228.59 0.82353 0.69077 0.009 0.017 alexnet + │ ╟ 7686d2f 8 0.90984 0.23496 177.65 0.87582 0.50887 0.009 0.017 alexnet + │ ╟ 671f8cd 7 0.88934 0.39237 126.7 0.86928 0.47856 0.009 0.017 alexnet + │ ╟ ea1bf61 6 0.84836 0.4195 75.834 0.91503 0.30885 0.009 0.017 alexnet ... -│ ├── *2df7fa5 │ - │ - │ - │ - │ - │ - │ 0.0001│ 0.9 │ squeezenet │ -│ ├── *699dcae │ - │ - │ - │ - │ - │ - │ 0.001 │ 0.09 │ squeezenet │ -└─────────────────────────┴──────┴─────────┴──────────┴─────────┴─────────┴───────────────┴───────┴──────────┴────────────┘ + ├── *2df7fa5 - - - - - - 0.0001 0.9 squeezenet + ├── *699dcae - - - - - - 0.001 0.09 squeezenet + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── ``` Then you can execute all of the queues with this command. @@ -341,21 +341,21 @@ Now if you take a look at your table, you'll see the metrics from those 3 experiments. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**step** ┃ metric:**acc** ┃ metric:**loss** ┃ metric:**training_time** ┃ metric:**val_acc** ┃ metric:**val_loss** ┃ param:**lr** ┃ param:**momentum** ┃ param:**model_name** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━━━━┩ -│ **workspace** │ **5** │ **0.76639** │ **0.49865** │ **85.705** │ **0.81699** │ **0.4518** │ **0.001** │ **0.09** │ **squeezenet** │ -│ **main** │ - │ - │ - │ - │ - │ - │ **0.001** │ **0.09** │ **squeezenet** │ -│ │ ╓ 699dcae [exp-8322f] │ 5 │ 0.76639 │ 0.49865 │ 85.705 │ 0.81699 │ 0.4518 │ 0.001 │ 0.09 │ squeezenet │ -│ │ ╟ d26c25b (2df7fa5) │ 4 │ 0.60246 │ 0.68464 │ 29.243 │ 0.69935 │ 0.55156 │ 0.001 │ 0.09 │ squeezenet │ -│ │ ╓ 2df7fa5 [exp-d1c65] │ 3 │ 0.78689 │ 0.488 │ 83.929 │ 0.83007 │ 0.41527 │ 0.0001 │ 0.9 │ squeezenet │ -│ │ ╟ 05e1b41 (87ccd2e) │ 2 │ 0.59016 │ 0.76999 │ 28.455 │ 0.75163 │ 0.49807 │ 0.0001 │ 0.9 │ squeezenet │ -│ │ ╓ 87ccd2e [exp-95f0f] │ 1 │ 0.85656 │ 0.35667 │ 83.414 │ 0.87582 │ 0.34273 │ 0.025 │ 0.5 │ squeezenet │ -│ ├─╨ 7d2fafc │ 0 │ 0.80328 │ 0.50723 │ 29.165 │ 0.89542 │ 0.3987 │ 0.025 │ 0.5 │ squeezenet │ -│ │ ╓ 54e87bc [exp-52406] │ 11 │ 0.88525 │ 1.1355 │ 76.799 │ 0.9085 │ 1.7642 │ 0.025 │ 0.5 │ alexnet │ -│ │ ╟ b2b9ad0 (2361cff) │ 10 │ 0.79098 │ 2.9427 │ 25.715 │ 0.8366 │ 1.4148 │ 0.025 │ 0.5 │ alexnet │ -│ │ ╓ 2361cff [exp-c0b11] │ 9 │ 0.91803 │ 0.27989 │ 228.59 │ 0.82353 │ 0.69077 │ 0.009 │ 0.017 │ alexnet │ -│ │ ╟ 7686d2f │ 8 │ 0.90984 │ 0.23496 │ 177.65 │ 0.87582 │ 0.50887 │ 0.009 │ 0.017 │ alexnet │ + ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**step** metric:**acc** metric:**loss** metric:**training_time** metric:**val_acc** metric:**val_loss** param:**lr** param:**momentum** param:**model_name** + ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + **workspace** **5** **0.76639** **0.49865** **85.705** **0.81699** **0.4518** **0.001** **0.09** **squeezenet** + **main** - - - - - - **0.001** **0.09** **squeezenet** + │ ╓ 699dcae [exp-8322f] 5 0.76639 0.49865 85.705 0.81699 0.4518 0.001 0.09 squeezenet + │ ╟ d26c25b (2df7fa5) 4 0.60246 0.68464 29.243 0.69935 0.55156 0.001 0.09 squeezenet + │ ╓ 2df7fa5 [exp-d1c65] 3 0.78689 0.488 83.929 0.83007 0.41527 0.0001 0.9 squeezenet + │ ╟ 05e1b41 (87ccd2e) 2 0.59016 0.76999 28.455 0.75163 0.49807 0.0001 0.9 squeezenet + │ ╓ 87ccd2e [exp-95f0f] 1 0.85656 0.35667 83.414 0.87582 0.34273 0.025 0.5 squeezenet + ├─╨ 7d2fafc 0 0.80328 0.50723 29.165 0.89542 0.3987 0.025 0.5 squeezenet + │ ╓ 54e87bc [exp-52406] 11 0.88525 1.1355 76.799 0.9085 1.7642 0.025 0.5 alexnet + │ ╟ b2b9ad0 (2361cff) 10 0.79098 2.9427 25.715 0.8366 1.4148 0.025 0.5 alexnet + │ ╓ 2361cff [exp-c0b11] 9 0.91803 0.27989 228.59 0.82353 0.69077 0.009 0.017 alexnet + │ ╟ 7686d2f 8 0.90984 0.23496 177.65 0.87582 0.50887 0.009 0.017 alexnet ``` Then you'll be able to make a decision on which way to go with your fine-tuning diff --git a/content/blog/2021-10-05-adding-data-to-build-a-more-generic-model.md b/content/blog/2021-10-05-adding-data-to-build-a-more-generic-model.md index c0025fa2d1..38a2a716ed 100644 --- a/content/blog/2021-10-05-adding-data-to-build-a-more-generic-model.md +++ b/content/blog/2021-10-05-adding-data-to-build-a-more-generic-model.md @@ -101,16 +101,16 @@ option lets us choose which metrics we want to show in the table. The table that's easier to read quickly. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**step** ┃ metric:**acc** ┃ metric:**val_acc** ┃ metric:**loss** ┃ metric:**val_loss** ┃ param:**lr** ┃ param:**momentum** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ -│ **workspace** │ **3** │ **0.86885** │ **0.46** │ **0.31573** │ **3.7067** │ **0.001** │ **0.09** │ -│ **data-change** │ **-** │ **-** │ **-** │ **-** │ **-** │ **0.001** │ **0.09** │ -│ │ ╓ 3b3a2a2 [exp-23593] │ 3 │ 0.86885 │ 0.46 │ 0.31573 │ 3.7067 │ 0.001 │ 0.09 │ -│ │ ╟ 93d015d │ 2 │ 0.83197 │ 0.41333 │ 0.36851 │ 3.4259 │ 0.001 │ 0.09 │ -│ │ ╟ d474c42 │ 1 │ 0.79918 │ 0.43333 │ 0.46612 │ 3.286 │ 0.001 │ 0.09 │ -│ ├─╨ 1582b4b │ 0 │ 0.52869 │ 0.39 │ 0.94102 │ 2.5967 │ 0.001 │ 0.09 │ -└─────────────────────────┴──────┴─────────┴─────────┴─────────┴──────────┴───────┴──────────┘ + ──────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**step** metric:**acc** metric:**val_acc** metric:**loss** metric:**val_loss** param:**lr** param:**momentum** + ──────────────────────────────────────────────────────────────────────────────────────────── + **workspace** **3** **0.86885** **0.46** **0.31573** **3.7067** **0.001** **0.09** + **data-change** **-** **-** **-** **-** **-** **0.001** **0.09** + │ ╓ 3b3a2a2 [exp-23593] 3 0.86885 0.46 0.31573 3.7067 0.001 0.09 + │ ╟ 93d015d 2 0.83197 0.41333 0.36851 3.4259 0.001 0.09 + │ ╟ d474c42 1 0.79918 0.43333 0.46612 3.286 0.001 0.09 + ├─╨ 1582b4b 0 0.52869 0.39 0.94102 2.5967 0.001 0.09 + ──────────────────────────────────────────────────────────────────────────────────────────── ``` You'll notice that the validation accuracy is really low. That's because the @@ -150,20 +150,20 @@ Now you'll have a table that shows both experiments and you can see how much better the new one did with the `cats` data added. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**step** ┃ metric:**acc** ┃ metric:**val_acc** ┃ metric:**loss** ┃ metric:**val_loss** ┃ param:**lr** ┃ param:**momentum** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ -│ **workspace** │ **3** │ **0.91389** │ **0.87** │ **0.20506** │ **0.66306** │ **0.001** │ **0.09** │ -│ **data-change** │ **-** │ **-** │ **-** │ **-** │ **-** │ **0.001** │ **0.09** │ -│ │ ╓ 9405575 [exp-54e8a] │ 3 │ 0.91389 │ 0.87 │ 0.20506 │ 0.66306 │ 0.001 │ 0.09 │ -│ │ ╟ 856d80f │ 2 │ 0.90215 │ 0.87333 │ 0.27204 │ 0.61631 │ 0.001 │ 0.09 │ -│ │ ╟ 23dc98f │ 1 │ 0.87671 │ 0.86 │ 0.35964 │ 0.61713 │ 0.001 │ 0.09 │ -│ ├─╨ 99a3c34 │ 0 │ 0.71429 │ 0.82 │ 0.67674 │ 0.62798 │ 0.001 │ 0.09 │ -│ │ ╓ 3b3a2a2 [exp-23593] │ 3 │ 0.86885 │ 0.46 │ 0.31573 │ 3.7067 │ 0.001 │ 0.09 │ -│ │ ╟ 93d015d │ 2 │ 0.83197 │ 0.41333 │ 0.36851 │ 3.4259 │ 0.001 │ 0.09 │ -│ │ ╟ d474c42 │ 1 │ 0.79918 │ 0.43333 │ 0.46612 │ 3.286 │ 0.001 │ 0.09 │ -│ ├─╨ 1582b4b │ 0 │ 0.52869 │ 0.39 │ 0.94102 │ 2.5967 │ 0.001 │ 0.09 │ -└─────────────────────────┴──────┴─────────┴─────────┴─────────┴──────────┴───────┴──────────┘ + ──────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**step** metric:**acc** metric:**val_acc** metric:**loss** metric:**val_loss** param:**lr** param:**momentum** + ──────────────────────────────────────────────────────────────────────────────────────────── + **workspace** **3** **0.91389** **0.87** **0.20506** **0.66306** **0.001** **0.09** + **data-change** **-** **-** **-** **-** **-** **0.001** **0.09** + │ ╓ 9405575 [exp-54e8a] 3 0.91389 0.87 0.20506 0.66306 0.001 0.09 + │ ╟ 856d80f 2 0.90215 0.87333 0.27204 0.61631 0.001 0.09 + │ ╟ 23dc98f 1 0.87671 0.86 0.35964 0.61713 0.001 0.09 + ├─╨ 99a3c34 0 0.71429 0.82 0.67674 0.62798 0.001 0.09 + │ ╓ 3b3a2a2 [exp-23593] 3 0.86885 0.46 0.31573 3.7067 0.001 0.09 + │ ╟ 93d015d 2 0.83197 0.41333 0.36851 3.4259 0.001 0.09 + │ ╟ d474c42 1 0.79918 0.43333 0.46612 3.286 0.001 0.09 + ├─╨ 1582b4b 0 0.52869 0.39 0.94102 2.5967 0.001 0.09 + ──────────────────────────────────────────────────────────────────────────────────────────── ``` There's another way you can look at the difference between the model before we @@ -208,24 +208,24 @@ $ dvc exp show --no-timestamp \ Now we'll have all three experiments to compare. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**step** ┃ metric:**acc** ┃ metric:**val_acc** ┃ metric:**loss** ┃ metric:**val_loss** ┃ param:**lr** ┃ param:**momentum** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ -│ **workspace** │ **3** │ **0.8795** │ **0.90667** │ **0.29302** │ **0.25752** │ **0.001** │ **0.09** │ -│ **data-change** │ **-** │ **-** │ **-** │ **-** │ **-** │ **0.001** │ **0.09** │ -│ │ ╓ c20220f [exp-82f70] │ 3 │ 0.8795 │ 0.90667 │ 0.29302 │ 0.25752 │ 0.001 │ 0.09 │ -│ │ ╟ fcb5a0b │ 2 │ 0.85915 │ 0.92333 │ 0.38274 │ 0.25257 │ 0.001 │ 0.09 │ -│ │ ╟ 3768821 │ 1 │ 0.80751 │ 0.84667 │ 0.47681 │ 0.40228 │ 0.001 │ 0.09 │ -│ ├─╨ 7e1b8fb │ 0 │ 0.64632 │ 0.84 │ 0.87301 │ 0.46744 │ 0.001 │ 0.09 │ -│ │ ╓ 9405575 [exp-54e8a] │ 3 │ 0.91389 │ 0.87 │ 0.20506 │ 0.66306 │ 0.001 │ 0.09 │ -│ │ ╟ 856d80f │ 2 │ 0.90215 │ 0.87333 │ 0.27204 │ 0.61631 │ 0.001 │ 0.09 │ -│ │ ╟ 23dc98f │ 1 │ 0.87671 │ 0.86 │ 0.35964 │ 0.61713 │ 0.001 │ 0.09 │ -│ ├─╨ 99a3c34 │ 0 │ 0.71429 │ 0.82 │ 0.67674 │ 0.62798 │ 0.001 │ 0.09 │ -│ │ ╓ 3b3a2a2 [exp-23593] │ 3 │ 0.86885 │ 0.46 │ 0.31573 │ 3.7067 │ 0.001 │ 0.09 │ -│ │ ╟ 93d015d │ 2 │ 0.83197 │ 0.41333 │ 0.36851 │ 3.4259 │ 0.001 │ 0.09 │ -│ │ ╟ d474c42 │ 1 │ 0.79918 │ 0.43333 │ 0.46612 │ 3.286 │ 0.001 │ 0.09 │ -│ ├─╨ 1582b4b │ 0 │ 0.52869 │ 0.39 │ 0.94102 │ 2.5967 │ 0.001 │ 0.09 │ -└─────────────────────────┴──────┴─────────┴─────────┴─────────┴──────────┴───────┴──────────┘ + ──────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**step** metric:**acc** metric:**val_acc** metric:**loss** metric:**val_loss** param:**lr** param:**momentum** + ──────────────────────────────────────────────────────────────────────────────────────────── + **workspace** **3** **0.8795** **0.90667** **0.29302** **0.25752** **0.001** **0.09** + **data-change** **-** **-** **-** **-** **-** **0.001** **0.09** + │ ╓ c20220f [exp-82f70] 3 0.8795 0.90667 0.29302 0.25752 0.001 0.09 + │ ╟ fcb5a0b 2 0.85915 0.92333 0.38274 0.25257 0.001 0.09 + │ ╟ 3768821 1 0.80751 0.84667 0.47681 0.40228 0.001 0.09 + ├─╨ 7e1b8fb 0 0.64632 0.84 0.87301 0.46744 0.001 0.09 + │ ╓ 9405575 [exp-54e8a] 3 0.91389 0.87 0.20506 0.66306 0.001 0.09 + │ ╟ 856d80f 2 0.90215 0.87333 0.27204 0.61631 0.001 0.09 + │ ╟ 23dc98f 1 0.87671 0.86 0.35964 0.61713 0.001 0.09 + ├─╨ 99a3c34 0 0.71429 0.82 0.67674 0.62798 0.001 0.09 + │ ╓ 3b3a2a2 [exp-23593] 3 0.86885 0.46 0.31573 3.7067 0.001 0.09 + │ ╟ 93d015d 2 0.83197 0.41333 0.36851 3.4259 0.001 0.09 + │ ╟ d474c42 1 0.79918 0.43333 0.46612 3.286 0.001 0.09 + ├─╨ 1582b4b 0 0.52869 0.39 0.94102 2.5967 0.001 0.09 + ──────────────────────────────────────────────────────────────────────────────────────────── ``` These results make sense for the experiments we've run. We're paying attention diff --git a/content/blog/2021-11-30-november-21-community-gems.md b/content/blog/2021-11-30-november-21-community-gems.md index d4cbd2b176..a542eb0fad 100644 --- a/content/blog/2021-11-30-november-21-community-gems.md +++ b/content/blog/2021-11-30-november-21-community-gems.md @@ -92,20 +92,20 @@ This will give you a table that looks similar to this with all of this information. ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**step** ┃ metric:**acc** ┃ metric:**val_acc** ┃ metric:**loss** ┃ metric:**val_loss** ┃ param:**lr** ┃ param:**momentum** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━┩ -│ **workspace** │ **3** │ **0.91389** │ **0.87** │ **0.20506** │ **0.66306** │ **0.001** │ **0.09** │ -│ **data-change** │ **-** │ **-** │ **-** │ **-** │ **-** │ **0.001** │ **0.09** │ -│ │ ╓ 9405575 [exp-54e8a] │ 3 │ 0.91389 │ 0.87 │ 0.20506 │ 0.66306 │ 0.001 │ 0.09 │ -│ │ ╟ 856d80f │ 2 │ 0.90215 │ 0.87333 │ 0.27204 │ 0.61631 │ 0.001 │ 0.09 │ -│ │ ╟ 23dc98f │ 1 │ 0.87671 │ 0.86 │ 0.35964 │ 0.61713 │ 0.001 │ 0.09 │ -│ ├─╨ 99a3c34 │ 0 │ 0.71429 │ 0.82 │ 0.67674 │ 0.62798 │ 0.001 │ 0.09 │ -│ │ ╓ 3b3a2a2 [exp-23593] │ 3 │ 0.86885 │ 0.46 │ 0.31573 │ 3.7067 │ 0.001 │ 0.09 │ -│ │ ╟ 93d015d │ 2 │ 0.83197 │ 0.41333 │ 0.36851 │ 3.4259 │ 0.001 │ 0.09 │ -│ │ ╟ d474c42 │ 1 │ 0.79918 │ 0.43333 │ 0.46612 │ 3.286 │ 0.001 │ 0.09 │ -│ ├─╨ 1582b4b │ 0 │ 0.52869 │ 0.39 │ 0.94102 │ 2.5967 │ 0.001 │ 0.09 │ -└─────────────────────────┴──────┴─────────┴─────────┴─────────┴──────────┴───────┴──────────┘ + ──────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**step** metric:**acc** metric:**val_acc** metric:**loss** metric:**val_loss** param:**lr** param:**momentum** + ──────────────────────────────────────────────────────────────────────────────────────────── + **workspace** **3** **0.91389** **0.87** **0.20506** **0.66306** **0.001** **0.09** + **data-change** **-** **-** **-** **-** **-** **0.001** **0.09** + │ ╓ 9405575 [exp-54e8a] 3 0.91389 0.87 0.20506 0.66306 0.001 0.09 + │ ╟ 856d80f 2 0.90215 0.87333 0.27204 0.61631 0.001 0.09 + │ ╟ 23dc98f 1 0.87671 0.86 0.35964 0.61713 0.001 0.09 + ├─╨ 99a3c34 0 0.71429 0.82 0.67674 0.62798 0.001 0.09 + │ ╓ 3b3a2a2 [exp-23593] 3 0.86885 0.46 0.31573 3.7067 0.001 0.09 + │ ╟ 93d015d 2 0.83197 0.41333 0.36851 3.4259 0.001 0.09 + │ ╟ d474c42 1 0.79918 0.43333 0.46612 3.286 0.001 0.09 + ├─╨ 1582b4b 0 0.52869 0.39 0.94102 2.5967 0.001 0.09 + ──────────────────────────────────────────────────────────────────────────────────────────── ``` ### [What's the recommended way to remove data that has been imported using `dvc import`?](https://discord.com/channels/485586884165107732/485596304961962003/898462029650735134) diff --git a/content/blog/2021-12-07-ml-experiment-versioning.md b/content/blog/2021-12-07-ml-experiment-versioning.md index ce3dff8ab2..39ce8067cc 100644 --- a/content/blog/2021-12-07-ml-experiment-versioning.md +++ b/content/blog/2021-12-07-ml-experiment-versioning.md @@ -121,15 +121,15 @@ would in a dashboard: ```dvctable $ dvc exp show -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**loss** ┃ metric:**acc** ┃ param:**train.epochs** ┃ param:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩ -│ **workspace** │ **-** │ **0.25183** │ **0.9137** │ **10** │ **64** -│ **mybranch** │ **Oct 23, 2021** │ **-** │ **-** │ **10** │ **16** -│ ├── 9a4ff1c **[exp-333c9]** │ 10:40 AM │ 0.25183 │ 0.9137 │ 10 │ 64 -│ ├── 138e6ea **[exp-55e90]** │ 10:28 AM │ 0.25784 │ 0.9084 │ 10 │ 32 -│ └── 51b0324 **[exp-2b728]** │ 10:17 AM │ 0.25829 │ 0.9058 │ 10 │ 16 -└─────────────────────────┴──────────────┴─────────┴────────┴──────────────┴──────────────────┘ + ───────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**loss** metric:**acc** param:**train.epochs** param:**model.conv_units** + ───────────────────────────────────────────────────────────────────────────────────────────── + **workspace** **-** **0.25183** **0.9137** **10** **64** + **mybranch** **Oct 23, 2021** **-** **-** **10** **16** + ├── 9a4ff1c **[exp-333c9]** 10:40 AM 0.25183 0.9137 10 64 + ├── 138e6ea **[exp-55e90]** 10:28 AM 0.25784 0.9084 10 32 + └── 51b0324 **[exp-2b728]** 10:17 AM 0.25829 0.9058 10 16 + ───────────────────────────────────────────────────────────────────────────────────────────── ``` # Versioned reproducibility diff --git a/content/docs/command-reference/exp/remove.md b/content/docs/command-reference/exp/remove.md index 2d399e2747..fbb8c62749 100644 --- a/content/docs/command-reference/exp/remove.md +++ b/content/docs/command-reference/exp/remove.md @@ -87,13 +87,13 @@ $ dvc exp show --include-params=train.min_split --no-pager ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ neutral:**State** ┃ metric:**avg_prec** ┃ metric:**roc_auc** ┃ metric:**train.min_split** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ - │ 0.57553 │ 0.94652 │ 2 │ -│ master │ Aug 02, 2021 │ - │ 0.53252 │ 0.9107 │ 2 │ -│ └── 5751540 [split32] │ 04:57 PM │ Queued │ - │ - │ 32 │ -└───────────────────────┴──────────────┴────────┴──────────┴─────────┴─────────────────┘ + ────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** neutral:**State** metric:**avg_prec** metric:**roc_auc** metric:**train.min_split** + ────────────────────────────────────────────────────────────────────────────────────── + workspace - - 0.57553 0.94652 2 + master Aug 02, 2021 - 0.53252 0.9107 2 + └── 5751540 [split32] 04:57 PM Queued - - 32 + ────────────────────────────────────────────────────────────────────────────────────── ``` We can also remove experiments from a remote Git repository: diff --git a/content/docs/command-reference/exp/show.md b/content/docs/command-reference/exp/show.md index fd57afbf47..b0c278842e 100644 --- a/content/docs/command-reference/exp/show.md +++ b/content/docs/command-reference/exp/show.md @@ -31,14 +31,14 @@ $ dvc exp show ``` ```dvctable -┏━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**avg_prec** ┃ metric:**roc_auc** ┃ param:**train.n_est**┃ param:**train.min_split** ┃ -┡━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━┩ -│ workspace │ 0.56191 │ 0.93345 │ 50 │ 2 │ -│ master │ 0.55259 │ 0.91536 │ 50 │ 2 │ -│ ├── exp-bfe64 │ 0.57833 │ 0.95555 │ 50 │ 8 │ -│ └── exp-ad5b1 │ 0.56191 │ 0.93345 │ 50 │ 2 │ -└───────────────┴──────────┴─────────┴────────────┴─────────────────┘ + ─────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**avg_prec** metric:**roc_auc** param:**train.n_est** param:**train.min_split** + ─────────────────────────────────────────────────────────────────── + workspace 0.56191 0.93345 50 2 + master 0.55259 0.91536 50 2 + ├── exp-bfe64 0.57833 0.95555 50 8 + └── exp-ad5b1 0.56191 0.93345 50 2 + ─────────────────────────────────────────────────────────────────── ``` Your terminal will enter a @@ -145,15 +145,15 @@ $ dvc exp show ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**avg_prec** ┃ metric:**roc_auc** ┃ param:**prepare.split** ┃ param:**prepare.seed** ┃ param:**featurize.max_features** ┃ param:**featurize.ngrams** ┃ param:**train.seed** ┃ param:**train.n_est** ┃ param:**train.min_split** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ 0.60405 │ 0.9608 │ 0.2 │ 20170428 │ 3000 │ 2 │ 20170428 │ 100 │ 64 │ -│ master │ May 29, 2021 │ 0.60405 │ 0.9608 │ 0.2 │ 20170428 │ 3000 │ 2 │ 20170428 │ 100 │ 64 │ -│ ├── d384680 [exp-bc055] │ 08:03 PM │ 0.51799 │ 0.92333 │ 0.2 │ 20170428 │ 500 │ 2 │ 20170428 │ 100 │ 64 │ -│ ├── 6b338f8 [exp-3315b] │ 08:03 PM │ 0.58589 │ 0.945 │ 0.2 │ 20170428 │ 2000 │ 2 │ 20170428 │ 100 │ 64 │ -│ └── d7fdde2 [exp-1b262] │ 08:03 PM │ 0.56447 │ 0.94713 │ 0.2 │ 20170428 │ 1500 │ 2 │ 20170428 │ 100 │ 64 │ -└─────────────────────────┴──────────────┴──────────┴─────────┴───────────────┴──────────────┴────────────────────────┴──────────────────┴────────────┴─────────────┴─────────────────┘ + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**avg_prec** metric:**roc_auc** param:**prepare.split** param:**prepare.seed** param:**featurize.max_features** param:**featurize.ngrams** param:**train.seed** param:**train.n_est** param:**train.min_split** + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + workspace - 0.60405 0.9608 0.2 20170428 3000 2 20170428 100 64 + master May 29, 2021 0.60405 0.9608 0.2 20170428 3000 2 20170428 100 64 + ├── d384680 [exp-bc055] 08:03 PM 0.51799 0.92333 0.2 20170428 500 2 20170428 100 64 + ├── 6b338f8 [exp-3315b] 08:03 PM 0.58589 0.945 0.2 20170428 2000 2 20170428 100 64 + └── d7fdde2 [exp-1b262] 08:03 PM 0.56447 0.94713 0.2 20170428 1500 2 20170428 100 64 + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── ``` > You can exit this screen with `Q`, typically. @@ -166,15 +166,15 @@ $ dvc exp show --only-changed ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**avg_prec** ┃ metric:**roc_auc** ┃ param:**featurize.max_features** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ 0.60405 │ 0.9608 │ 3000 │ -│ master │ May 29, 2021 │ 0.60405 │ 0.9608 │ 3000 │ -│ ├── d7fdde2 [exp-1b262] │ 08:03 PM │ 0.56447 │ 0.94713 │ 1500 │ -│ ├── 6b338f8 [exp-3315b] │ 08:03 PM │ 0.58589 │ 0.945 │ 2000 │ -│ └── d384680 [exp-bc055] │ 08:03 PM │ 0.51799 │ 0.92333 │ 500 │ -└─────────────────────────┴──────────────┴──────────┴─────────┴────────────────────────┘ + ────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**avg_prec** metric:**roc_auc** param:**featurize.max_features** + ────────────────────────────────────────────────────────────────────────────────────── + workspace - 0.60405 0.9608 3000 + master May 29, 2021 0.60405 0.9608 3000 + ├── d7fdde2 [exp-1b262] 08:03 PM 0.56447 0.94713 1500 + ├── 6b338f8 [exp-3315b] 08:03 PM 0.58589 0.945 2000 + └── d384680 [exp-bc055] 08:03 PM 0.51799 0.92333 500 + ────────────────────────────────────────────────────────────────────────────────────── ``` You can also use `--drop` to filter specific columns: @@ -184,15 +184,15 @@ $ dvc exp show --drop prepare ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**avg_prec** ┃ metric:**roc_auc** ┃ param:**featurize.max_features** ┃ param:**featurize.ngrams** ┃ param:**train.seed** ┃ param:**train.n_est** ┃ param:**train.min_split** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ 0.60405 │ 0.9608 │ 3000 │ 2 │ 20170428 │ 100 │ 64 │ -│ master │ May 29, 2021 │ 0.60405 │ 0.9608 │ 3000 │ 2 │ 20170428 │ 100 │ 64 │ -│ ├── 6b338f8 [exp-3315b] │ 08:03 PM │ 0.58589 │ 0.945 │ 2000 │ 2 │ 20170428 │ 100 │ 64 │ -│ ├── d384680 [exp-bc055] │ 08:03 PM │ 0.51799 │ 0.92333 │ 500 │ 2 │ 20170428 │ 100 │ 64 │ -│ └── d7fdde2 [exp-1b262] │ 08:03 PM │ 0.56447 │ 0.94713 │ 1500 │ 2 │ 20170428 │ 100 │ 64 │ -└─────────────────────────┴──────────────┴──────────┴─────────┴────────────────────────┴──────────────────┴────────────┴─────────────┴─────────────────┘ + ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**avg_prec** metric:**roc_auc** param:**featurize.max_features** param:**featurize.ngrams** param:**train.seed** param:**train.n_est** param:**train.min_split** + ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + workspace - 0.60405 0.9608 3000 2 20170428 100 64 + master May 29, 2021 0.60405 0.9608 3000 2 20170428 100 64 + ├── 6b338f8 [exp-3315b] 08:03 PM 0.58589 0.945 2000 2 20170428 100 64 + ├── d384680 [exp-bc055] 08:03 PM 0.51799 0.92333 500 2 20170428 100 64 + └── d7fdde2 [exp-1b262] 08:03 PM 0.56447 0.94713 1500 2 20170428 100 64 + ────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── ``` You can use [regex][regex] to match columns. For example, to remove multiple @@ -203,15 +203,15 @@ $ dvc exp show --drop 'avg_prec|train.min_split' ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**roc_auc** ┃ param:**prepare.split** ┃ param:**prepare.seed** ┃ param:**featurize.max_features** ┃ param:**featurize.ngrams** ┃ param:**train.seed** ┃ param:**train.n_est** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━┩ -│ workspace │ - │ 0.9608 │ 0.2 │ 20170428 │ 3000 │ 2 │ 20170428 │ 100 │ -│ master │ May 29, 2021 │ 0.9608 │ 0.2 │ 20170428 │ 3000 │ 2 │ 20170428 │ 100 │ -│ ├── d384680 [exp-bc055] │ Dec 17, 2021 │ 0.92333 │ 0.2 │ 20170428 │ 500 │ 2 │ 20170428 │ 100 │ -│ ├── d7fdde2 [exp-1b262] │ Dec 17, 2021 │ 0.94713 │ 0.2 │ 20170428 │ 1500 │ 2 │ 20170428 │ 100 │ -│ └── 6b338f8 [exp-3315b] │ Dec 17, 2021 │ 0.945 │ 0.2 │ 20170428 │ 2000 │ 2 │ 20170428 │ 100 │ -└─────────────────────────┴──────────────┴─────────┴───────────────┴──────────────┴────────────────────────┴──────────────────┴────────────┴─────────────┘ + ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**roc_auc** param:**prepare.split** param:**prepare.seed** param:**featurize.max_features** param:**featurize.ngrams** param:**train.seed** param:**train.n_est** + ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + workspace - 0.9608 0.2 20170428 3000 2 20170428 100 + master May 29, 2021 0.9608 0.2 20170428 3000 2 20170428 100 + ├── d384680 [exp-bc055] Dec 17, 2021 0.92333 0.2 20170428 500 2 20170428 100 + ├── d7fdde2 [exp-1b262] Dec 17, 2021 0.94713 0.2 20170428 1500 2 20170428 100 + └── 6b338f8 [exp-3315b] Dec 17, 2021 0.945 0.2 20170428 2000 2 20170428 100 + ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── ``` If combined `--only-changed` has the least priority, `--drop` comes next, and @@ -222,15 +222,15 @@ $ dvc exp show --only-changed --drop Created --keep 'train.(?!seed)' ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**avg_prec** ┃ metric:**roc_auc** ┃ param:**featurize.max_features** ┃ param:**train.n_est** ┃ param:**train.min_split** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━┩ -│ workspace │ 0.60405 │ 0.9608 │ 3000 │ 100 │ 64 │ -│ master │ 0.60405 │ 0.9608 │ 3000 │ 100 │ 64 │ -│ ├── d384680 [exp-bc055] │ 0.51799 │ 0.92333 │ 500 │ 100 │ 64 │ -│ ├── 6b338f8 [exp-3315b] │ 0.58589 │ 0.945 │ 2000 │ 100 │ 64 │ -│ └── d7fdde2 [exp-1b262] │ 0.56447 │ 0.94713 │ 1500 │ 100 │ 64 │ -└─────────────────────────┴──────────┴─────────┴────────────────────────┴─────────────┴─────────────────┘ + ─────────────────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** metric:**avg_prec** metric:**roc_auc** param:**featurize.max_features** param:**train.n_est** param:**train.min_split** + ─────────────────────────────────────────────────────────────────────────────────────────────────────── + workspace 0.60405 0.9608 3000 100 64 + master 0.60405 0.9608 3000 100 64 + ├── d384680 [exp-bc055] 0.51799 0.92333 500 100 64 + ├── 6b338f8 [exp-3315b] 0.58589 0.945 2000 100 64 + └── d7fdde2 [exp-1b262] 0.56447 0.94713 1500 100 64 + ─────────────────────────────────────────────────────────────────────────────────────────────────────── ``` Sort experiments by the `roc_auc` metric, in descending order: @@ -240,15 +240,15 @@ $ dvc exp show --only-changed --sort-by=roc_auc --sort-order desc ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**avg_prec** ┃ metric:**roc_auc** ┃ param:**featurize.max_features** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ 0.60405 │ 0.9608 │ 3000 │ -│ master │ May 29, 2021 │ 0.60405 │ 0.9608 │ 3000 │ -│ ├── d7fdde2 [exp-1b262] │ 08:03 PM │ 0.56447 │ 0.94713 │ 1500 │ -│ ├── 6b338f8 [exp-3315b] │ 08:03 PM │ 0.58589 │ 0.945 │ 2000 │ -│ └── d384680 [exp-bc055] │ 08:03 PM │ 0.51799 │ 0.92333 │ 500 │ -└─────────────────────────┴──────────────┴──────────┴─────────┴────────────────────────┘ + ────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**avg_prec** metric:**roc_auc** param:**featurize.max_features** + ────────────────────────────────────────────────────────────────────────────────────── + workspace - 0.60405 0.9608 3000 + master May 29, 2021 0.60405 0.9608 3000 + ├── d7fdde2 [exp-1b262] 08:03 PM 0.56447 0.94713 1500 + ├── 6b338f8 [exp-3315b] 08:03 PM 0.58589 0.945 2000 + └── d384680 [exp-bc055] 08:03 PM 0.51799 0.92333 500 + ────────────────────────────────────────────────────────────────────────────────────── ``` To see all experiments throughout the Git history: @@ -258,28 +258,27 @@ $ dvc exp show --all-commits --only-changed --sort-by=roc_auc ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**avg_prec** ┃ metric:**roc_auc** ┃ param:**featurize.max_features** ┃ param:**featurize.ngrams** ┃ param:**train.n_est** ┃ param:**train.min_split** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ 0.60405 │ 0.9608 │ 3000 │ 2 │ 100 │ 64 │ -│ try-large-dataset │ Jun 01, 2021 │ 0.67038 │ 0.96693 │ 3000 │ 2 │ 100 │ 64 │ -│ master │ May 29, 2021 │ 0.60405 │ 0.9608 │ 3000 │ 2 │ 100 │ 64 │ -│ ├── d384680 [exp-bc055] │ 08:03 PM │ 0.51799 │ 0.92333 │ 500 │ 2 │ 100 │ 64 │ -│ ├── 6b338f8 [exp-3315b] │ 08:03 PM │ 0.58589 │ 0.945 │ 2000 │ 2 │ 100 │ 64 │ -│ └── d7fdde2 [exp-1b262] │ 08:03 PM │ 0.56447 │ 0.94713 │ 1500 │ 2 │ 100 │ 64 │ -│ cc51022 │ May 28, 2021 │ 0.55259 │ 0.91536 │ 1500 │ 2 │ 50 │ 2 │ -│ 7ab3585 │ May 27, 2021 │ 0.52048 │ 0.9032 │ 1500 │ 2 │ 50 │ 2 │ -│ 53b2d9d │ May 25, 2021 │ 0.52048 │ 0.9032 │ 500 │ 1 │ 50 │ 2 │ -│ 872cd6c │ May 24, 2021 │ - │ - │ 500 │ 1 │ 50 │ 2 │ -│ 8188b34 │ May 23, 2021 │ - │ - │ 500 │ 1 │ 50 │ 2 │ -│ 9244ec3 │ May 22, 2021 │ - │ - │ 500 │ 1 │ 50 │ 2 │ -│ 08a3b89 │ May 21, 2021 │ - │ - │ - │ - │ - │ - │ -│ 16ba2cd │ May 20, 2021 │ - │ - │ - │ - │ - │ - │ -│ f0c0269 │ May 18, 2021 │ - │ - │ - │ - │ - │ - │ -│ 3e07290 │ May 17, 2021 │ - │ - │ - │ - │ - │ - │ -│ 90b2aea │ May 16, 2021 │ - │ - │ - │ - │ - │ - │ -└─────────────────────────┴──────────────┴──────────┴─────────┴────────────────────────┴──────────────────┴─────────────┴─────────────────┘ -└───────────────────────┴──────────────┴─────────┴────────────────────────┴──────────────────┘ + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**avg_prec** metric:**roc_auc** param:**featurize.max_features** param:**featurize.ngrams** param:**train.n_est** param:**train.min_split** + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── + workspace - 0.60405 0.9608 3000 2 100 64 + try-large-dataset Jun 01, 2021 0.67038 0.96693 3000 2 100 64 + master May 29, 2021 0.60405 0.9608 3000 2 100 64 + ├── d384680 [exp-bc055] 08:03 PM 0.51799 0.92333 500 2 100 64 + ├── 6b338f8 [exp-3315b] 08:03 PM 0.58589 0.945 2000 2 100 64 + └── d7fdde2 [exp-1b262] 08:03 PM 0.56447 0.94713 1500 2 100 64 + cc51022 May 28, 2021 0.55259 0.91536 1500 2 50 2 + 7ab3585 May 27, 2021 0.52048 0.9032 1500 2 50 2 + 53b2d9d May 25, 2021 0.52048 0.9032 500 1 50 2 + 872cd6c May 24, 2021 - - 500 1 50 2 + 8188b34 May 23, 2021 - - 500 1 50 2 + 9244ec3 May 22, 2021 - - 500 1 50 2 + 08a3b89 May 21, 2021 - - - - - - + 16ba2cd May 20, 2021 - - - - - - + f0c0269 May 18, 2021 - - - - - - + 3e07290 May 17, 2021 - - - - - - + 90b2aea May 16, 2021 - - - - - - + ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────── ``` Note that in this example, Git commits remain in chronological order. The diff --git a/content/docs/start/experiments.md b/content/docs/start/experiments.md index 651f701c2a..35d4d8d5c1 100644 --- a/content/docs/start/experiments.md +++ b/content/docs/start/experiments.md @@ -89,13 +89,13 @@ $ dvc exp show ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓ -┃ white:**Experiment** ┃ white:**Created** ┃ yellow:**loss** ┃ yellow:**acc** ┃ blue:**train.epochs** ┃ blue:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ 0.23282 │ 0.9152 │ 10 │ 16 │ -│ 7317bc6 │ Jul 18, 2021 │ - │ - │ 10 │ 16 │ -│ └── 1a1d858 [exp-6dccf] │ 03:21 PM │ 0.23282 │ 0.9152 │ 10 │ 16 │ -└─────────────────────────┴──────────────┴─────────┴────────┴──────────────┴──────────────────┘ + ───────────────────────────────────────────────────────────────────────────────────────────── + white:**Experiment** white:**Created** yellow:**loss** yellow:**acc** blue:**train.epochs** blue:**model.conv_units** + ───────────────────────────────────────────────────────────────────────────────────────────── + workspace - 0.23282 0.9152 10 16 + 7317bc6 Jul 18, 2021 - - 10 16 + └── 1a1d858 [exp-6dccf] 03:21 PM 0.23282 0.9152 10 16 + ───────────────────────────────────────────────────────────────────────────────────────────── ``` The `workspace` row in the table shows the results of the most recent experiment @@ -158,18 +158,18 @@ $ dvc exp show ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓ -┃ white:**Experiment** ┃ white:**Created** ┃ yellow:**loss** ┃ yellow:**acc** ┃ blue:**train.epochs** ┃ blue:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ 0.23508 │ 0.9151 │ 10 │ 24 │ -│ 7317bc6 │ Jul 18, 2021 │ - │ - │ 10 │ 16 │ -│ ├── e2647ef [exp-ee8a4] │ 05:14 PM │ 0.23146 │ 0.9145 │ 10 │ 64 │ -│ ├── 15c9451 [exp-a9be6] │ 05:14 PM │ 0.25231 │ 0.9102 │ 10 │ 32 │ -│ ├── 9c32227 [exp-17dd9] │ 04:46 PM │ 0.23687 │ 0.9167 │ 10 │ 256 │ -│ ├── 8a9cb15 [exp-29d93] │ 04:46 PM │ 0.24459 │ 0.9134 │ 10 │ 128 │ -│ ├── dfc536f [exp-a1bd9] │ 03:35 PM │ 0.23508 │ 0.9151 │ 10 │ 24 │ -│ └── 1a1d858 [exp-6dccf] │ 03:21 PM │ 0.23282 │ 0.9152 │ 10 │ 16 │ -└─────────────────────────┴──────────────┴─────────┴────────┴──────────────┴──────────────────┘ + ───────────────────────────────────────────────────────────────────────────────────────────── + white:**Experiment** white:**Created** yellow:**loss** yellow:**acc** blue:**train.epochs** blue:**model.conv_units** + ───────────────────────────────────────────────────────────────────────────────────────────── + workspace - 0.23508 0.9151 10 24 + 7317bc6 Jul 18, 2021 - - 10 16 + ├── e2647ef [exp-ee8a4] 05:14 PM 0.23146 0.9145 10 64 + ├── 15c9451 [exp-a9be6] 05:14 PM 0.25231 0.9102 10 32 + ├── 9c32227 [exp-17dd9] 04:46 PM 0.23687 0.9167 10 256 + ├── 8a9cb15 [exp-29d93] 04:46 PM 0.24459 0.9134 10 128 + ├── dfc536f [exp-a1bd9] 03:35 PM 0.23508 0.9151 10 24 + └── 1a1d858 [exp-6dccf] 03:21 PM 0.23282 0.9152 10 16 + ───────────────────────────────────────────────────────────────────────────────────────────── ``` By default, it shows all the parameters and the metrics with the timestamp. If @@ -182,18 +182,18 @@ $ dvc exp show --drop 'Created|train|loss' ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓ -┃ white:**Experiment** ┃ yellow:**acc** ┃ blue:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩ -│ workspace │ 0.9151 │ 24 │ -│ 7317bc6 │ - │ 16 │ -│ ├── e2647ef [exp-ee8a4] │ 0.9145 │ 64 │ -│ ├── 15c9451 [exp-a9be6] │ 0.9102 │ 32 │ -│ ├── 9c32227 [exp-17dd9] │ 0.9167 │ 256 │ -│ ├── 8a9cb15 [exp-29d93] │ 0.9134 │ 128 │ -│ ├── dfc536f [exp-a1bd9] │ 0.9151 │ 24 │ -│ └── 1a1d858 [exp-6dccf] │ 0.9152 │ 16 │ -└─────────────────────────┴────────┴──────────────────┘ + ───────────────────────────────────────────────────── + white:**Experiment** yellow:**acc** blue:**model.conv_units** + ───────────────────────────────────────────────────── + workspace 0.9151 24 + 7317bc6 - 16 + ├── e2647ef [exp-ee8a4] 0.9145 64 + ├── 15c9451 [exp-a9be6] 0.9102 32 + ├── 9c32227 [exp-17dd9] 0.9167 256 + ├── 8a9cb15 [exp-29d93] 0.9134 128 + ├── dfc536f [exp-a1bd9] 0.9151 24 + └── 1a1d858 [exp-6dccf] 0.9152 16 + ───────────────────────────────────────────────────── ``` After selecting an experiment from the table, you can create a Git branch that diff --git a/content/docs/use-cases/experiment-tracking.md b/content/docs/use-cases/experiment-tracking.md index d6995db29b..464dc6f5d3 100644 --- a/content/docs/use-cases/experiment-tracking.md +++ b/content/docs/use-cases/experiment-tracking.md @@ -26,18 +26,18 @@ instead, and not as a parallel system. [versioning everything]: /doc/use-cases/versioning-data-and-model-files ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━┓ -┃ white:**Experiment** ┃ yellow:**loss** ┃ yellow:**acc** ┃ blue:**epochs** ┃ blue:**model.conv_u** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━┩ -│ workspace │ 0.23508 │ 0.9151 │ 10 │ 24 │ -│ main │ - │ - │ 10 │ 16 │ -│ ├── e2647ef [exp-ee8a4] │ 0.23146 │ 0.9145 │ 10 │ 64 │ -│ ├── 15c9451 [exp-a9be6] │ 0.25231 │ 0.9102 │ 10 │ 32 │ -│ └── 9c32227 [exp-17dd9] │ 0.23687 │ 0.9167 │ 10 │ 256 │ -│ 7317bc6 │ - │ - │ 100 │ 16 │ -│ ├── 299dc5e [monograms] │ 0.24838 │ 0.9176 │ 100 │ 128 │ -│ └── 8a9cb15 [bigrams] │ 0.24459 │ 0.9134 │ 100 │ 64 │ -└─────────────────────────┴─────────┴────────┴────────┴──────────────┘ + ──────────────────────────────────────────────────────────────────── + white:**Experiment** yellow:**loss** yellow:**acc** blue:**epochs** blue:**model.conv_u** + ──────────────────────────────────────────────────────────────────── + workspace 0.23508 0.9151 10 24 + main - - 10 16 + ├── e2647ef [exp-ee8a4] 0.23146 0.9145 10 64 + ├── 15c9451 [exp-a9be6] 0.25231 0.9102 10 32 + └── 9c32227 [exp-17dd9] 0.23687 0.9167 10 256 + 7317bc6 - - 100 16 + ├── 299dc5e [monograms] 0.24838 0.9176 100 128 + └── 8a9cb15 [bigrams] 0.24459 0.9134 100 64 + ──────────────────────────────────────────────────────────────────── ```
diff --git a/content/docs/user-guide/experiment-management/cleaning-experiments.md b/content/docs/user-guide/experiment-management/cleaning-experiments.md index 2415553449..8a54ee91ec 100644 --- a/content/docs/user-guide/experiment-management/cleaning-experiments.md +++ b/content/docs/user-guide/experiment-management/cleaning-experiments.md @@ -79,19 +79,19 @@ $ dvc exp show --all-branches ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**acc** ┃ param:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ - │ 64 │ -│ cnn-48 │ 09:11 AM │ 0.9131 │ 48 │ -│ main │ Jul 21, 2021 │ 0.9189 │ 16 │ -│ ├── dac711b [cnn-32] │ 09:16 AM │ 0.9152 │ 32 │ -│ ├── 7cd3ae7 [cnn-48] │ 09:11 AM │ 0.9131 │ 48 │ -│ ├── ab585b5 [cnn-24] │ 09:06 AM │ 0.9135 │ 24 │ -│ ├── 7d51b55 [exp-44136] │ 09:01 AM │ 0.9151 │ 16 │ -│ └── 7feaa1c [exp-78ede] │ Aug 02, 2021 │ 0.9151 │ 16 │ -│ 8583124 │ Jul 20, 2021 │ 0.9132 │ 17 │ -└─────────────────────────┴──────────────┴────────┴──────────────────┘ + ──────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**acc** param:**model.conv_units** + ──────────────────────────────────────────────────────────────────── + workspace - - 64 + cnn-48 09:11 AM 0.9131 48 + main Jul 21, 2021 0.9189 16 + ├── dac711b [cnn-32] 09:16 AM 0.9152 32 + ├── 7cd3ae7 [cnn-48] 09:11 AM 0.9131 48 + ├── ab585b5 [cnn-24] 09:06 AM 0.9135 24 + ├── 7d51b55 [exp-44136] 09:01 AM 0.9151 16 + └── 7feaa1c [exp-78ede] Aug 02, 2021 0.9151 16 + 8583124 Jul 20, 2021 0.9132 17 + ──────────────────────────────────────────────────────────────────── ``` Supplying `--all-branches` keeps only the experiments in branch tips. Any @@ -107,14 +107,14 @@ Removed 6 experiments. To remove unused cache files use 'dvc gc'. The resulting `dvc exp show` table is as the following: ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**acc** ┃ metric:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ - │ 64 │ -│ cnn-48 │ 09:11 AM │ 0.9131 │ 48 │ -│ main │ Jul 21, 2021 │ 0.9189 │ 16 │ -│ 8583124 │ Jul 20, 2021 │ 0.9132 │ 17 │ -└─────────────────────────┴──────────────┴────────┴──────────────────┘ + ──────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**acc** metric:**model.conv_units** + ──────────────────────────────────────────────────────────────────── + workspace - - 64 + cnn-48 09:11 AM 0.9131 48 + main Jul 21, 2021 0.9189 16 + 8583124 Jul 20, 2021 0.9132 17 + ──────────────────────────────────────────────────────────────────── ``` ### Keeping experiments in all tags @@ -128,18 +128,18 @@ $ dvc exp show --all-tags ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**acc** ┃ metric:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━━┩ -│ workspace │ 0.9067 │ 16 │ -│ ├── 2fc4f81 [exp-a1b3c4]│ 0.9037 │ 48 │ -│ └── 21beb69 [exp-d4e3ff]│ 0.9367 │ 128 │ -│ my-experiments │ 0.9067 │ 16 │ -│ ├── 2fc4f81 [cnn-32] │ 0.9067 │ 32 │ -│ ├── 5bc84a3 [cnn-64] │ 0.9158 │ 64 │ -│ ├── 206cba6 [cnn-96] │ 0.9260 │ 96 │ -│ └── 21beb69 [cnn-128] │ 0.9379 │ 128 │ -└─────────────────────────┴────────┴───────────────────┘ + ───────────────────────────────────────────────────── + neutral:**Experiment** metric:**acc** metric:**model.conv_units** + ───────────────────────────────────────────────────── + workspace 0.9067 16 + ├── 2fc4f81 [exp-a1b3c4] 0.9037 48 + └── 21beb69 [exp-d4e3ff] 0.9367 128 + my-experiments 0.9067 16 + ├── 2fc4f81 [cnn-32] 0.9067 32 + ├── 5bc84a3 [cnn-64] 0.9158 64 + ├── 206cba6 [cnn-96] 0.9260 96 + └── 21beb69 [cnn-128] 0.9379 128 + ───────────────────────────────────────────────────── ``` ```dvc @@ -148,16 +148,16 @@ $ dvc exp show --all-tags ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**acc** ┃ metric:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━━┩ -│ workspace │ 0.9067 │ 16 │ -│ my-experiments │ 0.9067 │ 16 │ -│ ├── 2fc4f81 [cnn-32] │ 0.9067 │ 32 │ -│ ├── 5bc84a3 [cnn-64] │ 0.9158 │ 64 │ -│ ├── 206cba6 [cnn-96] │ 0.9260 │ 96 │ -│ └── 21beb69 [cnn-128] │ 0.9379 │ 128 │ -└─────────────────────────┴────────┴───────────────────┘ + ───────────────────────────────────────────────────── + neutral:**Experiment** metric:**acc** metric:**model.conv_units** + ───────────────────────────────────────────────────── + workspace 0.9067 16 + my-experiments 0.9067 16 + ├── 2fc4f81 [cnn-32] 0.9067 32 + ├── 5bc84a3 [cnn-64] 0.9158 64 + ├── 206cba6 [cnn-96] 0.9260 96 + └── 21beb69 [cnn-128] 0.9379 128 + ───────────────────────────────────────────────────── ``` ### Keeping experiments in all commits @@ -223,14 +223,14 @@ $ dvc exp show ``` ```dvctable -┏━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**param** ┃ -┡━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━┩ -│ workspace │ - │ - │ -│ 04abbb7 │ Jul 21, 2021 │ - │ -│ ├── *68808d5 │ 12:05 PM │ 20 │ -│ └── *7b83744 │ 12:05 PM │ 10 │ -└──────────────┴──────────────┴───────┘ + ───────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**param** + ───────────────────────────────────── + workspace - - + 04abbb7 Jul 21, 2021 - + ├── *68808d5 12:05 PM 20 + └── *7b83744 12:05 PM 10 + ───────────────────────────────────── ``` You can delete these queued experiments with `dvc exp remove --queue`. @@ -241,10 +241,10 @@ $ dvc exp show ``` ```dvctable -┏━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**param** ┃ -┡━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━┩ -│ workspace │ - │ - │ -│ 04abbb7 │ Jul 21, 2021 │ - │ -└──────────────┴──────────────┴───────┘ + ───────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**param** + ───────────────────────────────────── + workspace - - + 04abbb7 Jul 21, 2021 - + ───────────────────────────────────── ``` diff --git a/content/docs/user-guide/experiment-management/comparing-experiments.md b/content/docs/user-guide/experiment-management/comparing-experiments.md index 99e2a84a5f..6a274687ca 100644 --- a/content/docs/user-guide/experiment-management/comparing-experiments.md +++ b/content/docs/user-guide/experiment-management/comparing-experiments.md @@ -96,14 +96,14 @@ $ dvc exp show ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**loss** ┃ metric:**acc** ┃ param:**train.epochs** ┃ param:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ 0.23657 │ 0.9127 │ 10 │ 16 │ -│ baseline-experiment │ Sep 06, 2021 │ 0.23657 │ 0.9127 │ 10 │ 16 │ -│ ├── 6d13f33 [cnn-64] │ Sep 09, 2021 │ 0.23385 │ 0.9153 │ 10 │ 64 │ -│ ├── 69503c6 [cnn-128] │ Sep 09, 2021 │ 0.23243 │ 0.916 │ 10 │ 128 │ -└───────────────────────┴──────────────┴─────────┴────────┴──────────────┴──────────────────┘ + ─────────────────────────────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**loss** metric:**acc** param:**train.epochs** param:**model.conv_units** + ─────────────────────────────────────────────────────────────────────────────────────────── + workspace - 0.23657 0.9127 10 16 + baseline-experiment Sep 06, 2021 0.23657 0.9127 10 16 + ├── 6d13f33 [cnn-64] Sep 09, 2021 0.23385 0.9153 10 64 + ├── 69503c6 [cnn-128] Sep 09, 2021 0.23243 0.916 10 128 + ─────────────────────────────────────────────────────────────────────────────────────────── ``` `dvc exp show` only tabulates experiments in the workspace and in `HEAD`. You @@ -123,14 +123,14 @@ $ dvc exp show --include-params train.epochs --include-metrics auc,precision ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**loss** ┃ metric:**acc** ┃ param:**train.epochs** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━┩ -│ workspace │ - │ 0.23657 │ 0.9127 │ 10 │ -│ baseline-experiment │ Sep 06, 2021 │ 0.23657 │ 0.9127 │ 10 │ -│ ├── 6d13f33 [cnn-64] │ Sep 09, 2021 │ 0.23385 │ 0.9153 │ 10 │ -│ └── 69503c6 [cnn-128] │ Sep 09, 2021 │ 0.23243 │ 0.916 │ 10 │ -└───────────────────────┴──────────────┴─────────┴────────┴──────────────┘ + ──────────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**loss** metric:**acc** param:**train.epochs** + ──────────────────────────────────────────────────────────────────────── + workspace - 0.23657 0.9127 10 + baseline-experiment Sep 06, 2021 0.23657 0.9127 10 + ├── 6d13f33 [cnn-64] Sep 09, 2021 0.23385 0.9153 10 + └── 69503c6 [cnn-128] Sep 09, 2021 0.23243 0.916 10 + ──────────────────────────────────────────────────────────────────────── ``` Alternatively, you can exclude certain parameters and metrics from the table by @@ -142,14 +142,14 @@ $ dvc exp show --exclude-params train.epochs --exclude-metrics auc ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**acc** ┃ param:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩ -│ workspace │ - │ 0.9127 │ 16 │ -│ baseline-experiment │ Sep 06, 2021 │ 0.9127 │ 16 │ -│ ├── 6d13f33 [cnn-64] │ Sep 09, 2021 │ 0.9153 │ 64 │ -│ └── 69503c6 [cnn-128] │ Sep 09, 2021 │ 0.916 │ 128 │ -└───────────────────────┴──────────────┴────────┴──────────────────┘ + ────────────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**acc** param:**model.conv_units** + ────────────────────────────────────────────────────────────────── + workspace - 0.9127 16 + baseline-experiment Sep 06, 2021 0.9127 16 + ├── 6d13f33 [cnn-64] Sep 09, 2021 0.9153 64 + └── 69503c6 [cnn-128] Sep 09, 2021 0.916 128 + ────────────────────────────────────────────────────────────────── ``` By default, `dvc exp show` also has a column for the timestamp. You may want to @@ -160,14 +160,14 @@ $ dvc exp show --no-timestamp --include-params=model.conv_units --exclude-metric ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**acc** ┃ param:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩ -│ workspace │ 0.9127 │ 16 │ -│ baseline-experiment │ 0.9127 │ 16 │ -│ ├── 6d13f33 [cnn-64] │ 0.9153 │ 64 │ -│ └── 69503c6 [cnn-128] │ 0.916 │ 128 │ -└───────────────────────┴────────┴──────────────────┘ + ─────────────────────────────────────────────────── + neutral:**Experiment** metric:**acc** param:**model.conv_units** + ─────────────────────────────────────────────────── + workspace 0.9127 16 + baseline-experiment 0.9127 16 + ├── 6d13f33 [cnn-64] 0.9153 64 + └── 69503c6 [cnn-128] 0.916 128 + ─────────────────────────────────────────────────── ``` By default `dvc exp show` sorts the experiments by their timestamp. You can sort @@ -180,14 +180,14 @@ $ dvc exp show --sort-by auc --sort-order desc ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┳━━━━━━━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ metric:**acc** ┃ param:**model.conv_units** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━╇━━━━━━━━━━━━━━━━━━┩ -│ workspace │ 0.9127 │ 16 │ -│ baseline-experiment │ 0.9127 │ 16 │ -│ ├── 6d13f33 [cnn-64] │ 0.9153 │ 64 │ -│ └── 69503c6 [cnn-128] │ 0.916 │ 128 │ -└───────────────────────┴────────┴──────────────────┘ + ─────────────────────────────────────────────────── + neutral:**Experiment** metric:**acc** param:**model.conv_units** + ─────────────────────────────────────────────────── + workspace 0.9127 16 + baseline-experiment 0.9127 16 + ├── 6d13f33 [cnn-64] 0.9153 64 + └── 69503c6 [cnn-128] 0.916 128 + ─────────────────────────────────────────────────── ``` ## Parallel Coordinates Plot diff --git a/content/docs/user-guide/experiment-management/persisting-experiments.md b/content/docs/user-guide/experiment-management/persisting-experiments.md index 3314e36d29..9abd46b7f2 100644 --- a/content/docs/user-guide/experiment-management/persisting-experiments.md +++ b/content/docs/user-guide/experiment-management/persisting-experiments.md @@ -15,14 +15,14 @@ $ dvc exp show --include-params=my_param ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**auc** ┃ param:**my_param** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━┩ -│ workspace │ - │ 0.61314 │ 3 │ -│ new-experiments │ Oct 19, 2020 │ 0.61314 │ 3 │ -│ ├── exp-e6c97 │ Oct 20, 2020 │ 0.69830 │ 2 │ -│ └── exp-1df77 │ Oct 22, 2020 │ 0.51676 │ 1 │ -└───────────────────────┴──────────────┴─────────┴────────────┘ + ───────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**auc** param:**my_param** + ───────────────────────────────────────────────────────── + workspace - 0.61314 3 + new-experiments Oct 19, 2020 0.61314 3 + ├── exp-e6c97 Oct 20, 2020 0.69830 2 + └── exp-1df77 Oct 22, 2020 0.51676 1 + ───────────────────────────────────────────────────────── ``` Suppose you want to continue to work on `exp-e6c97` in a separate branch. You @@ -59,14 +59,14 @@ $ dvc exp show --include-params=my_param ``` ```dvctable -┏━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━━━━━┓ -┃ neutral:**Experiment** ┃ neutral:**Created** ┃ metric:**auc** ┃ param:**my_param** ┃ -┡━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━━━━━┩ -│ workspace │ - │ 0.61314 │ 3 │ -│ new-experiments │ Oct 19, 2020 │ 0.61314 │ 3 │ -│ ├── exp-e6c97 │ Oct 20, 2020 │ 0.69830 │ 2 │ -│ └── exp-1df77 │ Oct 22, 2020 │ 0.51676 │ 1 │g -└───────────────────────┴──────────────┴─────────┴────────────┘ + ─────────────────────────────────────────────────────────── + neutral:**Experiment** neutral:**Created** metric:**auc** param:**my_param** + ─────────────────────────────────────────────────────────── + workspace - 0.61314 3 + new-experiments Oct 19, 2020 0.61314 3 + ├── exp-e6c97 Oct 20, 2020 0.69830 2 + └── exp-1df77 Oct 22, 2020 0.51676 1 + ─────────────────────────────────────────────────────────── ``` The results found in the workspace are shown in the respective row. When you diff --git a/src/components/Blog/Post/Markdown/styles.module.css b/src/components/Blog/Post/Markdown/styles.module.css index ed7dbeff48..9ff7a5a54a 100644 --- a/src/components/Blog/Post/Markdown/styles.module.css +++ b/src/components/Blog/Post/Markdown/styles.module.css @@ -333,6 +333,11 @@ color: #ccc; } + code[class*="language-dvctable"] { + display: inline-block; + line-height: 24px; + } + :global { .gatsby-highlight-code-line { display: block; @@ -359,6 +364,17 @@ } .language-dvctable { + .token.rows { + background-image: linear-gradient( + transparent 50%, + rgb(256 256 256 / 10%) 50% + ); + background-size: 100% 48px; + display: block; + background-origin: content-box; + background-attachment: local; + } + .token.hide { display: none; } diff --git a/src/components/Documentation/Markdown/Main/styles.module.css b/src/components/Documentation/Markdown/Main/styles.module.css index 469d6d3fe1..25c61707fb 100644 --- a/src/components/Documentation/Markdown/Main/styles.module.css +++ b/src/components/Documentation/Markdown/Main/styles.module.css @@ -236,7 +236,7 @@ } } - pre[class*="language-dvctablehorizontals"] { + pre[class*="language-dvctable"] { code { display: inline-block; line-height: 20px;