Skip to content

Latest commit

 

History

History
64 lines (44 loc) · 4.65 KB

pE-testcase-report.md

File metadata and controls

64 lines (44 loc) · 4.65 KB

pE 五芒星 (Pentagram) 測資錯誤報告

摘要

競賽結束後,參賽者報告認為該題目的測資有誤,並在調查中發現其中一個子任務缺少測資,導致部分子任務錯置。

rejudge 後,3 人補給 83 分,4 人補給 26 分,名次皆不變。

問題

本題目共有兩個問題。

部分標準解答錯誤

使用 TLE 的程式碼作為標程執行後,發現測資 3-03、3-06、3-07、4-06、4-10、4-12 的標準解答 output 錯誤。

備註:3-* 的測資在 CMS 參賽介面中為子問題 4;4-* 的測資為子問題 5。

部分子任務錯置

另外在調查中發現,題本中標註的子任務 4(限制為只有事件 1、2、4),實際上對應的測資檔不存在,導致後面子任務測資往前遞補。

  • 題本上的子任務 5(配分 38 分,限制為對於事件 3,k = 1),在 CMS 上實際為子問題 4,配分 26 分。
  • 題本上的子任務 6(配分 19 分,無額外限制),在 CMS 上實際為子問題 5,配分 38 分。
  • 另外產生的子問題 6 由於沒有指定測資,自動變為包含所有測資檔(需通過前面所有的測資點才能拿到該分數),配分 19 分。

時間軸及技術說明(面向命題人員的說明) 

校內賽的準備工作自 2020 年起採用 TPS 系統,並在 2021 年起使用 GitHub Actions 自動化建置測資操作。

在經過調查 pE 的 commit 紀錄後發現:

  • 在 9/18 18:17(commit 68d36b6)增加了子任務 4。
  • 在 9/18 18:20(commit a704435)修改了產測資指令,但兩筆 commit 自動觸發的建置測資皆因為 validator 檢查失敗(表示測資格式不符題目規定)而導致建置測資失敗,但實際是 validator 沒有符合題目規定。
  • 在 9/18 18:29(commit 2b81bd3)修正了 validator,但僅修改 validator 並不會重新建置測資。
  • 在此之後都沒有會觸發建置測資的 commit,導致測資保持在 9/18 前的版本,即沒有子任務 4 的狀態。

但由於子任務的設定(subtasks.json)中有包含子任務 4,導致在匯入 CMS 時,CMS 將後面的測資遞補使用,子問題 4 實為題本上的子任務 5(tests 3-*),子問題 5 實為題本上的子任務 6(tests 4-*),子任務 6 自動變為包含所有測資。

對參賽者的補救措施

測資錯誤部分,以正確的測資 rejudge,通過測資即給予該筆測資分數。

子任務錯置部分

  • 考量應以題本上的子任務說明為準,補上子任務 4 的測資,重測通過即給予題本上規定的 26 分。
  • 子任務 5 重測通過即給予題本上規定的 38 分。
  • 子任務 6 重測通過即給予題本上規定的 19 分。
測資的額外限制 在題本上標註為 實際在賽中為 補救措施
只有事件 1、2、4 子任務 4,26 分 不存在 補上測資,通過給予 26 分
對於事件 3,k = 1 子任務 5,38 分 子問題 4,26 分 通過給予 38 分
無額外限制 子任務 6,19 分 子問題 5,38 分 通過給予 19 分
所有測資 N/A 子問題 6,19 分 N/A

rejudge 所有 submission 後,原本第 1、2、3 名額外獲得 83 分,原本第 4、5、6、10 名額外獲得 26 分,所有參賽者名次皆不變。

發生原因及改進建議

  • 原因:原先會在 CMS 機器上重新手動建置所有測資,以確保測資無誤,但臨時協助遠端參賽,因此未執行該操作(實際上競賽推遲了 10 分鐘開始,又漏上傳題本延遲 2 分鐘結束)
    • 改進建議:手動建置所有測資列為賽前準備 SOP 並準備 Checklist,並明確分工負責任務。
  • 原因:修改 validator 不會重新建置測資
    • 改進建議:修改 validator 一律重新建置測資
  • 原因:solutions-check.txt 中 TLE 的程式碼皆在標程 WA 的測資上 TLE,而無法檢查出 WA。
    • 改進建議:考慮讓暴力法程式執行完所有測資,但仍需考慮實際所需時間及效能。
  • 原因:協助驗題人員亦在 WA 測資上 TLE,而未能檢出錯誤。
    • 改進建議:確保每個題目都有額外一人能完整 AC。