Amalgam Blog

2023年02月


新ルール出てます。
 

競技に関しては、救助エリアが「ステップアップができない状態を維持しつつ」「更に難しくなっている」ので、もう言うことは特にありません。
(僕が知らないだけで、もしかして今のルールって他のブロックや国では簡単にクリアされてるもんなんです??)

まぁ救助周りは焼け石に水というか、難しいものが難しくなっただけなのであまり影響はありませんが、今回大きく変わったのが得点計算に関する部分です。

4.6.14で
The field score for every round will be normalized with the score of the best team of that round: 
(NORMALIZED FIELD SCORE) = (FIELD SCORE) / (FIELD SCORE OF BEST TEAM)
とあり、最も良かったチームに合わせてスコアが正規化されるようになります。
なぜそんなことをするかというと、続いて増えた4.6.15で
The final score is made up of a weighted sum of normalized scores from the field score and the rubrics as such:
(TOTAL SCORE) = 0.8 x (MEAN OF NORMALIZED FIELD SCORES)
+ 0.2 x (NORMALIZED RUBRICS SCORE)
と計算するためです。
前々から言われていましたが、ルーブリックスコア(プレゼンやインタビューのスコア)を最終的な順位付けにも算入することになっています。

意図は分かるけど、実際この計算方法はどうなんだ...?と思います。

疑問1:
「最も良かったチームに合わせてスコアが正規化される」ということは、1位を除くチームのスコアは、1位のチームの得点に影響を受け上下します。これによって競技スコアの上下関係が入れ替わることはありませんが、トータルスコアに対する影響力が変わります。

例えば1位のチームが突出して良い競技得点を得た場合、それ以外のチームの競技スコアは0に近くなり、トータルスコアにおいてはルーブリックスコアが支配的になります。これにより、2位以降は実質的にプレゼンなりの事前資料の出来栄えで順位が決まることになります。

これは極端な例ですが、1位チームの得点によってはこのようにルーブリックスコアが支配的になる変曲点が存在するはずです。(逆に言うと、この変曲点付近では1位の得点によって2位以降の順位が入れ替わる可能性があり、1位のチームが自身の競技得点を操作する(途中リタイア等)ことによって順位付けに間接的に干渉できてしまいます。)

このあたりがどれぐらい現実的な話なのか、というのは宿題として手元で計算して検証してみます。杞憂だといいですが。

疑問2:
正規化はラウンドごとに行う、ということになっていますが、ラウンドを複数回行った際のスコアの合算方法が示されていません。
→示されてました。"MEAN OF NORMALIZED FIELD SCORES"とあるので、平均でした。
大会運営に任せるということでしょうが、あまり安易な合算を行うと色々とマズい予感もします。
(これも追々手元で計算して検証します)

例えばAとBの2チームに注目して
第1ラウンド:A=150, B=60, 1位=300
第2ラウンド:A=50, B=100, 1位=100
という競技得点の結果が出たとすると、それぞれのチームの競技スコアは
スコア = (第1ラウンドのスコア, 第2ラウンドのスコア)として
A = (0.5, 0.5)
B = (0.2, 1.0)
となります。スコアを合算方法を加算だと
A = 1.0, B = 1.2
乗算だと
A = 0.25, B = 0.20
とスコアの上下関係が入れ替わります。

ちなみに従来の得点を加算する方式だと
A = 200, B = 160
となりAチームが上位に数えられます。

この簡単な例だけで適当なことは言えないので、もう少ししっかり考察しますが、今までと順位の付き方が変わりそうです。

疑問3:
そもそもルーブリックスコアをそんなにしっかり評価できるのか?という話です。ルーブリックの内訳は更に「TDP(Technical Description Paper)」「Engineering Journal」「Poster」と分かれており、ご丁寧に加算する際の比重まで設定しています。
(いや、これ審査するのキツいって)


・そもそもルーブリックの審査をしっかりできない
→ルーブリック得点は考慮しないことにする
→順位付けは競技スコアだけ
→じゃあ競技得点を正規化する必要はないよね

という感じで、しばらくは運用されないとは思いますが...
(ジャパンでも運用は難しい...と思う)




まだ審査会が終わっていませんが、修論も提出しやっと多忙さからも解放されつつあります。

色々停滞させていたプロジェクトを再開させればと思います。


 

このページのトップヘ