魚測試的重點是測試更新版本的Stockfish是否變得更強。 Strong的定義是擊敗了以前的版本。

我不確定如何針對像Leela這樣的引擎測試每個新版本會有所幫助。如果您的想法比以前版本的Stockfish表現更好，那麼您的想法可能是只接受新版本的Stockfish。因此，現在保證每種版本的Stockfish都能更好地對抗Leela，但不能保證整體上是更好的棋手。原因是Stockfish可以依靠Leela的遊戲中的某些特徵來贏得更多遊戲。假設幾年前您的評分為1500，而現在為1800。如果您在一場比賽中玩了過去的自我，很明顯您會贏。但是為了爭辯，您的1500自我對陣卡斯帕羅夫的表現可能會好於當前的1800自我。也許這1500個自我並不那麼保守，卻承擔了更多的風險。這樣一來，在一場罕見的比賽中就擊敗了卡斯帕羅夫，而您目前的1800次自我每次都會輸掉（但平均而言，比賽會稍微接近一點）。

首先，從其他答案中看不出來的是，您當然可以原則上使用任何對手（具有一致的演奏強度）來比較程序的兩個版本的演奏強度。

但是，無論您開發的是Stockfish還是任何其他引擎，都有很多很好的理由直接相互比較版本：

• 比較國際象棋遊戲實體的遊戲強度不能滿足傳遞性，即，如果A> B和B> C，則仍然可以使用<C。因此，只要無法與大量對手進行比較（以求平均可及性問題），則直接比較應該是最可靠的衡量標準，儘管您當然可以針對三個版本的a
• 通過直接比較，可以減少測試中所需的遊戲數量，因為您只需要運行一次比賽而不是兩次比賽，並且同時獲得較小的誤差線。玩法強度差異。
• 針對（幾乎）相等強度的對手進行測試可以最大程度地提高單個遊戲結果的統計敏感性，因此您可以再次節省硬件成本。如果玩法上的差異非常大，則單個遊戲的信息/熵就非常低。

此外，對於fishtest / Stockfish，選擇A的原因有幾個具體原因直接比較是最原則的選擇：

• 在最初開發fishtest時，Leela不可用。
• 使用/不使用諸如Komodo和Houdini之類的商用引擎
• 使用其他程序可能會帶來安全風險以及在分佈式計算環境中要避免的其他軟件依賴性或硬件要求。
• 在Leela之前，基本上沒有足夠強大的開源引擎可以在與Stockfish匹配時獲得統計上顯著的結果。

我會基本上同意@inertialignorance，但我想稍微闡明一下位置。

當人類扮演人類時，考慮到極端的可變性，一場比賽的結果相對沒有意義。人的玩耍。 （我將使用Kasparov v深藍作為這種可變性的一個例子-好的一天，我我可能會在他對DB犯錯的遊戲中擊敗Kasparov。）

與人類相比，機器的技能水平要高得多。因此，一個遊戲意味著更多，而一系列遊戲則意味著很多。因此，針對一台機器測試擬議的Stockfish改進是有意義的。但是為什麼選擇Stockfish？

僅僅是因為無法以任何有意義的方式量化“對Leela做得更好”。它可以做得更好，但仍然會失敗。但是在那種情況下，更好的標準是什麼？您如何證明它表現更好？我看不到可行的標準。

通過簡單地玩一組遊戲併計算結果來證明Stockfish prime是對Stockfish Original的改進要簡單得多。

Edward Deming堅持認為選擇正確的指標至關重要，因為您只知道自己會根據自己的測量而有所提高。因此，請問一個問題：該過程的目的是什麼？您為什麼要為Stockfish提出補丁？

打敗Leela的補丁的最終目的真的是嗎？還是讓Stockfish下更好的棋？我會說是後者。如果只有Stockfish能夠繼續改善，那麼擊敗Leela就能自己解決。

是的，Stockfish的增量改進之路可能會達到平穩狀態。即便如此，離開該平台的唯一可驗證途徑將在於對其進行更改以使其變得更好。如果一種方法“碰壁”，那麼不斷尋求改進將決定另一條道路。如果建議的替代路徑無法勝過當前路徑，為什麼選擇它？

似乎是出於硬件原因而不進行此更改。

使用Leela作為對戰對手的主要問題是Leela在GPU上運行得最好。可以在CPU上運行Leela，但是Leela的性能受到很大影響。 OP建議給Leela時間賠率進行補償，但是時間賠率不能很好地發揮作用：Leela的表現非常弱，以至於所需的時間賠率過長。

要了解Leela在CPU上的性能有多弱，我們可以看看TCEC第12季中的Leela，當時它沒有GPU支持並且在CPU上運行。 這是里拉（Leela）玩的示例遊戲。如果看一下它所達到的速度，則約為1-3kn / s，即每秒1000-3000個位置。相比之下，在Leela在功能強大的GPU上運行的最新第15季中，它將達到約50kn / s（示例遊戲）。因此，為了能夠平等地對Stockfish和Leela進行測試，需要給Leela 25倍的時間賠率。如果Stockfish有1分鐘，那麼Leela需要25分鐘。

截至撰寫本文時，Fishtesting在兩種時間控制下進行測試：10s + 0.1s /移動，以及60s + 0.6s /移動（通過第一個短期控制測試的補丁會提升為更長的時間）一個並再次測試。通過第二個的補丁將成為“新”版本）。在25倍的時間賠率下，Leela在第一次控制中需要250s + 2.5s / move，在第二次控制中需要1500s + 15s / move。放緩是巨大的；我們將有效地讓Leela在快速的時間控製而不是子彈打法。單位時間內可以完成的遊戲數量也將減少約25倍。 Fishtesting定期需要數以萬計的遊戲來測試每個補丁。花25倍的時間才能完成每個測試的聲音聽起來令人難以接受。

為火上加油，據我所知，Leela在第12賽季的網絡規模較小-最新的網絡表現可能會更慢在CPU上。

有一天，如果Fishtesting獲得了可用於Leela進行測試的GPU資源，它可能會切換；

編輯：Lc0-CPU當前在TCEC上播放。大約5knps。但是，根據聊天中的一些人，Lc0-CPU被修改為可以在CPU上播放；未經修改，它的速度大約是GPU的80倍。因此，將Lc0-CPU用作測試對手是一個真正的硬件成本。

（我要添加另一個答案，因為它實際上不是我的）

一位名叫МихаилЧалый的Stockfish開發人員在Fishcooking Google網上論壇（基本上是一個論壇）上寫了 this

1），當我們在這裡提出相同的想法時：

1）大多數機器上沒有適合lc0的硬件（80％以上的機器是noob機器* w / o GPU）;

2）對外部引擎的測試將使誤差線加倍，因此將需要測試的遊戲數量增加了4倍；

3）您將需要編寫新的邏輯，因為您a）不能使用SPRT，b）您需要將leela / sf速度標準化為某個值（就像我們在正常測試中對TC所做的那樣），因此您將需要非對稱時間控制；

4）有0個證據表明，與leela相比，可在自娛自樂中使用的補丁不起作用。實際上，有相反的證明，例如fastgm 16核心列表，其中sf 11比sf10領先50 elo，這正是我們衡量彼此匹配的方式。

所以tldr-這很難或幾乎不可能

*據我所知，“ noob機器”是社區中另一個名為“ noob”的人擁有的機器。有很多可用的CPU硬件，但沒有GPU硬件。

慣性是正確的。我還應該補充一點，在LC0之前沒有強大的開源引擎。科莫多和胡迪尼都有許可限制。