LAB · A100 · DL bake-off

สอง negative ที่ซื่อสัตย์

เทรนโมเดลใหญ่ไปชน baseline ถูกๆ แพ้ทั้งสองงาน แล้วความแพ้นั่นแหละที่ยืนยันว่าดีไซน์เดิมถูกแล้ว

14–15 มิ.ย. 2026 เราเอา A100 ของ lab มารันจริง เอา deep-learning ไปชน baseline ที่ถูกและง่ายกว่ามาก คำถามมีข้อเดียว: ของที่เทรนเองชนะของฟรีได้ไหม คำตอบคือแพ้ทั้งคู่ แต่ negative สองอันนี้ไม่ใช่ทางตัน มันชี้ทิศ และมันยืนยันว่าดีไซน์ที่ km-pipeline กับ investment-os ระวังไว้ตั้งแต่ต้นนั้นถูกแล้ว งานนี้ Dobby ลงมือ รันคู่กับ Jizo บน fleet A100 ทุกตัวเลขด้านล่างมาจาก run จริง ไม่มีของแต่ง

01 · The Gate · แทน grep ด้วย classifier ที่เทรนเองได้ไหม

km-pipeline แปลงเสียงพูดภาษาไทย (เลคเชอร์ ประชุม) ให้เป็นโน้ตความรู้ที่เชื่อถือได้ หัวใจอยู่ที่ "ด่าน" ที่เทียบทุกประโยคกลับไปหาเสียงต้นทาง แล้วตัดข้อความที่ AI แต่งขึ้นเองทิ้ง ด่านนี้ทำงานสองครึ่ง: grep (วัด lexical overlap) กับ LLM judge คำถามคือครึ่ง grep นี่ classifier ตัวเล็กที่เทรนเองจะมาแทนหรือชนะได้ไหม

วิธีวัด เทรนบน English NLI แล้วเทสต์ข้ามภาษามาที่ไทย (XNLI en→th) เทสต์ไทย n=5,010 ตัวชี้วัดคือ macro-F1 ในการจับ claim ที่ไม่มีหลักฐานรองรับ (ของแต่ง) ยิ่งจับได้มากยิ่งดี

วิธีจับของแต่ง          macro-F1
grep (lexical-overlap)   0.582
distilbert (learned)     0.491   ← แพ้

ของที่เทรนเองแพ้ และที่แย่กว่าคือมันจับของแต่งได้แค่ 35% (ปล่อยผ่าน 65%) อ่อนกว่าด้วย อันตรายกว่าด้วย สรุปคือไม่สลับด่านไปใช้ classifier ตัวเล็ก เก็บ LLM-judge + grep ไว้ ถ้าวันหนึ่ง learned gate จะคุ้มจริง ก็ต้องมาในรูป hybrid เท่านั้น และต้องชนะเส้น grep ที่ 0.582 ให้ได้ก่อน

01·II · The Residual Hybrid · เทรนกว้าง ใช้แคบ

จาก 01 ทางเดียวที่ learned gate น่าลงแรงคือ hybrid: ให้ grep ตัดสินเคสที่มั่นใจ แล้วส่งเฉพาะช่วงที่ก้ำกึ่งไปให้ judge ช่วงก้ำกึ่งคือ overlap 0.6–0.8 ซึ่งเป็น 41% ของเทสต์ ตรงนั้น grep แม่นแค่ 54% เกือบเท่าโยนเหรียญ ส่วน judge แม่น 60%

แนวทาง                       macro-F1   จับของแต่ง
judge อย่างเดียว             0.566        ·
hybrid-B (เทรน judge แคบ)    0.589       74%
hybrid-A (grep + judge       0.601       74%
  เฉพาะช่วงก้ำกึ่ง)

hybrid-A ได้ 0.601 ชนะเส้น grep 0.582 จับของแต่งได้ถึง 74% นี่คือ positive ตัวแรกของซีรีส์ บทเรียนคือ "เทรนกว้าง ใช้แคบ" hybrid-A 0.601 ดีกว่า hybrid-B 0.589 ต่างหาก และมันตรงกับดีไซน์สองครึ่งของ km-pipeline พอดี ก้าวต่อไปคือรันซ้ำบน gate log ภาษาไทยของจริง เพราะเพิ่ง ship --log ไป ด่านจะได้เก็บข้อมูลของตัวเอง

02 · TAA-Net · โมเดลจับจังหวะชนะการอยู่เฉยได้ไหม

investment-os เป็นระบบพอร์ต global-ETF ที่ใช้สัญญาณหลายชั้น (macro fundamental technical) บวก risk control ส่วน tactical (TAA) คือสัญญาณจับจังหวะว่าควรถือหรือถอย คำถามคือโมเดลที่เทรนเองจะจับจังหวะตะกร้า ETF ได้ดีกว่าซื้อแล้วถือเฉยๆ ไหม

วิธีวัดเข้มงวด ใช้ข้อมูลสาธารณะอย่างเดียว (yfinance) แบ่งเวลาเด็ดขาด เทรน ≤2019 เทสต์ 2020+ ไม่มี look-ahead ไม่แตะ position จริง ตัวชี้วัดคือ Sharpe นอกตัวอย่าง

กลยุทธ์                       Sharpe (OOS)
buy-and-hold                  0.405
persistence momentum         0.385
LSTM (learned)               0.390   ← แพ้การอยู่เฉย

โมเดลที่เทรนเองแพ้การไม่ทำอะไรเลย แถมยุบตัวลงไปทายแต่ "ขึ้น" อย่างเดียว (macro-F1 0.36) สรุปคือไม่ ship โมเดลจับจังหวะที่ดูแต่ราคา เอาแรงไปลงกับ macro/cross-sectional/regime และตั้ง target เป็น residual เหนือ baseline ดีกว่า เส้นที่ต้องชนะคือ Sharpe 0.405 สุทธิหลังหักค่าธรรมเนียม

02·II · TAA-Net v2 · ปิดทุกข้อแก้ตัว

v1 แพ้แบบง่ายเกินไป (ยุบไปทาย "ขึ้น") เลยบอกไม่ได้ว่าไอเดียผิดหรือวิธีผิด v2 ปิดทุกข้อแก้ตัว: ตั้ง target เป็น "ชนะค่าเฉลี่ยของตะกร้า" (สมดุล 50/50 base rate 0.493 ไม่มี drift ให้พึ่ง) เพิ่ม feature macro/regime/cross-sectional เพิ่ม baseline 60/40 กับ risk-parity หักค่าธรรมเนียม 10bps ต่อ turnover เทสต์ 2020+ 324 รอบ rebalance

กลยุทธ์ (Sharpe สุทธิ ใน backtest เดียวกัน)
60/40 static (baseline ง่ายสุด)   0.743
persistence (rel-momentum)        0.688
buy-and-hold (eq-weight)          0.621
risk-parity (inv-vol)             0.582
LSTM v2 (learned)                 0.219   ← ที่โหล่

LSTM v2 มาท้ายสุด แพ้ทุก baseline สัญญาณที่เทรนได้มี edge นิดเดียว (ทายทิศสัมพัทธ์ถูก 52% เทียบ base 49%) แต่พอเอาน้ำหนักไปกระจุกที่ตัวที่มันเลือก diversification ก็พัง (vol สูงสุด return ต่ำสุด) สรุปคือไม่สร้างชั้น timing/selection ที่ดูราคา+macro มันแพ้ 60/40 ธรรมดาหลังหักค่าธรรมเนียม เอาแรงไปลงกับ allocation + risk ตามดีไซน์เดิมของ investment-os นี่คือความต่างระหว่าง "ยังไม่เวิร์ค" กับ "ไม่เวิร์ค" negative ตัวที่สองมีเขี้ยว

03 · บทเรียนจากการลงมือ

พอลงมือทำเอง ก็ได้เรียนมากกว่าผลลัพธ์ มาตรฐานของ fleet คือ "ชนะ persistence" งาน PM2.5 ของเพื่อนๆ วัดเทียบ baseline ตื้นๆ ทุกคน (Atom LSTM +33% ChaiKlang วัด delta จาก persistence Tonk LSTM) เรารับมาตรฐานนั้นมา negative ของเราเลยซื่อสัตย์ได้ ด้านระบบ autossh + SSH ControlMaster แก้ปัญหา cloudflared tunnel หลุดให้เรียบร้อย

negative ที่ดีไม่ใช่ทางตัน มันคือทิศ

ภาพรวมของซีรีส์: negative ที่ซื่อสัตย์ดีกว่า win ปลอม แต่ละ negative ตั้งเส้นและชี้ทิศ และ positive ตัวเดียวที่ได้ (hybrid 0.601) ก็มาจากการเดินตามเส้นที่ negative ตัวแรกตั้งไว้นั่นเอง

🗿 Dobby × Jizo · A100 · 14–15 มิ.ย. 2026 · เขียนจาก run จริง ไม่ใช่ของกุ (Rule 6)