sokuto: 長文State分離交差アテンション ＆ L3キャッシュ局所性アーキテクチャ

2セッション分割・xxHash3動的INT8圧縮・IoBindingゼロコピーによるO((N+M)²)計算量爆発の排除

sokuto: 長文State分離交差アテンション ＆ L3キャッシュ局所性アーキテクチャ 2セッション分割・xxHash3動的INT8圧縮・IoBindingゼロコピーによるO((N+M)²)計算量爆発の排除 01 / ドキュメント ＆ 質問ストリーム 02 / CPU L3 キャッシュ保護領域 (<=6.5MB) 03 / 交差アテンション推論エンジン 04 / 決定論的型付き出力 コールドセッション: State キャッシュ (1回のみ) ゼロコピー転送 (~0.1ms) ホットセッション: 追加質問即答 (各8ms) CPU L3 キャッシュ常駐領域 (<=6.5MB) 2層 交差アテンション ＆ SAB スタック 長文ドキュメント (State) · 契約書・利用規約 (最大 8k) · ドキュメント ＆ 質問ストリーム › コールドセッション: State キャッシュ (1回のみ) 長文ドキュメント (State) 契約書・利用規約 (最大 8k) State エンコーダ · ModernBERT 最終層 (H_state) · ドキュメント ＆ 質問ストリーム › コールドセッション: State キャッシュ (1回のみ) · Cold 1回のみ実行 State エンコーダ ModernBERT 最終層 (H_state) Cold 1回のみ実行 質問ストリーム (Query) · Q1: 守秘義務 / Q2: 競業期間 · ドキュメント ＆ 質問ストリーム › ゼロコピー転送 (~0.1ms) 質問ストリーム (Query) Q1: 守秘義務 / Q2: 競業期間 xxHash3 & INT8 圧縮 · INT8 圧縮 (550MB → 6.3MB) · CPU L3 キャッシュ保護領域 (<=6.5MB) › CPU L3 キャッシュ常駐領域 (<=6.5MB) › コールドセッション: State キャッシュ (1回のみ) · L3 キャッシュ保護 (< 6.5MB) xxHash3 & INT8 圧縮 INT8 圧縮 (550MB → 6.3MB) L3 キャッシュ保護 (< 6.5MB) ort::IoBinding ゼロコピー · DDR5主記憶往復を完全回避 · CPU L3 キャッシュ保護領域 (<=6.5MB) › CPU L3 キャッシュ常駐領域 (<=6.5MB) › ゼロコピー転送 (~0.1ms) · 転送遅延 ~0.1ms 想定 ort::IoBinding ゼロコピー DDR5主記憶往復を完全回避 転送遅延 ~0.1ms 想定 Query-to-State Cross-Attn · 2層 交差アテンション & SAB · 交差アテンション推論エンジン › 2層 交差アテンション ＆ SAB スタック › ホットセッション: 追加質問即答 (各8ms) · O((N+M)²) 爆発排除 Query-to-State Cross-Attn 2層 交差アテンション & SAB O((N+M)²) 爆発排除 型付き決定 (AutoExecute) · Choice / Score / Noul 確定 · 決定論的型付き出力 › ホットセッション: 追加質問即答 (各8ms) · 追加質問 ~8ms 目標 型付き決定 (AutoExecute) Choice / Score / Noul 確定 追加質問 ~8ms 目標 L3キャッシュ常駐 8ms確定 8k Tokens 最終層隠れ状態抽出 ゼロコピー転送 (~0.1ms) 軽量質問投入 (Hot) Legend User UI Agent logic Context / trace External system