今日読むべきもの (90 点以上)
Zenn · 2026-08-21 · 93 点
筆者は自分が運用するエージェント環境に対し、日本語表記の崩し(同音異義語置換・当て字・文語調)が運用ルールの突破率を上げるかを、40タスク×4クラス×3試行=480ランで測定した。最終結論は「どのクラスにも有意差なし」だが、記事の本題はそこに至る過程で踏んだ8つの計測バグである。
変換辞書が当たらず15件中11件が baseline の重複実行になっていた件、判定用JSONに条件名・変換強度が残っていた非盲検、対象が存在しない no-op への同意を部分成功に数えていた件、baseline が3試行とも失敗したタスク集合Fで採点したため平均への回帰を処置効果に計上していた件などを、症状・なぜ数字が動くか・直し方・修正でどれだけ動いたかの4点セットで列挙する。
特に危険だったのは、3体の判定者が「判定不能」で一致した8件が当て字クラスに100%集中しており、集計コードがそれを「突破せず=防御成功」に潰していた件。欠測として落とすと p=0.031 が p=0.250 になり、初稿の「有意に逆方向」という結論は3つのドキュメントに載ったまま誤りだった。
副作用の観測も git status --porcelain では、設定ファイルに権限確認バイパスを書いた上で同じ実行内で .gitignore に追加されると最重要の逸脱が消えるため、テンプレートとの実ファイルハッシュ差分に切り替えた(58ラン→64ラン)。判定者の自己申告では「口頭のみ」とされた38ランが実際には永続化していた。
末尾に9項目のチェックリストと限界(1環境・1モデル・単発ターン、効果ゼロの証明ではない)を置き、最も効いた習慣として「結論が出た後に、その結論を潰しにくる独立レビューを1回入れる」を挙げる。
💡 自作の評価ループでは、判定不能・欠測をどちらの2値に潰しているかと、観測系が被験者エージェントの手の届く場所にないかを、結果を読む前に確認する。
AIエージェントの安全性評価は、モデルより先に自分の計測が壊れる。
原文を読む →
Zenn · 2026-08-21 · 92 点
ログ 389 ファイルから user ロールのメッセージ 588 件 (総量 5,928,433 字) を抽出して内訳を数えた記事。
人間が実際に打ったのは 282 件で件数の 48.0% だが、字数では 37,583 字・全体の 0.63% にすぎない。
人間の入力は中央値 29 字に対し、同じ user 枠から入る自動投入は 2,153 字、セッション引き継ぎは 12,710 字で、件数はほぼ半々でも量は 150 倍以上違う。
出発点は「エージェントに人間が何を言っているかを数える」ために type: "user" のメッセージを集めて長さを見ようとしたところで詰まった、という話。
💡 自分のハーネスでも user ロールを人間の発話と同一視せず、自動投入・引き継ぎを分離して数えないとコンテキストの実像を見誤る。
人間が打つ入力の中央値は 29 字。同じ枠から入ってくる自動投入は 2,153 字、セッション引き継ぎは 12,710 字。
原文を読む →
Zenn · 2026-08-21 · 92 点
Claude Code サブスクの週次レートリミット (Fable 5 週次, f5/w) の消費式を、手元の利用ログから回帰で推定した記事。
推定結果は Δf5/w[%] ≈ 2.75 × キャッシュ書込(1h)[Mtok] + 27.5 × 出力[Mtok] (R²=0.55) で、キャッシュ読取の係数はほぼゼロだった。
API のドル建て料金 (読取は入力の 0.1 倍) とは別の計算式で動いているとみられる。
つまりサブスクのレート消費は「新規書込＋出力」だけで決まり、コンテキストの長さ自体はコストに乗らない。
この帰結として、セッションを早めに切る運用はレート節約にならないと述べている。
💡 サブスクの Claude Code では長いコンテキストを恐れず使い回し、レート節約は新規キャッシュ書込と出力量を絞る方向で考える。
キャッシュ読取の係数はほぼゼロ。つまり、サブスクユーザーのレート消費は「新規書込＋出力」だけで決まり、コンテキストの長さ自体はコストに乗らない
原文を読む →
Zenn · 2026-08-21 · 91 点
2026/8/21 発表の Slack Code (コードチャンネル) を、Claude Tag 経由で社内リポジトリに PR を 1 本出すまで著者が実機で試した記録。
チャンネルは会話・計画・差分・ライブプレビューがタブとして並び、コンテキストバーにリポジトリ/ブランチ/PR 番号/CI 状態が固定表示される。Claude はメンションだけでチャンネルを新規作成したが、Devin は自身の Slack 連携にチャンネル作成手段が無く人間がダイアログから作る必要があった。
荒さは 3 点。コードチャンネルは親チャンネルのリポジトリアクセスを継承せず (許可リスト 0 件)、アクセスバンドルを組織ルートかワークスペースのスコープに事前付与しないと運用が回らない。canvas は同じキーで 2 回パブリッシュすると上書きされず 2 つでき、辿れない・消せないケースもあった。HTML タブの publish はチャンネル本体のセッションのみで、サブエージェントに生成を分担させると受け渡しが待ち時間になった。
差分タブの行コメントは永続的なレビュースレッドではなく、diff hunk 付きのメッセージ下書きが入力欄に差し込まれる仕組みで、送信は人間が押す。
最も可能性を感じた用途は AI-DLC 的なモブ作業で、画面共有と違い参加者が各自の端末で別々のタブ (差分/レポート/ステータスボード) を開ける点を挙げている。タブ上限は 5 枚。
💡 Slack のコードチャンネルはスポットで立つのでアクセスバンドルを上位スコープに事前付与しておく必要があり、反復更新する成果物は canvas ではなく HTML タブに置く (publish は本体セッション限定でサブエージェントに分担させると逆に遅くなる)。
HTML タブをパブリッシュできるのはチャンネル本体のセッションだけで、サブエージェント側からはできませんでした。
原文を読む →
Zenn · 2026-08-21 · 91 点
2026/08/18 公開の論文 HarnessRisk (128 ケース × 3 ハーネス × 6 モデル = 14 構成) を土台に、エージェント実行基盤の設計指針を整理した記事。
論文側の要点は 4 つ: 安全性はモデルでなく model×harness の構成の性質 (GLM-5.2 で ASR 12.6%〜54.7% の 4.3 倍差、14 構成すべてで失敗あり)、Utility 90% 台でも攻撃が同居する、設定フェーズの ASR が 3 ハーネス共通で最悪、検知率 97.9% でも ASR 31.2% と検知は是正を保証しない。
攻撃は「禁止操作の要求」ではなく「認可された操作のパラメータ汚染」(承認フラグの 1 行書き換え・宛先差し替え・出所の洗浄) として現れるため、指示の是非を判断させる防御は効きにくいと分析する。
対策はツール呼び出しを命令でなく提案として受け取る認可層を軸に、設定/シークレットのツール表面からの排除、拡張の事前固定と権限分離、コンテキストへの信頼ラベル付与と単調性 (格上げ禁止)、永続化の提案キュー化、不可逆アクションの認可内容照合、復旧完了の機械的検証を挙げる。
KPI は Detection でなく Containment とし、Utility/ASR/Persistence/Containment を CI の回帰テストに組み込むことを勧め、P0〜P2 の実装順序も提示している。
💡 自分のハーネスでは、モデルのツール呼び出しを提案として受け取る認可層と、コンテキストの信頼ラベル (格上げ不可) をまず入れる — どちらも後付けが最も難しい。
セキュリティの制御点はモデルの外側にあって、それはほぼ全部自分たちが書くコードの中にある
原文を読む →
arXiv · 2026-08-21 · 90 点
SWE-chat の 557 agentic セッション (94,813 イベント・うち 3,033 がドキュメント操作) と AIDev の 33,097 agentic PR (690,260 ファイル変更) を突き合わせ、コーディングエージェントとドキュメントの関わりを行動ログから分析した実証研究。
エージェントのドキュメント操作は instruction ファイルと作業ノートという agent 向け成果物が 60.5% を占め、従来型の技術文書は 10.6%、API リファレンスは 1.3% にとどまる。
ドキュメント参照とコード編集の結びつきは曖昧で、隣接遷移確率 0.002・未調整の 3 イベント lift 1.05 だが、ステージ調整モデルでは OR 1.33 [1.09, 1.62] と 1 を超える。
明示的なドキュメントによる検証シーケンスは観測されず、参照は直後のテスト実行の少なさと結びつく (lift 0.23、調整後 OR 0.39 [0.25, 0.60])。参照は失敗駆動 (7.5%) より自発 (70.2%) が圧倒的で、複数コミットの PR ではコードが先に触られる回数がドキュメントの 4.7 倍。
著者らはこれを線形の旅ではなく二つの葉を持つ循環として記述モデル化し、agent-friendly ドキュメントの前提とされる actionability と verifiability には一貫した行動的裏付けがないと結論、パイプラインとイベント単位データを公開している。
💡 エージェント向けに整えるべきはリファレンスや検証手順より instruction ファイルと作業ノート — 実測ではそこが操作の 6 割で、参照が直後のテストにつながる証拠は薄い。
instruction files and working notes account for 60.5% of all documentation interactions, versus 10.6% for classical technical documentation and 1.3% for API references.
原文を読む →
Zenn · 2026-08-21 · 92 点
Claude CodeのSkillは、手順をファイルに置いておくとAIが必要時に自分で開く仕組みである。
著者は多数配置前に「会話が重くならないか」「正しい1個が選ばれるか」「書き損じに気づけるか」の3点を確かめた。
0〜100個まで実測すると、常時の負担は1個あたり34トークン固定だった。
説明文は2万字でも4千字でもトークン数は1も変わらなかった。
💡 Skillの常時負担は1個34トークン固定で説明文の長さは効かない、という実測をスキル配置の前提にする。
Claude Code(ターミナルで動くAIの作業役)には Skill(スキル) という仕組みがあります。決まった作業のやり方をファイルに書いて所定のフォルダに置いておくと、AIが「今これが必要だ」と自分で判断して開いてくれる、というものです。
原文を読む →