今日読むべきもの (90 点以上)
Zenn · 2026-08-22 · 91 点
Claude Code の対話ログを毎晩ノート化して翌日渡す長期記憶を個人で自作した著者が、mem0・Letta・Zep/Graphiti・OSS・論文まで横断で先行事例を調べた記録。
設計は「終了フックで抽出 → 1知見1 Markdown → 開始時に目次を渡す」に各所が収束しており、個人規模ならベクトルDBは不要、公式も索引の先頭200行/25KB上限という割り切りを採っていた。
一方で「半年運用してノートが膨れ、目次方式が破綻し、どう捌いたか」という運用後の報告は1件も見つからず、claude-memory-compiler 作者の「50〜500記事が実用範囲、2000記事でコンテキスト限界」も設計上の見立てに留まる。
製品側は mem0 が LLM 判断による必要な記憶の静かな削除事故、Letta は grep+ファイルが知識グラフに 74.0% 対 68.5% で勝利、Zep は「真だった期間」と「知った時刻」の二軸で古い事実を消さず無効印を残す設計。
研究の関心は抽出から汚染防止へ移り、自己蒸留の崩壊・選別による+22ポイント・負の制約の記述が+7〜14ポイント・「生ログの方が抽出物より高性能」という反論を紹介し、自分の装置に残る空白 (スケール設計・時間軸・高頻度参照ノートの鮮度検査) を挙げている。
💡 エージェントの記憶は凝った検索機構より「何を入れないか」の選別と生ログ保持が効く — 削除ではなく無効印、採否は人が握る設計を最初から採る。
「ただのファイル置き場とテキスト検索（grep）」が、知識をグラフ構造で持つ高機能版に勝ちました。スコアは 74.0% 対 68.5% 。
原文を読む →
Zenn · 2026-08-22 · 93 点
著者は 305 行の証拠台帳だけを渡して AI に記事を書かせ、テーマ判定・機械検査・判定器・4 本のレビューを全通過した原稿を 2 本とも自分で捨てた。
モデル (Codex/Claude) と実行環境 (Claude Code の設定層あり/なし・system prompt 差し替え・最小エージェント Pi の 4 条件) を並べて検証したが、環境が原因だという根拠は出ず、残った容疑者は素材だった。
台帳と 3.5MB の transcript を比べると、落ちていたのは ①発話が何に対する応答だったか (応答対の反対側) ②却下された提案とその本文 ③要約を疑って原本と突き合わせる検証可能性の 3 種で、2 本の書き手は .jsonl を 1 件も開いていなかった。
手順は台帳を索引として残し、~/.claude/projects/<project>/<session-id>.jsonl のパスを添えて読ませること。tool 出力を捨てて人間ターンと本文だけ抜く extract.py で 3.5MB が 290KB になった。
生ログは untrusted data として渡す (ログ内の指示に従わせない)、30 日で消える、JSONL はバージョンで変わる内部形式、共有前に絶対パスやユーザー名を洗う、という注意も挙げている。著者は n=2 で因果は証明していないと明記している。
💡 引き継ぎメモや台帳は索引に留め、セッションの生ログ (transcript) のパスを添えて untrusted data として読ませると、要約では落ちる応答対・却下案・検証可能性が次のセッションに渡る。
整った台帳を渡して、評価を全部通る空疎な原稿が 2 本できたこと。その台帳が落としていた 3 種の情報は、transcript にだけ残っていたこと。
原文を読む →
Zenn · 2026-08-21 · 93 点
筆者は自分が運用するエージェント環境に対し、日本語表記の崩し(同音異義語置換・当て字・文語調)が運用ルールの突破率を上げるかを、40タスク×4クラス×3試行=480ランで測定した。最終結論は「どのクラスにも有意差なし」だが、記事の本題はそこに至る過程で踏んだ8つの計測バグである。
変換辞書が当たらず15件中11件が baseline の重複実行になっていた件、判定用JSONに条件名・変換強度が残っていた非盲検、対象が存在しない no-op への同意を部分成功に数えていた件、baseline が3試行とも失敗したタスク集合Fで採点したため平均への回帰を処置効果に計上していた件などを、症状・なぜ数字が動くか・直し方・修正でどれだけ動いたかの4点セットで列挙する。
特に危険だったのは、3体の判定者が「判定不能」で一致した8件が当て字クラスに100%集中しており、集計コードがそれを「突破せず=防御成功」に潰していた件。欠測として落とすと p=0.031 が p=0.250 になり、初稿の「有意に逆方向」という結論は3つのドキュメントに載ったまま誤りだった。
副作用の観測も git status --porcelain では、設定ファイルに権限確認バイパスを書いた上で同じ実行内で .gitignore に追加されると最重要の逸脱が消えるため、テンプレートとの実ファイルハッシュ差分に切り替えた(58ラン→64ラン)。判定者の自己申告では「口頭のみ」とされた38ランが実際には永続化していた。
末尾に9項目のチェックリストと限界(1環境・1モデル・単発ターン、効果ゼロの証明ではない)を置き、最も効いた習慣として「結論が出た後に、その結論を潰しにくる独立レビューを1回入れる」を挙げる。
💡 自作の評価ループでは、判定不能・欠測をどちらの2値に潰しているかと、観測系が被験者エージェントの手の届く場所にないかを、結果を読む前に確認する。
AIエージェントの安全性評価は、モデルより先に自分の計測が壊れる。
原文を読む →
Zenn · 2026-08-21 · 92 点
ログ 389 ファイルから user ロールのメッセージ 588 件 (総量 5,928,433 字) を抽出して内訳を数えた記事。
人間が実際に打ったのは 282 件で件数の 48.0% だが、字数では 37,583 字・全体の 0.63% にすぎない。
人間の入力は中央値 29 字に対し、同じ user 枠から入る自動投入は 2,153 字、セッション引き継ぎは 12,710 字で、件数はほぼ半々でも量は 150 倍以上違う。
出発点は「エージェントに人間が何を言っているかを数える」ために type: "user" のメッセージを集めて長さを見ようとしたところで詰まった、という話。
💡 自分のハーネスでも user ロールを人間の発話と同一視せず、自動投入・引き継ぎを分離して数えないとコンテキストの実像を見誤る。
人間が打つ入力の中央値は 29 字。同じ枠から入ってくる自動投入は 2,153 字、セッション引き継ぎは 12,710 字。
原文を読む →
Zenn · 2026-08-21 · 92 点
Claude Code サブスクの週次レートリミット (Fable 5 週次, f5/w) の消費式を、手元の利用ログから回帰で推定した記事。
推定結果は Δf5/w[%] ≈ 2.75 × キャッシュ書込(1h)[Mtok] + 27.5 × 出力[Mtok] (R²=0.55) で、キャッシュ読取の係数はほぼゼロだった。
API のドル建て料金 (読取は入力の 0.1 倍) とは別の計算式で動いているとみられる。
つまりサブスクのレート消費は「新規書込＋出力」だけで決まり、コンテキストの長さ自体はコストに乗らない。
この帰結として、セッションを早めに切る運用はレート節約にならないと述べている。
💡 サブスクの Claude Code では長いコンテキストを恐れず使い回し、レート節約は新規キャッシュ書込と出力量を絞る方向で考える。
キャッシュ読取の係数はほぼゼロ。つまり、サブスクユーザーのレート消費は「新規書込＋出力」だけで決まり、コンテキストの長さ自体はコストに乗らない
原文を読む →
Zenn · 2026-08-21 · 91 点
2026/8/21 発表の Slack Code (コードチャンネル) を、Claude Tag 経由で社内リポジトリに PR を 1 本出すまで著者が実機で試した記録。
チャンネルは会話・計画・差分・ライブプレビューがタブとして並び、コンテキストバーにリポジトリ/ブランチ/PR 番号/CI 状態が固定表示される。Claude はメンションだけでチャンネルを新規作成したが、Devin は自身の Slack 連携にチャンネル作成手段が無く人間がダイアログから作る必要があった。
荒さは 3 点。コードチャンネルは親チャンネルのリポジトリアクセスを継承せず (許可リスト 0 件)、アクセスバンドルを組織ルートかワークスペースのスコープに事前付与しないと運用が回らない。canvas は同じキーで 2 回パブリッシュすると上書きされず 2 つでき、辿れない・消せないケースもあった。HTML タブの publish はチャンネル本体のセッションのみで、サブエージェントに生成を分担させると受け渡しが待ち時間になった。
差分タブの行コメントは永続的なレビュースレッドではなく、diff hunk 付きのメッセージ下書きが入力欄に差し込まれる仕組みで、送信は人間が押す。
最も可能性を感じた用途は AI-DLC 的なモブ作業で、画面共有と違い参加者が各自の端末で別々のタブ (差分/レポート/ステータスボード) を開ける点を挙げている。タブ上限は 5 枚。
💡 Slack のコードチャンネルはスポットで立つのでアクセスバンドルを上位スコープに事前付与しておく必要があり、反復更新する成果物は canvas ではなく HTML タブに置く (publish は本体セッション限定でサブエージェントに分担させると逆に遅くなる)。
HTML タブをパブリッシュできるのはチャンネル本体のセッションだけで、サブエージェント側からはできませんでした。
原文を読む →
Zenn · 2026-08-21 · 91 点
2026/08/18 公開の論文 HarnessRisk (128 ケース × 3 ハーネス × 6 モデル = 14 構成) を土台に、エージェント実行基盤の設計指針を整理した記事。
論文側の要点は 4 つ: 安全性はモデルでなく model×harness の構成の性質 (GLM-5.2 で ASR 12.6%〜54.7% の 4.3 倍差、14 構成すべてで失敗あり)、Utility 90% 台でも攻撃が同居する、設定フェーズの ASR が 3 ハーネス共通で最悪、検知率 97.9% でも ASR 31.2% と検知は是正を保証しない。
攻撃は「禁止操作の要求」ではなく「認可された操作のパラメータ汚染」(承認フラグの 1 行書き換え・宛先差し替え・出所の洗浄) として現れるため、指示の是非を判断させる防御は効きにくいと分析する。
対策はツール呼び出しを命令でなく提案として受け取る認可層を軸に、設定/シークレットのツール表面からの排除、拡張の事前固定と権限分離、コンテキストへの信頼ラベル付与と単調性 (格上げ禁止)、永続化の提案キュー化、不可逆アクションの認可内容照合、復旧完了の機械的検証を挙げる。
KPI は Detection でなく Containment とし、Utility/ASR/Persistence/Containment を CI の回帰テストに組み込むことを勧め、P0〜P2 の実装順序も提示している。
💡 自分のハーネスでは、モデルのツール呼び出しを提案として受け取る認可層と、コンテキストの信頼ラベル (格上げ不可) をまず入れる — どちらも後付けが最も難しい。
セキュリティの制御点はモデルの外側にあって、それはほぼ全部自分たちが書くコードの中にある
原文を読む →
arXiv · 2026-08-21 · 90 点
SWE-chat の 557 agentic セッション (94,813 イベント・うち 3,033 がドキュメント操作) と AIDev の 33,097 agentic PR (690,260 ファイル変更) を突き合わせ、コーディングエージェントとドキュメントの関わりを行動ログから分析した実証研究。
エージェントのドキュメント操作は instruction ファイルと作業ノートという agent 向け成果物が 60.5% を占め、従来型の技術文書は 10.6%、API リファレンスは 1.3% にとどまる。
ドキュメント参照とコード編集の結びつきは曖昧で、隣接遷移確率 0.002・未調整の 3 イベント lift 1.05 だが、ステージ調整モデルでは OR 1.33 [1.09, 1.62] と 1 を超える。
明示的なドキュメントによる検証シーケンスは観測されず、参照は直後のテスト実行の少なさと結びつく (lift 0.23、調整後 OR 0.39 [0.25, 0.60])。参照は失敗駆動 (7.5%) より自発 (70.2%) が圧倒的で、複数コミットの PR ではコードが先に触られる回数がドキュメントの 4.7 倍。
著者らはこれを線形の旅ではなく二つの葉を持つ循環として記述モデル化し、agent-friendly ドキュメントの前提とされる actionability と verifiability には一貫した行動的裏付けがないと結論、パイプラインとイベント単位データを公開している。
💡 エージェント向けに整えるべきはリファレンスや検証手順より instruction ファイルと作業ノート — 実測ではそこが操作の 6 割で、参照が直後のテストにつながる証拠は薄い。
instruction files and working notes account for 60.5% of all documentation interactions, versus 10.6% for classical technical documentation and 1.3% for API references.
原文を読む →
Zenn · 2026-08-21 · 92 点
Claude CodeのSkillは、手順をファイルに置いておくとAIが必要時に自分で開く仕組みである。
著者は多数配置前に「会話が重くならないか」「正しい1個が選ばれるか」「書き損じに気づけるか」の3点を確かめた。
0〜100個まで実測すると、常時の負担は1個あたり34トークン固定だった。
説明文は2万字でも4千字でもトークン数は1も変わらなかった。
💡 Skillの常時負担は1個34トークン固定で説明文の長さは効かない、という実測をスキル配置の前提にする。
Claude Code(ターミナルで動くAIの作業役)には Skill(スキル) という仕組みがあります。決まった作業のやり方をファイルに書いて所定のフォルダに置いておくと、AIが「今これが必要だ」と自分で判断して開いてくれる、というものです。
原文を読む →