同一フィードのURL重複でON CONFLICT DO UPDATEが21000で全断した

結論

1本のINSERT文でまとめてupsertしていると、同じconflict targetの行が2件混じっただけで文全体が失敗します。 ニュース記事を取得してDBへ保存するジョブが、1フィード分の記事を1本のINSERT ... ON CONFLICT (source, url) DO UPDATEで発行していたところ、同一フィード内に同じURLの記事が2件あるとPostgresの21000エラー「ON CONFLICT DO UPDATE command cannot affect row a second time」で失敗し、そのフィードだけが無音で更新されなくなっていました。

症状

このジョブは、複数の外部RSSフィードを定期的に取得し、news_itemsテーブルへupsertしてサイネージの見出しキャッシュを更新します。1フィードの処理は取得・パース・保存をまとめてtry/catchで囲んであり、失敗したフィードだけをskipして他のフィードの処理は続ける、fail-softな作りになっています。

同一フィード内に同じURLの記事が2件含まれていると、保存呼び出しがPostgresの21000エラーで失敗します。エラーはこのtry/catchに吸収され、例外は外へ伝わりません。skipされたフィードの既存キャッシュはlast-known-goodとしてそのまま残るため、画面上は「そのニュース源だけ更新が止まっている」以上の異常が出ず、症状として気づきにくい形になります。

原因

保存処理はsaveNewsItemsが担い、1回の呼び出しで受け取った複数記事を1本のINSERT文にまとめて発行しています。

// packages/db/src/queries/news-items.ts
const rows = await tx
  .insert(newsItems)
  .values(
    items.map((it) => ({
      source: it.source,
      sourceLabel: it.sourceLabel,
      title: it.title,
      url: it.url,
      // ...
    })),
  )
  .onConflictDoUpdate({
    target: [newsItems.source, newsItems.url],
    set: {
      sourceLabel: sql`excluded.source_label`,
      title: sql`excluded.title`,
      // ...
      updatedAt: sql`now()`,
    },
  })
  .returning({ id: newsItems.id });

target: [newsItems.source, newsItems.url]は、スキーマ側のユニークインデックスux_news_items_source_url（sourceとurlの組）に対応しています。

// packages/db/src/schema/news-items.ts
(t) => ({
  // フィード × 記事 URL で 1 行（再取得は upsert / ON CONFLICT (source, url)）。
  uxSourceUrl: uniqueIndex("ux_news_items_source_url").on(t.source, t.url),
}),

ジョブは1フィードにつきsourceを固定した記事の配列をまとめてsaveItemsに渡します。フィードのソースは一定なので、同一フィード内に同じURLが2件あると、この1本のINSERT文の中に(source, url)が同一の行が2件混じることになります。PostgresのON CONFLICT DO UPDATEは、1本の文が処理する行の中で同じ行を2回更新することを許可しておらず、この状態を21000エラー「cannot affect row a second time」として拒否します。INSERT文の各行は同一文の中の他の行を見ずに処理されるため、事前に重複を取り除いておかない限り、文全体がまとめて失敗します。

直し方

saveItemsを呼ぶ直前に、URL単位のSetで先勝ちの重複除去を挟みました。

// apps/jobs/src/news/run.ts
// 同一フィード内で URL 重複を除去（先勝ち）。saveItems は 1 本の
// INSERT ... ON CONFLICT (source, url) DO UPDATE を発行するため、1 フィード（source 一定）に
// 同じ url が 2 件あると Postgres が 21000「ON CONFLICT DO UPDATE ... cannot affect row a
// second time」で失敗し、そのフィード全体の保存が無音で落ちる（ニュース源が更新されなくなる）。
const seenUrl = new Set<string>();
const items = mapped.filter((it) => {
  if (seenUrl.has(it.url)) return false;
  seenUrl.add(it.url);
  return true;
});
const rows = await deps.saveItems(items);

saveNewsItems自体（INSERT文やスキーマ）は変更していません。1本の文に渡す前の入力側で重複を無くすことで、ON CONFLICT DO UPDATEが同じ行を2回更新しようとする状況そのものを起こさないようにしています。

修正と同時に、同一フィード内に重複URLがある場合の挙動を固定するリグレッションテストも追加されています。

// apps/jobs/src/news/__tests__/run.test.ts
it("同一フィード内の URL 重複を除去してから saveItems に渡す（先勝ち）", async () => {
  const dup: ParsedNewsItem = {
    title: "記事A（重複・後勝ち破棄）",
    url: "https://a/1", // ITEM_A と同一 url
    publishedAt: new Date("2026-06-02T00:00:00Z"),
    summary: null,
  };
  const summary = await runNewsFetch({
    listFeeds: () => [FEED_MEXT],
    fetchFeed: async () => [ITEM_A, ITEM_B, dup],
    saveItems,
  });

  const passed = saveItems.mock.calls[0]?.[0] as ReadonlyArray<{ url: string; title: string }>;
  expect(passed).toHaveLength(2); // 重複 1 件を除去
  expect(passed.map((i) => i.url)).toEqual(["https://a/1", "https://a/2"]);
  // 先勝ち: 最初に現れた ITEM_A（記事A）が残る。
  expect(passed[0]?.title).toBe("記事A");
});

saveItemsに渡る配列が重複を含んでいたら、以降の変更でこのテストが落ちる形になっています。

見落としやすい前提

この不具合は本番の異常を追って見つかったものではなく、コードベースを対象にしたバグ探索スイープの中で見つかりました。1フィード分の記事を「1本のバッチupsert」としてまとめて扱う設計そのものが、フィード内に重複が無いことを暗黙に前提していた点が見落としの本体です。

• (source, url)をconflict targetにしたON CONFLICT DO UPDATEは、DB側では「同じ行への複数回の更新を1文の中で許さない」という制約であり、バッチのサイズが大きいほど、入力側の重複が起きやすくなります
• fail-softなtry/catchは「1フィードの失敗が他フィードに波及しない」ための設計ですが、同時に「失敗したという事実そのものが外から見えにくくなる」というトレードオフも持っています。個々のフィードの取得結果を見えるようにするには、failedFeedsのようなfail-soft側が返す情報を監視する仕組みが別途必要です
• RSSフィードが同じ<link>を重複して配信すること自体は、フィード配信側の一時的な不具合や再送で起こり得ます。バッチupsertを設計する側が「入力に重複が混じる可能性」を前提に置くかどうかで、同じ種類の21000エラーは他のバッチ処理でも再現します