Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
1 change: 1 addition & 0 deletions README.en.md
Original file line number Diff line number Diff line change
Expand Up @@ -7,6 +7,7 @@
Turns your local git repositories and their GitHub issues into static HTML, and serves them through Cloudflare Pages + Access as a code browser only you can read.

- **Read every repo in one place**: your local repos listed by root, with the code highlighted
- **HTML documents render in place**: a `.html` file in a repo is shown rendered, with its source on the same page. Its scripts run in a sandbox, cut off from codeview
- **All issues in one place too**: open issues from every repo in a single list
- **Multiple GitHub accounts**: pull issues from separate accounts, such as personal and work, and keep them apart
- **Light on a phone**: static HTML that reads without JavaScript, so it opens quickly while you're away
Expand Down
1 change: 1 addition & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -7,6 +7,7 @@
手元の git リポジトリ群と、その GitHub Issue を静的 HTML にまとめ、自分だけが読めるコードブラウザとして Cloudflare Pages + Access で配信する。

- **全リポを1か所で読める**: 手元のリポを置き場ごとに並べ、コードをハイライトして読める
- **HTML の資料もそのまま読める**: リポに置いた `.html` は描画した結果を出し、ソースも同じページで読める。中のスクリプトは sandbox で codeview から切り離す
- **Issue も1か所にまとまる**: 全リポの未消化の Issue を1つの一覧にする
- **GitHub の複数アカウントに対応**: 個人用と仕事用のように、別々のアカウントの Issue を分けて取り込める
- **スマホで軽い**: JavaScript なしでも読める静的 HTML なので、外出先でもすぐ開ける
Expand Down
5 changes: 4 additions & 1 deletion codeview/build.py
Original file line number Diff line number Diff line change
Expand Up @@ -39,10 +39,12 @@
GitHubRepo,
LinkContext,
human,
is_html,
is_image,
is_text,
line_count,
render_code_lang,
render_html_page,
render_markdown,
)
from codeview.repo import (
Expand Down Expand Up @@ -248,7 +250,8 @@ def file_body(path: str, data: bytes) -> tuple[str, str, str, list[str], bool]:
)
meta.insert(0, _lines(data))
else:
body, lang = render_code_lang(path, data)
render = render_html_page if is_html(path) else render_code_lang
body, lang = render(path, data)
copy_body = True
width = "w-code"
meta[:0] = [_lines(data)] + ([lang] if lang else [])
Expand Down
21 changes: 21 additions & 0 deletions codeview/render.py
Original file line number Diff line number Diff line change
Expand Up @@ -77,6 +77,27 @@ def render_code_lang(path: str, data: bytes) -> tuple[str, str | None]:
return out.replace("\n</span>", "</span>"), lang


def is_html(path: str) -> bool:
return path.lower().endswith((".html", ".htm"))


def render_html_page(path: str, data: bytes) -> tuple[str, str | None]:
"""描画した HTML の iframe と、折りたたんだソースを返す。

allow-same-origin を付けないので、中のスクリプトは origin が不透明になり、
codeview の Cookie や親ページに触れない。
"""
text = data.decode("utf-8", "replace")
code, lang = render_code_lang(path, data)
body = (
'<iframe class="htmlview" sandbox="allow-scripts" '
f'title="{html.escape(path.split("/")[-1], quote=True)}" '
f'srcdoc="{html.escape(text, quote=True)}"></iframe>'
f'<details class="htmlsrc"><summary>Source</summary>{code}</details>'
)
return body, lang


# リンクに残してよいスキーム。javascript: や data: は外す
_LINK_SCHEMES = {"", "http", "https", "mailto"}

Expand Down
11 changes: 11 additions & 0 deletions codeview/style.py
Original file line number Diff line number Diff line change
Expand Up @@ -212,6 +212,17 @@
.nowrap .hl pre > span[id^="ln-"] { width: max-content; min-width: 100%; }
.nowrap .hl pre > span.hit { min-width: calc(100% + 2rem); }

/* ---------- html ---------- */
/* 中身の高さは sandbox の外から測れないので、画面に対する固定の高さにして中で送る */
.htmlview {
display: block; width: 100%; height: 80vh; margin: 1em 0;
border: 1px solid var(--line); border-radius: var(--r-sm); background: #fff;
}
.htmlsrc > summary {
cursor: pointer; color: var(--mute); padding: .3rem 0;
}
.htmlsrc > summary:hover { color: var(--fg); }

/* ---------- markdown & mermaid ---------- */
.markdown-body {
font-family: var(--font);
Expand Down
2 changes: 2 additions & 0 deletions docs/guarantees.md
Original file line number Diff line number Diff line change
Expand Up @@ -37,6 +37,7 @@
- 対応するページが無い GitHub の URL(別の ref・HEAD に無いパス・取り込んでいない Issue・別のアカウントの Issue・Pull Request など)は、外部 URL のまま残す
- 対象の拡張子(`.png` `.jpg` `.jpeg` `.gif` `.webp` `.ico` `.svg`)の画像のうち、除外していない 5 MiB 以下のものは、`public/<slug>/<リポ内パス>` にそのままコピーする。除外した画像と 5 MiB を超える画像はコピーしない
- 画像ファイルのページは、その画像を `<img>` で表示する(5 MiB を超えるときは `Too large to display`)。`.svg` のページはコードとして描く
- `.html` と `.htm` のファイルページは、ファイルの中身をそのまま `srcdoc` に入れた `<iframe>` を本文に出す。iframe の `sandbox` 属性は `allow-scripts` を含み、`allow-same-origin` を含まない。同じページで、ハイライトしたソースも JavaScript なしで(`<details>` で)読める。ヘッダのメタ情報と Copy file はほかのコードのページと同じで、Copy file が写すのはソースである。512 KiB を超えるものとバイナリは iframe を出さず、`Too large to display` / `Binary` を出す
- リポのファイルを描いた Markdown の本文で、リポ内のコピーした画像を指す `![]()` と生の HTML の `<img>` の src は、その画像への相対パスになる。解決の基準と `/` 始まりの扱いはリンクと同じで、ファイルページでも埋め込み README でも同じ先を指す
- 指す先の画像が無い(HEAD に無い・除外した・5 MiB 超・リポの外)`![]()` と `<img>`、およびリポ外の URL を指すものは、画像にせず `[alt]` の文字にする
- `--incremental` を付けると、前回の `--incremental` から入力が変わったリポだけを作り直す。出力は、付けずに作り直したものと同じになる。入力には、リポの HEAD・置き場所・アカウント・そのリポのファイルを対象に挙げた Issue・本体と設定のほか、Markdown が GitHub の URL を含むリポでは他のリポの中身と Issue の一覧も含む
Expand Down Expand Up @@ -74,6 +75,7 @@
| `--incremental` は拡張の `fingerprint()` の変化で拡張のページを書き直す | `test_incremental_build_follows_plugin_fingerprint` |
| 画像はコピーされ、画像ファイルのページと Markdown 本文(`![]()` と生の `<img>`)に表示される。指す先の無い画像・リポ外の画像は文字になる | `test_images_are_copied_and_shown` |
| `--incremental` でも画像は全体の作り直しと同じ出力になる | `test_incremental_build_copies_images_like_full_build` |
| `.html` / `.htm` は sandbox 付きの iframe で描き、ソースも出す。大きすぎるものと `.svg` には iframe を出さない | `test_html_file_page_renders_in_sandboxed_iframe` |
| 設定ファイルが無い | `test_missing_config_stops_before_build` |
| 設定の書式誤り | `test_broken_config_stops_before_build` |
| 読み込めない拡張 | `test_unknown_plugin_stops_before_build` |
Expand Down
86 changes: 86 additions & 0 deletions issues/done/10_render-html-files.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,86 @@
## PR記録: feat: Render HTML files in a sandboxed iframe
issue: 10 (10_render-html-files.md)
PR: https://github.com/yktsnet/codeview/pull/42

## 変更内容
`.html` と `.htm` のファイルページでは、描画した結果を sandbox 付きの iframe(`srcdoc`)で本文に出し、ハイライトしたソースを同じページの `<details>` に置く。sandbox は `allow-scripts` だけで、`allow-same-origin` は付けない。iframe の高さは画面の 80% に固定し、中でスクロールする。メタ情報と Copy file(写すのはソース)はコードのページと同じ。`MAX_BYTES` 超とバイナリの扱いは変えない。README(日本語・英語)と保証台帳 §1 を更新した。

UTF-8 でない HTML は文字化けする(コード表示と同じ読み方)。user と相談して今回は見送った。

## 保証
- `.html` / `.htm` を srcdoc の iframe で出し、sandbox は allow-scripts を含み allow-same-origin を含まない → `tests/test_build.py::test_html_file_page_renders_in_sandboxed_iframe`
- ソースを `<details>` で同じページに出し、Copy file はそのソースを写す → 同上
- メタ情報 → 同上
- MAX_BYTES 超・バイナリは iframe を出さない → 同上
- 維持: `.svg` のコード表示(同上・`test_images_are_copied_and_shown`)、ナビゲーション(`test_file_page_navigation`)、`--incremental`(`test_incremental_build_matches_full_build`)

## 静的確認結果
- `nix develop -c pytest -q`: 89 passed
- 変更ファイル: README.en.md / README.md / codeview/build.py / codeview/render.py / codeview/style.py / docs/guarantees.md / tests/test_build.py

## 確認者の判定
| # | 項目 | 判定 |
|---|---|---|
| 1 | pytest が通る | 合 |
| 2 | `.html` の iframe・srcdoc・sandbox・ソース | 合 |
| 3 | `.htm` も同じ | 合 |
| 4 | MAX_BYTES 超は iframe なしで Too large | 合 |
| 5 | `.svg` に iframe が無い | 合 |
| 6 | `--incremental` の既存テストが通る | 合 |
| 7 | 台帳 §1 に箇条と表の行がある | 合 |
| 8 | README の両方に1行ある | 合 |

保証(Copy file の中身・バイナリを含む)もすべて合。

## 手戻り
| 何が起きたか | 失ったもの | 原因の分類 | 仕組みで防げたか |
|---|---|---|---|
| 確認者が「否」を出した。Copy file が写す中身と、バイナリの `.html` に iframe を出さないことをテストで固定していなかったので、テストを足した | 1回。約5分 | 実装者の不注意 | 防げない |

---

## HTML ファイルを描画して見せる
id: 10
branch-slug: render-html-files
status: close
type: feat
対象: codeview/build.py(`file_body` の分岐), codeview/render.py, codeview/style.py(iframe とソース切り替えの見た目), tests/test_build.py, docs/guarantees.md(§1 の箇条と表), README.md・README.en.md(機能の説明に1行)
目的: リポに置いた `.html` の資料(提案資料・レポートなど)を、clone してブラウザで開かずに codeview の中で読めるようにする。いまは `.html` もハイライトしたソースとして出るので、GitHub と同じく中身を見るには手元で開くしかない。
内容: `.html` と `.htm` のファイルページは、描画した結果を sandbox 付きの iframe(`srcdoc`)で本文に出し、同じページでソースも読めるようにする。sandbox には `allow-same-origin` を付けない。
対象外: HTML 内の相対リンク・相対パスの画像やスクリプトの解決(`srcdoc` の中では解決しない。今回は描画できるものだけを出す)。iframe の高さを中身に合わせて自動で伸ばすこと。埋め込み README としての `.html` の描画。`.svg` の扱い(いまのままコードとして描く)。
仮定: sandbox は `allow-scripts` を付け、`allow-same-origin` は付けない。資料には開閉などで JavaScript を使うものがあり、それが動かないと読めない。一方で origin を不透明にすれば、HTML の中のスクリプトは codeview の Cookie・vault の Function・親ページに触れない。HTML の中から外部のホスト(CDN のフォントやスクリプト)を読むのは止めない。止めると描画が崩れる資料が多く、codeview 自身のページが外部を読むわけではない。
確認: 下の「確認」の節を見る
人が見るもの: 実際の資料(`~/github-client/indx/proposal/workplan.html`)を codeview-local で開き、描画の読みやすさ・iframe の高さ・ソースへの切り替えの使い心地を見る

---

### 保証
- 新たに宣言する保証:
- `.html` と `.htm` のファイルページは、ファイルの中身をそのまま `srcdoc` に入れた `<iframe>` を本文に出す。iframe の `sandbox` 属性は `allow-scripts` を含み、`allow-same-origin` を含まない
- 同じページで、ハイライトしたソースも読める。JavaScript が無くても読める形(`<details>` など)で出す
- ヘッダのメタ情報(行数・サイズ・言語)と Copy file は、ほかのコードのページと同じく出る。Copy file が写すのはソースである
- 大きすぎるファイル(`MAX_BYTES` 超)とバイナリは、いまと同じく `Too large to display` / `Binary` を出し、iframe を出さない
- 維持する保証(台帳 §1 から):
- ファイルのページは、ヘッダに行数と(ハイライトできれば)言語を出し、本文側にトップからのパンくずを置き、同じディレクトリの前後のファイルへのリンクを出す
- `.svg` のページはコードとして描く
- `--incremental` を付けて作った出力は、付けずに作り直したものと同じになる
- Markdown 本文は生の HTML のうち許したものだけを描き、`.md` の描画は変わらない

### 確認
1. `nix develop -c pytest -q` が通る
2. 新しいテスト(`tests/test_build.py`)が、`.html` を含むリポを build し、そのファイルページについて次を確かめる
- `<iframe` があり、`srcdoc` を HTML の実体参照から戻すと元のファイルの中身と一致する
- `sandbox` 属性に `allow-scripts` があり、`allow-same-origin` が無い
- ハイライトしたソースが同じページにある
3. `.htm` でも 2 と同じになる
4. `MAX_BYTES` を超える `.html` のページに iframe が無く、`Too large to display` が出る
5. `.svg` のページに iframe が無い(既存のコード表示のまま)
6. `--incremental` の出力が、付けない build と同じになる既存のテストが通る
7. `docs/guarantees.md` の §1 に新しい保証の箇条と、表にテストの行がある
8. README(日本語・英語)の機能の説明に、HTML を描画して見せることが1行ある

### codeview/build.py
`file_body` の分岐で、`is_text` を通ったあと、拡張子が `.html` / `.htm` のときに新しい描画へ回す。`MAX_BYTES` とバイナリの判定はいまの順のまま先に当てる。メタ情報と `copy_body` はコードのページと同じにする。

### codeview/render.py
iframe とソースを並べた本文を返す関数を足す。`srcdoc` の値は `html.escape(text, quote=True)` で属性用に逃がす。iframe の高さは CSS で決める(画面の高さに対する固定値で、中はスクロールする)。
59 changes: 59 additions & 0 deletions tests/test_build.py
Original file line number Diff line number Diff line change
Expand Up @@ -2,6 +2,7 @@

from __future__ import annotations

import html
import os
import re
import time
Expand Down Expand Up @@ -169,6 +170,64 @@ def test_file_page_navigation(site):
assert 'class="pager"' not in (public / "alpha" / "docs" / "guide.md.html").read_text()



class _Frames(HTMLParser):
def __init__(self):
super().__init__()
self.frames = []

def handle_starttag(self, tag, attrs):
if tag == "iframe":
self.frames.append(dict(attrs))


def _frames(text):
parser = _Frames()
parser.feed(text)
return parser.frames


HTML_DOC = (
'<!doctype html><html><body><h1 class="t">A &amp; "B"</h1>\n'
"<script>document.title = 'x' + \"y\";</script>\n</body></html>\n"
)


def test_html_file_page_renders_in_sandboxed_iframe(site):
alpha = site.home / "own" / "alpha"
big = "<p>" + "x" * (512 * 1024) + "</p>\n"
commit(
alpha,
{"doc.html": HTML_DOC, "old.htm": HTML_DOC, "big.html": big, "pic.svg": "<svg/>\n"},
)
(alpha / "bin.html").write_bytes(b"<p>\0</p>\n")
git(alpha, "add", "-A")
git(alpha, "commit", "-qm", "binary html")
public, _ = site.build()
out = public / "alpha"
for name in ("doc.html", "old.htm"):
page = (out / f"{name}.html").read_text()
[frame] = _frames(page)
# HTMLParser が属性の実体参照を戻すので、元の中身と比べられる
assert frame["srcdoc"] == HTML_DOC, name
tokens = frame["sandbox"].split()
assert "allow-scripts" in tokens and "allow-same-origin" not in tokens
# ソースも JavaScript なしで読める形で同じページにある
assert "<details" in page and 'class="hl"' in page
assert "3 lines · HTML · " in page
assert 'id="copy-body"' in page
# Copy file はソースの行を写すので、<details> の中の行から行番号を除けば元の中身になる
src = page.split('<details class="htmlsrc">', 1)[1].split("</details>", 1)[0]
lines = re.findall(r'<span id="ln-\d+">(.*?)</span>(?=<span id="ln-|</pre>)', src, re.S)
text = [html.unescape(re.sub(r"<[^>]+>", "", re.sub(r'<span class="linenos">.*?</span>', "", ln))) for ln in lines]
assert "\n".join(text) + "\n" == HTML_DOC
big_page = (out / "big.html.html").read_text()
assert "Too large to display" in big_page and "<iframe" not in big_page
bin_page = (out / "bin.html.html").read_text()
assert "Binary" in bin_page and "<iframe" not in bin_page
svg_page = (out / "pic.svg.html").read_text()
assert "<iframe" not in svg_page and 'class="hl"' in svg_page

def _commit_at(repo, files, when):
"""コミッタの日時を固定してコミットする。"""
for name, body in files.items():
Expand Down
Loading