mirror of
https://github.com/OpenListTeam/OpenList.git
synced 2026-11-10 20:50:50 +08:00
ef5d8c8d41
* feat(media): scan every folder level, save incrementally, TV tags, seed task progress Media library - Merge mode now walks every folder level instead of only the first one. A folder that directly contains media files is one collection and is not split further; a folder without media is descended into. Loose files in the scan root stay individual items. Depth is capped at 16. - Scanning no longer buffers the whole tree before writing: items are flushed to the database every 20 items or 3 seconds, for all four media types, so results appear while the scan is still running. Skipped and failed items still advance the progress counter. - The scan path type tag now decides movie vs. series. Tags such as TV series / anime / variety / documentary mark every video under the path as "tv" (shown as series in Emby, also for single files); movie tags force "movie" even when merge mode is on. Unrecognised tags keep the old rule (folder items are series). Emby virtual folders use the same rule. - Fix: a music folder containing a non-audio file was dropped entirely. Playback URL - When no site_url is configured and the request host is a loopback address (127.0.0.1 / localhost / ::1), stream_url now returns relative /d and /p paths instead of absolute loopback URLs. An explicit site_url or a forwarded host still produces absolute URLs. Seed tasks - Seed generation reports progress by bytes hashed plus a stage message and is exposed at /task/seed_generate. - Seed save, rapid upload and transit transfer register a display-only task at /task/seed_save (the operation stays synchronous) so progress is visible in the task list. Tests cover tag classification, index-length checks, level-by-level merge scanning (stop at collection, list errors, depth limit) and loopback detection. Co-Authored-By: Claude <noreply@anthropic.com> * fix(server): keep site_url path prefix in playback base url site_url 允许配置成 /openlist 这样的路径前缀；原先只有以 http 开头才走绝对地址，前缀模式下播放地址会丢掉前缀导致 404。改为配置了 site_url 就统一用 GetApiUrlFromRequest 生成。 * feat(media): season-aware episodes, album admin api, cover upload, zip export - 扫描：季目录（第N季/Season N/S01）解析季号写入 EpisodeInfo.season，Emby 与播放器可按季分组；显式电影标签不再被季目录反推成剧集；merge_depth 语义固定为「第 N 层=一条记录」，与模型注释、UI 一致 - 刮削：音乐条目的文件自带封面（data:/thumb:/站内地址）不再被在线封面覆盖 - 后台新增：封面 URL/上传（/admin/media/items/cover）、专辑聚合列表与批量编辑（/admin/media/albums、/album/items、/album/update）、条目可编辑字段扩充（选集/视频类型/季集/时长/外部ID） - 导入导出升级为 zip（media_export.json + covers/），导入兼容旧 JSON - Emby：多季合集按每集 season 拆分 Season，集 ID 带季号避免跨季重号 - fix(seed)：中转转存部分文件失败时任务按失败收尾，不再一律标记成功 * fix(media): patch semantics for item update, transactional album update, concurrent cover export - UpdateMediaItemAdmin 改为 PATCH 语义（字段全部指针，只写出现过的键），修复只传 hidden 也会清空 cover/plot 的问题；cover 增加 12MB 上限 - 专辑批量更新走单事务（新增 db.UpdateMediaItems），失败整批回滚；旧封面文件在事务成功后才删除 - 导出封面改为并发读取（4 并发，单张 8MB / 总量 512MB / 5000 张上限），避免大库导出逐张串行 * fix(media,seed): unify episode ids, season fallback, cancellable seed tasks, periodic flush - Emby 集 ID 统一走 parseEpisodeID（新格式 ep-item-season-num，兼容旧两段），修掉封面/刷新/续播列表里仍假设旧格式的三处；续播能唯一定位时补季号 - 季号兜底 seasonFromText 与前端 episodeSeasonOf 规则对齐，老数据不会在 Emby 和网页端分到不同季 - 种子任务真正可取消：任务 ctx 重新绑定（tache Add 会覆盖）、保存 IO 改用任务 ctx、逐文件与哈希读取检查取消、取消后状态为 Canceled - mediaSaver 增加定时落盘协程，Close 时停表并收尾 Flush * feat(media): artist aggregation api and image exif lookup - 新增 GET /fs/media/artists（db.ListArtists）：按 album_artist 聚合专辑数/曲目数/封面，供音乐库「按艺术家」分类 - /fs/media/albums 支持 album_artist 过滤，艺术家下钻时只取该艺术家的专辑 - 新增 GET /fs/media/exif：按需读取图片文件头解析 EXIF（设备/镜头/曝光/焦距/时间/GPS）并缓存，解析失败返回 available=false 而不是 500 * fix(emby): return full UserDto from /Users/Public (issue #3301) 严格类型的客户端会把 user['Policy'] / user['Configuration'] 直接强转成 Map， 之前 /Users/Public 只返回 5 个标量字段，转 null 时抛异常并中断渲染（封面全挂）。 - 删除 embyPublicUserDto，/Users/Public 直接复用 embyUserDtoOf，与登录接口结构一致 - 新增 embyUserConfiguration()，按官方 UserConfiguration 给全默认值（空 map 同样是缺键） - 补 TestEmbyUserDtoHasPolicyAndConfiguration 回归测试 * feat(media): pure-go pdf cover rendering, keep existing cover by default, same-dir thumbnails - PDF 封面改用纯 Go 光栅化（github.com/go-pdfkit/render，BSD-3、无 cgo）：渲染第 1 页再缩到 300px，矢量/扫描件/Flate 压缩图都能出图；失败时仍退回原来的内嵌 JPEG 扫描。渲染带 MaxPixels/MaxDuration 上限，防止恶意或超大页面拖住扫描 - 新增设置 media_overwrite_cover（默认关闭）：刮削不再覆盖条目已有封面，只负责补空；需要替换时手动打开。原先只对音乐做了保护，现在统一到所有媒体类型 - 缩略图存储新增 samedir 模式：封面写到媒体文件同目录，文件名为「原文件名.图片后缀」（song.flac.jpg），不覆盖原文件，也不需要配置 VFS 目录 - 依赖代价：go 指令 1.26.0 -> 1.26.4，新增 render 及其纯 Go 依赖（go-gfx/opentype 等），go.sum 由 tidy 收敛 * feat(media): add skip-file-metadata switch (default off) - 新设置 media_skip_file_metadata（默认关闭）：开启后扫描与刮削都不读取媒体文件内容 - 音乐：扫描与刮削均跳过 ID3/Vorbis 解析，退回目录名/文件名，内嵌封面与内嵌歌词一并跳过 - 书籍：刮削时跳过 EPUB/PDF 内嵌封面提取 - 图片：刮削时跳过 EXIF（拍摄时间/地点/设备），缩略图仍生成 - 书籍封面依旧只在刮削阶段提取，扫描阶段完全不读文件 * feat(seed): support folder expansion, split mode and structure-preserving paths - 右键目录也能生成种子：后端递归展开目录下所有文件（深度/数量上限，逐目录校验权限） - 新增 preserve_structure（默认关闭）：开启后种子内保留相对目录结构，关闭时拍平成文件名，重名自动加序号 - 新增 split（默认关闭）：每个文件生成一个种子；关闭时全部合并（默认） - 默认命名：单文件/单目录用其名字；多选合并固定为 torrent - 能力探测接口同步支持目录，前端按展开后的文件列表展示哈希/流量 - 单测覆盖命名规则、保留/拍平路径与重名处理 * feat(seed): compute missing hashes from source files when converting - ConvertSeed 新增 compute_missing / file_base_path：缺哈希时按种子内相对路径读取源目录文件补算，而不是直接返回不可转换 - torrent 目标按整包拼接计算 SHA-1 pieces（解决 piece boundary crosses the next file），CAS 目标按 10 MiB 分片补 MD5 - 补算后仍不满足时返回 400 并带具体原因，避免前端误判成功 * feat(seed): persist overall comment when converting - /fs/seed/convert 新增 comment 字段（指针，允许清空） - 转换与保存注释合并为一次请求，前端不必先保存再转换 * feat(seed): convert to multiple target formats in one request - /fs/seed/convert 新增 formats 数组（去重、bt 别名、最多 3 个），逐个编码并写入目标目录，返回 artifacts - 每个目标独立解码，避免 CAS 补算修改 PieceSize 后污染 torrent pieces - 预检仍保留「不可转换 + 原因」的响应；单目标响应字段保持兼容 - 新增 TestSeedConvertTargets * fix(seed): identity conversion is always feasible and folder roots no longer nest twice - seedConversionStates 现在接收源格式：目标等于源格式时直接可行，不再用「按文件 pieces」去诊断整包结构。合法 torrent（pieces 跨文件）之前被误报 piece boundary crosses the next file，导致预览页对当前格式打叉\n- ConvertSeed 对同一格式直接复制原始字节，跳过诊断与重新编码\n- 保留目录结构时，只选一个目录以该目录为根，修复「剧/剧/S01/...」重复嵌套\n- 新增回归测试：身份转换可行、跨格式仍诊断、单目录/多目录保留结构路径 * fix(seed): keep the torrent's global pieces so it can be re-encoded - Seed 新增运行时字段 GlobalPieces：解析 .torrent 时保留整包 SHA-1 pieces（含 x-openlist 种子），重新编码直接复用，不再按文件拼接\n- DiagnoseConversion 在存在整包 pieces 时跳过「piece 跨文件」检查；否则合法 torrent 会被判成不可转换（Cannot convert to torrent: piece boundary crosses the next file）\n- TorrentFromSeed 优先使用整包 pieces，并对无效哈希返回诊断而不是静默拼接\n- 移除文件 / 重算哈希后清空 GlobalPieces，避免用对不上的旧 pieces 编码\n- 新增往返测试：跨文件 pieces 编码→解析→再编码字节一致；逐文件 pieces 仍拒绝跨文件拼接 * fix(seed): expose seed-level hash availability for torrents BT 的 pieces 是整包的，跨文件时无法拆到单个文件（ValidateSeed 要求每文件片数 = ceil(size/piece)），此前这些文件拿不到 pieces，前端按文件判断就全显示 needs file；现在 SeedFromTorrent 汇总 available_hashes / available_piece_hashes，前端优先按种子级标记显示，并补生成到解析的往返测试 * fix(seed): accept single-file torrent name differing from x-openlist 单文件 torrent 的 info.name 是文件名（带扩展名），x-openlist 的 seed.name 可以不带扩展名；一致性校验此前直接比较两者，判定种子损坏，导致解析 400、前端兜底本地解析（无 conversions/无哈希，全部显示 needs file）。现在单文件允许 info.name == base(seed.Files[0].Path)，并补回归测试 * fix(media-seed): address audit findings and review feedback - Enforce seed source visibility, bounded hashing, and stream cleanup. - Apply conversion selections and hash matrices, preserve comments and global pieces, and restore legacy episode IDs. - Correct task cancellation and retries, scan persistence, and cover protection. - Bound and validate media ZIP import/export, authorize public aggregates, and handle cover edit patches. - Add regression tests and extend the CI test scope. --------- Co-authored-by: Claude <noreply@anthropic.com> Co-authored-by: pikachuren <pikachuren@example.com>