Merge branch 'release/light-adjustment-gpu-2023.1.0'

.github/workflows/test.yaml → .github/workflows/ci.yaml

@@ -1,31 +1,36 @@
-name: test
+name: ci
 
 on:
   push:
     paths-ignore:
-      - '**.md'
-      - 'LICENSE'
-      - 'NOTICE'
+      - "**.md"
+      - "LICENSE"
+      - "NOTICE"
+    # branches-ignore:
+    #   - "feature/pnpm"
 
 jobs:
-  test:
+  ci:
     runs-on: ubuntu-latest
     strategy:
       matrix:
-        node: ['16', '18', '20']
+        node: ["18", "20"]
     steps:
-      - uses: actions/checkout@v3
+      - uses: actions/checkout@v4
+      - uses: goto-bus-stop/setup-zig@v2
+      - run: zig version
       - uses: actions/setup-node@v3
         with:
           node-version: ${{ matrix.node }}
-          cache: npm
-      - run: npm --version
-      - uses: goto-bus-stop/setup-zig@v2
-      - run: zig version
-      - run: npm install
-      - run: npm run build
-      - run: npm run lint
-      - run: npm run doc
+      - uses: pnpm/action-setup@v2
+        name: Install pnpm
+        with:
+          version: 8
+      - run: pnpm --version
+      - run: pnpm install
+      - run: pnpm run build
+      - run: pnpm run lint
+      - run: pnpm run doc
       - run: cd packages/light-adjustment/zig/ && zig build test
       - name: Slack Notification
         if: failure()

.github/workflows/codeql-analysis.yml

@@ -38,7 +38,7 @@ jobs:
 
     steps:
     - name: Checkout repository
-      uses: actions/checkout@v3
+      uses: actions/checkout@v4
 
     # Initializes the CodeQL tools for scanning.
     - name: Initialize CodeQL

.github/workflows/deploy.yml

@@ -3,7 +3,7 @@ name: GitHub Pages Deploy
 # Controls when the workflow will run
 on:
   push:
-    branches: [ "develop" ]
+    branches: ["develop"]
 
   # Allows you to run this workflow manually from the Actions tab
   workflow_dispatch:
@@ -13,27 +13,32 @@ jobs:
   build:
     runs-on: ubuntu-latest
     steps:
-      - uses: actions/checkout@v3
-      - uses: actions/setup-node@v3
-        with:
-          node-version: '18'
-          cache: npm
+      - uses: actions/checkout@v4
       - uses: goto-bus-stop/setup-zig@v2
       - run: zig version
-      - run: npm install
-      - run: npm run build
+      - uses: actions/setup-node@v3
+        with:
+          node-version: "18"
+      - uses: pnpm/action-setup@v2
+        name: Install pnpm
+        with:
+          version: 8
+      - run: pnpm install
+      - run: pnpm run build
       - name: Prepare static files
         run: |
           mkdir _site/
           cp -r examples/ _site/
           rm _site/examples/virtual-background
-          cp -r node_modules/@shiguredo/virtual-background/dist/ _site/examples/virtual-background
+          cp -r packages/virtual-background/dist/ _site/examples/virtual-background
           rm _site/examples/light-adjustment
-          cp -r node_modules/@shiguredo/light-adjustment/dist/ _site/examples/light-adjustment
+          cp -r packages/light-adjustment/dist/ _site/examples/light-adjustment
+          rm _site/examples/light-adjustment-gpu
+          cp -r packages/light-adjustment-gpu/dist/ _site/examples/light-adjustment-gpu
           rm _site/examples/noise-suppression
-          cp -r node_modules/@shiguredo/noise-suppression/dist/ _site/examples/noise-suppression
+          cp -r packages/noise-suppression/dist/ _site/examples/noise-suppression
       - name: Upload files
-        uses: actions/upload-pages-artifact@v1
+        uses: actions/upload-pages-artifact@v2
       - name: Slack Notification
         if: failure()
         uses: rtCamp/action-slack-notify@v2

.github/workflows/release.yaml

@@ -30,7 +30,7 @@ jobs:
       - create-release-draft
     if: always()
     steps:
-      - uses: actions/checkout@v3
+      - uses: actions/checkout@v4
       - uses: rtCamp/action-slack-notify@v2
         if: |
           needs.create-release-draft.result == 'failure'

CHANGES.md

@@ -1,147 +1,186 @@
 # 変更履歴
 
 - UPDATE
-    - 下位互換がある変更
+  - 下位互換がある変更
 - ADD
-    - 下位互換がある追加
+  - 下位互換がある追加
 - CHANGE
-    - 下位互換のない変更
+  - 下位互換のない変更
 - FIX
-    - バグ修正
+  - バグ修正
 
 ## develop
 
 - [FIX] Zig の組み込みのキャスト関数xToYがyFromXにリネームされたので対応
-    - @kounoike
+  - @kounoike
 - [FIX] Zig の `@truncate` やキャスト関連に破壊的変更があったため対応
-    - @kounoike
+  - @kounoike
+
+## light-adjustment-gpu-2023.1.0
+
+**初リリース**
+
+- [ADD] 推論ベースの Low-Light-Image-Enhancement を行う @shiguredo/light-adjustment-gpu パッケージを追加
+  - 暗い画像に対してコントラストを改善したり、逆光で暗くなっている人物を明るくすることができる
+  - 内部的には @shiguredo/image-to-image-video-processor を利用する
+  - https://github.com/PINTO0309/PINTO_model_zoo/tree/main/370_Semantic-Guided-Low-Light-Image-Enhancement のモデルをtfjsに変換して使用する
+  - @kounoike
+- [ADD] 画像→画像の推論を行う際に使える @shiguredo/image-to-image-video-processor パッケージを追加する
+  - Tensorflow.jsを使い、画像→画像の何らかの推論を行う
+  - 推論前後のリサイズ処理を入力解像度に合わせて自動的に行う
+  - Low Light Image Enhancementのような明るさ補正、超解像、ノイズ除去などの推論で使われることを想定している
+  - @kounoike
+- [CHANGE] tsconfig.json の compilerOptions の lib を es2015 から es2020 に変更する
+  - @voluntas
+- [CHANGE] pnpm 化
+  - pnpm-workspace に切り替え
+  - @voluntas
+- [UPDATE] engines でノードのバージョンを 18.17 以上にする
+  - @voluntas
+- [ADD] VideoTrackProcessor に平均処理時間・フレームレートを計算する機能を追加
+  - @kounoike
 
 ## virtual-background-2023.2.0
 
 - [UPDATE] CPU-GPUの転送を減らして背景ぼかし処理を高速化
-    - @kounoike
-
+  - @kounoike
 - [UPDATE] GitHub Actions に Node 20 を追加
-    - @voluntas
+  - @voluntas
 
 ## virtual-background-2023.1.0
 
 - [UPDATE] 複数の映像プロセッサを併用できるようにする
-    - 現状では Chrome / Edge のみで対応
-    - @sile
+  - 現状では Chrome / Edge のみで対応
+  - @sile
 - [UPDATE] 映像トラック処理の共通部分を @shiguredo/video-track-processor として分離する
-    - Chrome / Edge 用の Breakout Box と Safari 用の requestVideoFrameCallback を抽象化した汎用的な部分を切り出して、他の映像処理パッケージからも使えるようにする
-    - @sile
+  - Chrome / Edge 用の Breakout Box と Safari 用の requestVideoFrameCallback を抽象化した汎用的な部分を切り出して、他の映像処理パッケージからも使えるようにする
+  - @sile
 
 ## light-adjustment-2023.2.0
 
 - [UPDATE] 複数の映像プロセッサを併用できるようにする
-    - 現状では Chrome / Edge のみで対応
-    - @sile
+  - 現状では Chrome / Edge のみで対応
+  - @sile
 
 ## light-adjustment-2023.1.0
 
 **初リリース**
 
 ## virtual-background-2022.6.1
+
 - [FIX] 仮想背景処理中の入力映像トラックの解像度変更に出力映像トラックが追従できていなかった問題を修正
-    - https://github.com/shiguredo/media-processors/pull/170
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/170
+  - @sile
 - [FIX] iPhone で仮想背景処理が権限エラーで失敗する問題を修正
-    - https://github.com/shiguredo/media-processors/pull/169
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/169
+  - @sile
 
 ## virtual-background-2022.6.0
+
 - [ADD] Safari での仮想背景処理に対応
-    - Safari の 15.4 で `requestVideoFrameCallback()` が正式に対応されたため、それを用いて Safari での仮想背景処理に対応
-    - Safari はキャンバスのフィルターによるぼかし機能に対応していないため、背景ぼかしは [StackBlur](https://github.com/flozz/StackBlur) を用いて実現している
-    - https://github.com/shiguredo/media-processors/pull/160
-    - @sile
+  - Safari の 15.4 で `requestVideoFrameCallback()` が正式に対応されたため、それを用いて Safari での仮想背景処理に対応
+  - Safari はキャンバスのフィルターによるぼかし機能に対応していないため、背景ぼかしは [StackBlur](https://github.com/flozz/StackBlur) を用いて実現している
+  - https://github.com/shiguredo/media-processors/pull/160
+  - @sile
 
 ## virtual-background-2022.5.0
+
 - [CHANGE] 背景画像と処理対象映像のアスペクト比が異なる場合のデフォルト挙動を「引き伸ばし」から「中央部分のクロップ」に変更
-    - https://github.com/shiguredo/media-processors/pull/129
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/129
+  - @sile
 - [ADD] 背景画像と処理対象映像のアスペクト比が異なる場合の処理方法を決定するための `backgroundImageRegion` オプションを追加
-    - https://github.com/shiguredo/media-processors/pull/129
-    - 合わせて、このオプションに指定可能な組み込みの関数を二つ提供:
-      - `cropBackgroundImageCenter`: アスペクト比を維持したまま、背景画像の中央部分をクロップする（デフォルト）
-      - `fillBackgroundImage`: アスペクト比を崩して、背景画像を処理対象映像に合わせて引き伸ばす（従来の挙動）
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/129
+  - 合わせて、このオプションに指定可能な組み込みの関数を二つ提供:
+    - `cropBackgroundImageCenter`: アスペクト比を維持したまま、背景画像の中央部分をクロップする（デフォルト）
+    - `fillBackgroundImage`: アスペクト比を崩して、背景画像を処理対象映像に合わせて引き伸ばす（従来の挙動）
+  - @sile
 - [UPDATE] TypeScript のバージョンを 4.6.x から 4.7.x に更新
-    - それに伴い `@types/dom-webcodecs` が不要となったので `dependencies` から削除
-    - @sile
+  - それに伴い `@types/dom-webcodecs` が不要となったので `dependencies` から削除
+  - @sile
 
 ## virtual-background-2022.4.3
+
 - [FIX] 仮想背景適用時に映像がチラつくことがある問題を修正
-    - https://github.com/shiguredo/media-processors/pull/100
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/100
+  - @sile
 
 ## noise-suppression-2022.4.2
+
 - [FIX] `stopProcessing()`呼び出し前に、処理適用後のトラックを止めると警告やエラーログが出力される問題を修正
-    - https://github.com/shiguredo/media-processors/pull/59
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/59
+  - @sile
 
 ## virtual-background-2022.4.2
+
 - [FIX] `stopProcessing()`呼び出し前に、処理適用後のトラックを止めると警告やエラーログが出力される問題を修正
-    - https://github.com/shiguredo/media-processors/pull/59
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/59
+  - @sile
 
 ## noise-suppression-2022.4.1
+
 - [FIX] 公開APIに含まれる型を定義しているパッケージをdependenciesに追加
-    - https://github.com/shiguredo/media-processors/pull/26
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/26
+  - @sile
 
 ## virtual-background-2022.4.1
+
 - [FIX] 公開APIに含まれる型を定義しているパッケージをdependenciesに追加
-    - https://github.com/shiguredo/media-processors/pull/26
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/26
+  - @sile
 
 ## noise-suppression-2022.4.0
+
 - [ADD] RNNoiseモデルの差し替えに対応
-    - https://github.com/shiguredo/media-processors/pull/15
-    - @sile
+
+  - https://github.com/shiguredo/media-processors/pull/15
+  - @sile
 
 - [ADD] 処理適用前後のメディアトラックを取得するためのAPIを追加
-    - https://github.com/shiguredo/media-processors/pull/25
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/25
+  - @sile
 
 ## virtual-background-2022.4.0
+
 - [ADD] 処理適用前後のメディアトラックを取得するためのAPIを追加
-    - https://github.com/shiguredo/media-processors/pull/25
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/25
+  - @sile
 
 ## virtual-background-2022.3.1
+
 - [FIX] 仮想背景適用時に画面がカクツクことがある問題を修正
-    - https://github.com/shiguredo/media-processors/pull/14
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/14
+  - @sile
 
 ## noise-suppression-2022.3.0
+
 - [CHANGE] `NoiseSuppressionProcessors` のインタフェース見直し
-    - 処理の開始・停止の度にインスタンスを作り直す必要がなくなった
-    - https://github.com/shiguredo/media-processors/pull/12
-    - @sile
+  - 処理の開始・停止の度にインスタンスを作り直す必要がなくなった
+  - https://github.com/shiguredo/media-processors/pull/12
+  - @sile
 
 ## virtual-background-2022.3.0
+
 - [CHANGE] `VirtualBackgroundProcessors` のインタフェース見直し
-    - 処理の開始・停止の度にインスタンスの作り直す必要がなくなった
-    - オプション指定タイミングをインスタンス生成時から処理開始時に移して、オプション変更を容易に行えるようにした
-    - https://github.com/shiguredo/media-processors/pull/11
-    - @sile
+  - 処理の開始・停止の度にインスタンスの作り直す必要がなくなった
+  - オプション指定タイミングをインスタンス生成時から処理開始時に移して、オプション変更を容易に行えるようにした
+  - https://github.com/shiguredo/media-processors/pull/11
+  - @sile
 
 ## noise-suppression-2022.2.0
+
 - [UPDATE] 末尾にスラッシュを含む `assetsPath` をサポート
-    - https://github.com/shiguredo/media-processors/pull/9
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/9
+  - @sile
 - [FIX] README.md 内の typo 修正
-    - @sile
+  - @sile
 
 ## virtual-background-2022.2.0
+
 - [UPDATE] 末尾にスラッシュを含む `assetsPath` をサポート
-    - https://github.com/shiguredo/media-processors/pull/9
-    - @sile
+  - https://github.com/shiguredo/media-processors/pull/9
+  - @sile
 - [FIX] README.md 内の typo 修正
-    - @sile
+  - @sile
 
 ## noise-suppression-2022.1.0
 

README.md

@@ -61,7 +61,7 @@ GitHub Pages にサンプルを用意しています。完全にクライアン
 
 最新の状況などは Discord で共有しています。質問や相談も Discord でのみ受け付けています。
 
-https://discord.gg/shiguredo
+https://discord.gg/shiguredo の `#media-processors` チャネルをご利用ください。
 
 ### バグ報告
 

examples/light-adjustment

@@ -1 +1 @@
-../node_modules/@shiguredo/light-adjustment/dist/
+../packages/light-adjustment/dist/

examples/light-adjustment-gpu

@@ -0,0 +1 @@
+../packages/light-adjustment-gpu/dist/