バックエンドが生成するapi.jsonからmisskey-jsの型を作成する #12434

samunohito · 2023-11-24T10:00:24Z

What

#12410 の対応です。
この対応により、misskey-jsの型情報をバックエンドに追従させやすくなります。

Why

fix #12410

Additional info (optional)

openapi-typescriptを使用してapi.jsonから型情報を作成
api.jsonからエンドポイントの各パラメータやschema配下の定義を取得
1と2をあわせ、型のエイリアスを定義するファイルを生成
misskey-jsで3をexport

…みたいな感じで進めています。

backend/frontendにも変更ファイルが多数存在していますが、その内訳は以下のとおりです。型に関する内容が中心で、トランスパイル後の動きに影響があるものはほぼ無いと思われます（ロジックに手を入れた所は差分にコメントします）

backend　→各インターフェースに不足していたリクエスト/レスポンスの記述を補強
frontend　→上記4で作成された型を使うように変更（バックエンド側のスキーマ定義と違う型名だった場合）

Checklist

Read the contribution guide
Test working in a local environment
(If needed) Add story of storybook
(If needed) Update CHANGELOG.md
(If possible) Add tests

kakkokari-gtyih · 2023-11-24T11:46:07Z

(WIPとのことなのでDraftにしておきました！準備ができればReady for reviewを押してください)

samunohito · 2023-11-25T08:18:25Z

めも

自動生成したやつにない

Instance federation/instances
Invite invite/list
AuthSession
AdminInstanceMetadata 'admin/meta'
DetailedInstanceMetadata 'meta'
LiteInstanceMetadata 'meta'
InstanceMetadata
CustomEmoji 'emojis'

↑api.jsonの生成ロジックとAjvのロジックが噛み合わなくて辛かったのでやめた

samunohito · 2023-11-25T08:35:57Z

メモ
UserGroup不要 #9931
MessagingMessage不要 #9919

# Conflicts: # packages/misskey-js/src/api.types.ts # packages/misskey-js/src/entities.ts

codecov · 2023-11-26T07:00:51Z

Codecov Report

Attention: 17 lines in your changes are missing coverage. Please review.

Comparison is base (238e8ce) 78.71% compared to head (3a64cf7) 78.76%.
Report is 1 commits behind head on develop.

Files	Patch %	Lines
packages/frontend/src/scripts/api.ts	18.75%	13 Missing ⚠️
...d/src/server/api/endpoints/federation/instances.ts	87.50%	3 Missing ⚠️
packages/frontend/src/custom-emojis.ts	66.66%	1 Missing ⚠️

Additional details and impacted files

@@             Coverage Diff             @@
##           develop   #12434      +/-   ##
===========================================
+ Coverage    78.71%   78.76%   +0.04%     
===========================================
  Files          951      954       +3     
  Lines       103427   103792     +365     
  Branches      8330     8327       -3     
===========================================
+ Hits         81417    81754     +337     
- Misses       22010    22038      +28

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

github-actions · 2023-11-26T07:00:58Z

このPRによるapi.jsonの差分

差分はこちら

--- base
+++ head
@@ -347,6 +347,82 @@
                     "notesPerOneAd": {
                       "type": "number",
                       "nullable": false
+                    },
+                    "backgroundImageUrl": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "deeplAuthKey": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "deeplIsPro": {
+                      "type": "boolean",
+                      "nullable": false
+                    },
+                    "defaultDarkTheme": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "defaultLightTheme": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "description": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "disableRegistration": {
+                      "type": "boolean",
+                      "nullable": false
+                    },
+                    "impressumUrl": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "maintainerEmail": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "maintainerName": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "name": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "objectStorageS3ForcePathStyle": {
+                      "type": "boolean",
+                      "nullable": false
+                    },
+                    "privacyPolicyUrl": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "repositoryUrl": {
+                      "type": "string",
+                      "nullable": false
+                    },
+                    "summalyProxy": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "themeColor": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "tosUrl": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "uri": {
+                      "type": "string",
+                      "nullable": false
+                    },
+                    "version": {
+                      "type": "string",
+                      "nullable": false
                     }
                   },
                   "required": [
@@ -419,7 +495,26 @@
                     "perRemoteUserUserTimelineCacheMax",
                     "perUserHomeTimelineCacheMax",
                     "perUserListTimelineCacheMax",
-                    "notesPerOneAd"
+                    "notesPerOneAd",
+                    "backgroundImageUrl",
+                    "deeplAuthKey",
+                    "deeplIsPro",
+                    "defaultDarkTheme",
+                    "defaultLightTheme",
+                    "description",
+                    "disableRegistration",
+                    "impressumUrl",
+                    "maintainerEmail",
+                    "maintainerName",
+                    "name",
+                    "objectStorageS3ForcePathStyle",
+                    "privacyPolicyUrl",
+                    "repositoryUrl",
+                    "summalyProxy",
+                    "themeColor",
+                    "tosUrl",
+                    "uri",
+                    "version"
                   ]
                 }
               }
@@ -30342,7 +30437,24 @@
                     "default": 0
                   },
                   "sort": {
-                    "type": "string"
+                    "type": "string",
+                    "nullable": true,
+                    "enum": [
+                      "+pubSub",
+                      "-pubSub",
+                      "+notes",
+                      "-notes",
+                      "+users",
+                      "-users",
+                      "+following",
+                      "-following",
+                      "+followers",
+                      "-followers",
+                      "+firstRetrievedAt",
+                      "-firstRetrievedAt",
+                      "+latestRequestReceivedAt",
+                      "-latestRequestReceivedAt"
+                    ]
                   }
                 }
               }
@@ -30535,7 +30647,24 @@
                     "default": 0
                   },
                   "sort": {
-                    "type": "string"
+                    "type": "string",
+                    "nullable": true,
+                    "enum": [
+                      "+pubSub",
+                      "-pubSub",
+                      "+notes",
+                      "-notes",
+                      "+users",
+                      "-users",
+                      "+following",
+                      "-following",
+                      "+followers",
+                      "-followers",
+                      "+firstRetrievedAt",
+                      "-firstRetrievedAt",
+                      "+latestRequestReceivedAt",
+                      "-latestRequestReceivedAt"
+                    ]
                   }
                 }
               }
@@ -41970,6 +42099,33 @@
                         "objectStorage",
                         "serviceWorker"
                       ]
+                    },
+                    "backgroundImageUrl": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "impressumUrl": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "logoImageUrl": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "privacyPolicyUrl": {
+                      "type": "string",
+                      "nullable": true
+                    },
+                    "serverRules": {
+                      "type": "array",
+                      "nullable": false,
+                      "items": {
+                        "type": "string"
+                      }
+                    },
+                    "themeColor": {
+                      "type": "string",
+                      "nullable": true
                     }
                   },
                   "required": [
@@ -42011,7 +42167,13 @@
                     "enableServiceWorker",
                     "translatorAvailable",
                     "proxyAccountName",
-                    "mediaProxy"
+                    "mediaProxy",
+                    "backgroundImageUrl",
+                    "impressumUrl",
+                    "logoImageUrl",
+                    "privacyPolicyUrl",
+                    "serverRules",
+                    "themeColor"
                   ]
                 }
               }

Get diff files from Workflow Page

samunohito · 2023-11-26T07:11:31Z

（CIめっちゃこけてる）

# Conflicts: # package.json # pnpm-lock.yaml

samunohito · 2023-11-27T23:39:42Z

packages/frontend/src/pages/instance-info.vue

+	suspended = instance?.isSuspended ?? false;
+	isBlocked = instance?.isBlocked ?? false;
+	isSilenced = instance?.isSilenced ?? false;
+	faviconUrl = getProxiedImageUrlNullable(instance?.faviconUrl, 'preview') ?? getProxiedImageUrlNullable(instance?.iconUrl, 'preview');


federation/show-instanceは204を返すこともあるので、bodyが空だった時に初期値を入れるようにしています

samunohito · 2023-11-27T23:42:24Z

packages/frontend/src/pages/instance-info.vue

 	await os.api('admin/update-meta', {
-		silencedHosts: isSilenced ? meta.silencedHosts.concat([host]) : meta.silencedHosts.filter(x => x !== host),
+		silencedHosts: isSilenced ? silencedHosts.concat([host]) : silencedHosts.filter(x => x !== host),


silencedHostsは型定義上undefinedになりえるので、その場合はデフォルト値として空配列を使用する措置をしました

samunohito · 2023-11-27T23:44:53Z

packages/frontend/src/pages/welcome.entrance.a.vue

+		return '';
+	}
+
+	return getProxiedImageUrl(instance.iconUrl, 'preview');


iconUrlはDB定義上nullになりえるのでこうしています
（呼び元にてv-ifで制御されている）

samunohito · 2023-11-27T23:46:39Z

packages/frontend/src/scripts/api.ts

+	data: P = {} as any,
+	token?: string | null | undefined,
+	signal?: AbortSignal,
+): Promise<Misskey.api.SwitchCaseResponseType<E, P>> {


misskey-js側で定義されていたものをexport typeして持ち込みました。
$switch/$caseを使った特殊な型定義で、リクエストによりレスポンスの型定義が動的に切り替わる仕組みです。

samunohito · 2023-11-28T00:10:28Z

packages/frontend/src/components/MkInstanceCardMini.vue

-	res.requests.received.splice(0, 1);
-	chartValues = res.requests.received;
+	res['requests.received'].splice(0, 1);
+	chartValues = res['requests.received'];


返ってくる値の形が↓のようになっており、エラーとなっていましたので値の参照方法を変えています
https://github.com/samunohito/misskey/blob/c2370a1be631355e709c47d3b5e9469906116b84/packages/backend/src/core/chart/charts/entities/instance.ts

samunohito · 2023-11-28T00:14:08Z

packages/misskey-js/test-d/streaming.ts

-		messagingChannel.on('message', message => {
-			expectType<Misskey.entities.MessagingMessage>(message);
-		});
-	});


messagingは既に存在しないので削除しています
#9919

samunohito · 2023-11-28T00:14:10Z

packages/misskey-js/src/streaming.types.ts

-				id: MessagingMessage['id'];
-			};
-		};
-	};


メッセージ機能は廃止になった経緯を観測したので削除しています（未使用の型定義整理の一環）
#9919

syuilo · 2023-12-02T08:11:43Z

readyということはもうレビューしてもよい状態ということで合ってるかしら？

samunohito · 2023-12-02T09:14:35Z

@syuilo
大丈夫です
お願いします:pray:

syuilo · 2023-12-02T11:19:37Z

例えばこんな感じに書いても型エラーにならないのは仕様？

samunohito · 2023-12-02T11:35:04Z

こっちも型エラーが出なくて？？？でしたが、IDEを再起動したところ出るようになりました。
急激に構成が変わるのでエディタ側のキャッシュが追い付いてないのかもしれないです

samunohito · 2023-12-02T11:44:55Z

VSCodeでも確認しました

syuilo · 2023-12-02T12:00:14Z

🙏🏻 🙏🏻 🙏🏻 🙏🏻 🙏🏻

zyoshoka · 2023-12-02T13:03:25Z

packages/misskey-js/generator/src/generator.ts

+function generateVersionHeaderComment(openApiDocs: OpenAPIV3.Document): string {
+	const contents = {
+		version: openApiDocs.info.version,
+		generatedAt: new Date().toISOString(),


生成日時がコメントで入るようになっていますが、コンフリクト解消の手間を考えると無くても良い気がします。いかがでしょうか？

* ひとまず生成できるところまで * ファイル構成整理 * 生成コマンド整理 * misskey-jsへの組み込み * fix generator.ts * wip * fix generator.ts * fix package.json * 生成ロジックの調整 * 型レベルでのswitch-case機構をmisskey-jsからfrontendに持ち込めるようにした * 型チェック用のtsconfig.jsonを作成 * 他のエンドポイントを呼ぶ関数にも適用 * 未使用エンティティなどを削除 * misskey-js側で手動定義されていた型を自動生成された型に移行（ただしapi.jsonがvalidでなくなってしまったので後で修正する） * messagingは廃止されている（テストのビルドエラー解消） * validなapi.jsonを出力できるように修正 * 修正漏れ対応 * Ajvに怒られて起動できなかったところを修正 * fix ci（途中） * パラメータenumをやめる * add command * add api.json * 都度自動生成をやめる * 一気通貫スクリプト修正 * fix ci * 生成ロジック修正 * フロントの型チェックは結局やらなかったので戻しておく * fix pnpm-lock.yaml * add README.md --------- Co-authored-by: osamu <[email protected]> Co-authored-by: syuilo <[email protected]>

samunohito added 8 commits November 23, 2023 13:06

ひとまず生成できるところまで

ddeeda9

ファイル構成整理

27c07cc

生成コマンド整理

6a46a80

misskey-jsへの組み込み

9e59a16

fix generator.ts

a16e357

wip

4e87a31

fix generator.ts

19cee66

fix package.json

3ee2723

github-actions bot added the packages/misskey-js label Nov 24, 2023

kakkokari-gtyih marked this pull request as draft November 24, 2023 11:45

samunohito added 3 commits November 25, 2023 14:36

生成ロジックの調整

5f88d62

型レベルでのswitch-case機構をmisskey-jsからfrontendに持ち込めるようにした

de37897

型チェック用のtsconfig.jsonを作成

bfc9187

github-actions bot added the packages/frontend Client side specific issue/PR label Nov 25, 2023

他のエンドポイントを呼ぶ関数にも適用

0add5d0

samunohito added 3 commits November 25, 2023 19:06

未使用エンティティなどを削除

62e15ab

misskey-js側で手動定義されていた型を自動生成された型に移行（ただしapi.jsonがvalidでなくなってしまったので後で修正する）

0874bd9

messagingは廃止されている（テストのビルドエラー解消）

6a9fd7d

github-actions bot added packages/backend Server side specific issue/PR packages/misskey-js:test labels Nov 25, 2023

samunohito added 4 commits November 26, 2023 09:51

validなapi.jsonを出力できるように修正

fef0671

修正漏れ対応

058ccb9

Ajvに怒られて起動できなかったところを修正

508e18c

Merge branch 'develop' into enhance/misskey-js-type-autogen

657bf5f

# Conflicts: # packages/misskey-js/src/api.types.ts # packages/misskey-js/src/entities.ts

samunohito added 4 commits November 27, 2023 11:36

フロントの型チェックは結局やらなかったので戻しておく

531df7c

Merge branch 'develop' into enhance/misskey-js-type-autogen

492b882

# Conflicts: # package.json # pnpm-lock.yaml

fix pnpm-lock.yaml

4070396

add README.md

0a4f8d7

samunohito commented Nov 27, 2023

View reviewed changes

samunohito commented Nov 28, 2023

View reviewed changes

samunohito changed the title ~~[WIP] バックエンドが生成するapi.jsonからmisskey-jsの型を作成する~~ バックエンドが生成するapi.jsonからmisskey-jsの型を作成する Nov 28, 2023

samunohito marked this pull request as ready for review November 28, 2023 00:16

samunohito and others added 3 commits November 29, 2023 12:34

Merge branch 'develop' into enhance/misskey-js-type-autogen

f5491e0

Merge branch 'develop' into enhance/misskey-js-type-autogen

2d7d633

Merge branch 'develop' into enhance/misskey-js-type-autogen

9791a43

Merge branch 'develop' into pr/12434

3a64cf7

syuilo merged commit 3364162 into misskey-dev:develop Dec 2, 2023
18 checks passed

zyoshoka reviewed Dec 2, 2023

View reviewed changes

zyoshoka mentioned this pull request Dec 7, 2023

secure: true なエンドポイントの型が misskey-js に含まれていない #12598

Closed

saschanaz mentioned this pull request Dec 26, 2023

misskey.entities.MeSignupなくなってる #12813

Closed

samunohito deleted the enhance/misskey-js-type-autogen branch January 11, 2024 00:15

zyoshoka mentioned this pull request Jul 18, 2024

can not disable notifications for ended polls #8890

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

バックエンドが生成するapi.jsonからmisskey-jsの型を作成する #12434

バックエンドが生成するapi.jsonからmisskey-jsの型を作成する #12434

samunohito commented Nov 24, 2023 •

edited

Loading

kakkokari-gtyih commented Nov 24, 2023

samunohito commented Nov 25, 2023 •

edited

Loading

samunohito commented Nov 25, 2023

codecov bot commented Nov 26, 2023 •

edited

Loading

github-actions bot commented Nov 26, 2023 •

edited

Loading

samunohito commented Nov 26, 2023

samunohito Nov 27, 2023

samunohito Nov 27, 2023

samunohito Nov 27, 2023 •

edited

Loading

samunohito Nov 27, 2023

samunohito Nov 28, 2023

samunohito Nov 28, 2023

samunohito Nov 28, 2023

syuilo commented Dec 2, 2023 •

edited

Loading

samunohito commented Dec 2, 2023

syuilo commented Dec 2, 2023

samunohito commented Dec 2, 2023

samunohito commented Dec 2, 2023

syuilo commented Dec 2, 2023

zyoshoka Dec 2, 2023

バックエンドが生成するapi.jsonからmisskey-jsの型を作成する #12434

バックエンドが生成するapi.jsonからmisskey-jsの型を作成する #12434

Conversation

samunohito commented Nov 24, 2023 • edited Loading

What

Why

Additional info (optional)

Checklist

kakkokari-gtyih commented Nov 24, 2023

samunohito commented Nov 25, 2023 • edited Loading

自動生成したやつにない

samunohito commented Nov 25, 2023

codecov bot commented Nov 26, 2023 • edited Loading

Codecov Report

github-actions bot commented Nov 26, 2023 • edited Loading

samunohito commented Nov 26, 2023

samunohito Nov 27, 2023

Choose a reason for hiding this comment

samunohito Nov 27, 2023

Choose a reason for hiding this comment

samunohito Nov 27, 2023 • edited Loading

Choose a reason for hiding this comment

samunohito Nov 27, 2023

Choose a reason for hiding this comment

samunohito Nov 28, 2023

Choose a reason for hiding this comment

samunohito Nov 28, 2023

Choose a reason for hiding this comment

samunohito Nov 28, 2023

Choose a reason for hiding this comment

syuilo commented Dec 2, 2023 • edited Loading

samunohito commented Dec 2, 2023

syuilo commented Dec 2, 2023

samunohito commented Dec 2, 2023

samunohito commented Dec 2, 2023

syuilo commented Dec 2, 2023

zyoshoka Dec 2, 2023

Choose a reason for hiding this comment

samunohito commented Nov 24, 2023 •

edited

Loading

samunohito commented Nov 25, 2023 •

edited

Loading

codecov bot commented Nov 26, 2023 •

edited

Loading

github-actions bot commented Nov 26, 2023 •

edited

Loading

samunohito Nov 27, 2023 •

edited

Loading

syuilo commented Dec 2, 2023 •

edited

Loading