Shap-Eは、テキストプロンプトや1枚の物体画像がどのように3Dアセットになるのかを学ぶのに役立ちます。2023年に公開された研究用リリースは、さまざまな角度からレンダリングしたり、メッシュとしてエクスポートしたりできる陰的表現を生成します。テキスト入力のサンプルでは、PLYファイルとOBJファイルを書き出します。問題はエクスポート後にあります。OpenAIは、粗いエッジ、穴、ぼやけたテクスチャが生じ、シンプルでカートゥーン調のアセットになりやすいと説明しています。複雑なプロンプトや隠れた面も苦手です。学習用のベースラインとして、あるいは簡単な小物を作る実験に使うのがよいでしょう。回転するプレビューがあっても、きれいなトポロジー、UVマップ、リグが得られるわけではありません。また、OpenAIのモデルカードは、このリリースの商用利用を推奨していません。
商用利用 & ライセンス
リポジトリのコードはMITライセンスで、著作権表示と許諾表示を保持すれば商用利用と再配布が認められます。使用するチェックポイントそのものの条件を確認してください。コードのライセンスによって、入力データやサードパーティー製アセットの権利関係が解決されるわけではありません。
成人向けコンテンツのルール
参照したコードのMITライセンスには成人向けコンテンツに関する条項はありませんが、参照画像、肖像、サードパーティー製アセットの権利関係を解決するものではありません。Shap-Eのモデルカードは商用利用を推奨しておらず、依存先であるCLIPのモデルカードは、デプロイして利用することをすべて想定範囲外としています。コードには寛容なライセンスが適用される一方、想定用途についてはこうした注意事項もあります。使用するチェックポイントそのものの条件と、利用するホスティング事業者のポリシーを確認してください。
必要なもの
Python/PyTorchに加え、リポジトリの依存先であるCLIPと、公開済みのチェックポイント／設定ファイルを使用します。ノートブックはCUDAが利用可能ならCUDAを、そうでなければCPUを選択します。既存の3DアセットのエンコードにはBlender 3.3.1+とBLENDER_PATHが必要です。エクスポート後には、メッシュの点検と修正を行うことを見込んでください。
ランクは、確認したドキュメントに基づく、記載の作業に対する推奨度です。モデルのランクは、性的に露骨な内容を扱わない開発作業を対象としています。実際のベンチマークは行っていません。コンテンツポリシーと商用利用条件は別途確認してください。 ランクの仕組み →