１．今週の予定
今週もこの順序に従って勉強していきます。
- 映像作成用UE5の勉強
- AIの勉強
- Nvidia Omniverseの勉強
- Gaeaの勉強もしくはVroidとUE5の勉強
- Houdiniの勉強
- AIについての調査（ComfyUIの勉強）
- DirectX12の勉強
2．映像作成用UE5の勉強
2.1 PCGの勉強
2.1.1 床の問題を直す
先週の最後です。
床が正常に表示されていません。
これを直します。
以下のようにParameterを変更しました。
WidthとDepthにはWallSizeをPassします。
HeightにはWallThicknessの値をPassしました。
結果です。
Building内にぴったし収まっています。
ProspectiveなViewになります。
Buildingの地形を変更しても床はぴったし合っています。
出来ました。
更にWall SizeやWall Heightを変更しても大丈夫でした。
2.1.2 Here's How to Adjust Your Building Based on the Asset Size | UE 5.4 P2 [1]の17分から勉強する
壁の内側を作成します。
内側向きの壁を追加するだけです。
新しいPCG Graphを作成しました。
名前はPCG_CloseOpenBackWallsです。
Inputに以下の２つを追加しました。
Index[0]のPin StatusはAdvancedになっていますが、説明ではNormalと言っていました。
最初のNodeにはGet Attribute From Point Indexノードを追加しました。
そのParameterにあるInput Sourceの値にOpenBackを追加しました。
そして以下のように組みます。
内側が無いWallの場合の内側のWallを追加するための実装を追加します。
Transform Pointsノードを追加します。
そして以下のずれを直すための実装を追加します。
Offsetの値を変更し
Unform ScaleをOffにし
Scaleの値を以下のように変更します。
PCG Buildingに戻ってPCG Scale Wall SizeノードにこのPCG_CloseOpenBackWallsノードを繋げます。
直接つなげる事は出来ないので、まず以下に示したAttribute Partitionノードを追加します。
Attribute PartitionノードのIndex[0]の値をMeshに変更して
PCG_CloseOpenBackWallsノードを繋げました。
TutorialではInteriorのWallも同じWallを使用するので以下のような実装になりました。
もう一つの壁も同じようにやります。
結果です。
内側の壁が出来ました。
ただしBuildingのEdgeの部分が以下のようになってしまいました。
これは後で直すそうです。
＜21:14 - Floor / Ceiling from Data Assets＞
今度はFloorとCeilingの調整を行うそうです。
あれ？ Floorの設定って何をやるんでしょうか？
まず以下に示したData AssetノードとGet Property From Object Pathノードを追加します。
Get Property From Object PathノードのProperty Nameの値をFloorに変更しました。
そしてMatch And Set Attributesノードを追加しました。
この後にPCG_CloseOpenBackWallsノードを追加します。
しますが一寸だけ機能が違うのでPCG_CloseOpenBackWalls をDuplicateして名前を変更します。
PCG_CloseOpenBackFloorsに変更しました。
中を開いてTransform Pointノードの設定を以下のように変更しました。
最後にOutputのPinの名前をFloorとCeilingに変更しました。
そして以下のように繋ぎました。
最後にStatic Mesh Spawnerノードの設定でMesh Selector TypeとAttribute Nameの値を以下のように変更しました。
結果です。
特に問題ないです。
下から見ると
となっています。
今度はCeilingを指定します。
天井が出来ました。
CeilingのMaterialを変更するのに以下のMaterialを以下の場所にセットしました。
結果です。
なんか飛び出しています。
これはFloorの結果でしょうか。
多分、Ceilingの結果がこの飛び出しを追加しているんでしょうね。
これを直します。
Floorに使用したStatic MeshをDuplicateしてそちらを変更します。
FloorとCeilingに使用したMaterialを見るとPivot Pointが以下の位置にセットされています。
このPivot Pointの位置を移動させます。
まずModeling Modeに移動します。
X Formに移動してEdit Pivotを選択します。
以下のCenterとBottomを選択して
Pivotの位置を以下の場所に変更しました。
Pivotの位置が以下の場所に変りました。
そして以下の場所にSetし直します。
結果です。
今度はOffsetがズレています。
これは当然で、おそらくTutorialを作ってる途中でUE5にはこんな機能がある事を知ったんでしょう。
以下の実装を消しています。
うーん。
これは正しいのか。
一応、計算してみるか。
あってるぼいです。
Testします。
Floorの凸凹が無くなりました。
Wall SizeなどのParameterを変更して確認していますが。問題ありません。
ここでこの節が終わっています。
丁度良いので今週のPCGの勉強はここまでにします。
FloorとCeilingの実装は、前に勝手にやった内容と一部被ってる気がします。
その辺は来週実装する時に確認します。
2.2 Level Sequence上でAnimationの編集をする方法
2.2.1 Creating and Modifying Control Rig [2]を実装する
先週、勉強した内容を実装していきます。
＜Setup Control Rig Functionality Using Rig Nodes＞
またどのProjectで作成したのか分からなくなってしまいました。
調べたらMy Projectでした。
前に作成したSK_青髪_1_0_CtrlRigを開くと
Forwards Solveノードが表示されていました。
Backwards Solveに変更しました。
がGraphの表示はForwards Solveノードのままです。
以下の実装を追加しました。
これでControlのRoot_Ctrlを動かしたらBoneのRootが動くようになるんでしょうか？
Testしてみます。
おお、動きました。
なんか簡単すぎて納得出来ません。
以下の状態でもう一回試してみます。
動きません。
Modelは全く動かないです。
おお。
こういう事か。
納得しました。
後、重要な点はSet TransformノードのPropagate to ChildrenがEnableされている点です。
これが無いとModelは動かないかもしれません。
うーん。
でもRootが動いたら全部動くような気がします。
これも試してみます。
動きません。
成程。
Tutorialでは全部のJointにControlを作成してそれを全部Setしているんですが、私は以下の３つのControlしか作成しています。
とりあえず、のこり２つのControlもSetします。
J_Bip_C_HipsにJ_Bip_C_Hips_ctrlをSetしました。
J_Bip_C_Hips_ctrlを動かすと
Modelが回転しました。
これは特別記載すべき内容は無いです。
次の肘をやります。
なんと繋げた瞬間に
肘が異常な状態になりました。
Get TransformノードのSpaceをLocal Spaceに変更したら
直りました。
先週のBlogを見て確認したところ、
Globalになっています。
うーん。
これは何かが間違っているんでしょうか？
いや、ここで重要なのは肘がControlからきちんと動かせるかどうかです。
まず肘を曲げました。
おお動いています。
今度は肘を回してみます。
これも出来ました。
でも肘の動きって曲がるだけですよね。
回転するのは厳密に言えば、手首の関節の動きです。
肘は一次元の動きで曲がるか伸びるかしかないはずです。
更に以下のような肩の回転に繋がる動きも出来きました。
これは元のVroidのBoneがそうなってるんでしょうか？
よく分かりません。
ここで時間が無くなってしまいました。
うーん。IK Boneの設定は来週に回しますか。
今週はここまでにします。
3．AIの勉強
3.1 先週の復習
先週何をしたか覚えていません。
前回のBlogを読んで復習します。
思い出しました。
Model.pklをHugging FaceにUploadしたんでした。
しかし色々問題があって
- pklにUnsafeのMarkがついている
- Passwordを何回も聞いてくる
- aiを使用するのにRequirements.txtを使用しているがTutorialにこれに関する記述がない
これらの問題については今週ImageをUploadした後に検証します。
3.2 Image FileをUploadする
ImageをUploadしてHuggingFaceのSiteを完成させます。
FileのUpload方法を忘れてしまいました。
Copilotに聞いて確認します。
うーん。
なんか変化回答が返って来ました。
あ、そうかCommit、Pushの方法を聞かないといけないのか。
こういうのはAIなんだから、推測して正しい答えを返してほしいです。
今度は何とかですが、欲しい回答が返って来ました。
後はLFS（Git Large File Storage）を使用すべきかどうかです。
調べた結果、10MBまではLFSを使用しないでPush出来るみたいです。
どのImage fileをPushする必要があるのか一応、Visual Studio Codeから確認しておきます。
あ。
Visual Studio Codeの開き方を忘れてしまいました。
まあ、Copilotに聞けば分かるでしょう。
あれ？
なんか.が有った気がするんですが？
Blogから調べます。
2025-02-16のBlogに以下のように書いてありました。
やっぱし、Periodがあります。
もう一回Copilotに聞いてみました。
それぞれのFileの大きさも調べます。
一番大きいCharizard.pngのFileでも3MBです。
LFSを使用しないでもPush出来るでしょう。
後、Hugging FaceのUser IDとPasswordも必要です。
全部用意しました。
ではまずCharizard,pngをPushしてみます。
ここまでは順調です。
ではPushを実行します。
また何回もUser NameとPasswordを聞いてきました。
一回回答した後に、何回も聞いてくるのは無視したらErrorになりました。
Binary FileはLFSを使用しろ。と返って来ました。
くそ。
CopilotはBinary Fileについては何も回答してこないです。
Copilotに質問したら
Hugging Faceの設定がそうなってるからみたいです。
じゃあLFSを使用してPushします。
やり方も説明してありました。
でもこのやり方あってんでしょうか？
前回LFSを使用した時は、
まずModel.pklを以下のCommandで
Git attributesにセットしています。
そしてGit attributes をAddしてPushしています。
それに対して今回の回答は、Git Attributeに.pngをセットして
それをAddした後にCharizard.pngをPushしています。
何でCharizard.pngだけGet Attributeに追加しないんでしょうか？
これもCopilotに質問してみます。
成程。
を使用したら全てのpngがLFSにTrackされるので、後が楽になるからだそうです。
では一回
をやった後で、今度はPikachu.pngをPushする場合はどうなるんでしょうか？
以下のCommandだけで良いそうです。
成程。
一々、
して
git add .gitattributes
をしないで済む訳です。
更にこの実行Commandを見ると
先程のCharizard.pngをPushする手順で
Git AttributeをPushした後で、更にCharizard.pngをPushしている意味も理解出来ます。
git add .gitattributes
までは全てのPngをLFSに登録しますよ。という意味だからです。
ではこのCommandに従ってもう一回Charizard.pngをPushしてみます。
また同じErrorが返って来ました。
これは前回と同じ問題が起きてると思われます。
一応、Copilotの方に以下の質問をしてみます。
回答です。
Commitのせいかもしれない。とも言っています。
そうなのか。
以下の方法で確認出来ると言っています。
そして以下のCommandでCommitが消せるとありました。
Pushの方です。
そしてもう一回、以下のCommandをやれ。と言っています。
ようし。
やってみます。
まずGit StatでPushedされてないCommandがあるかみます。
Commitが2つあるって言っています。
更にPushされてないFileが沢山あります。
これはどうでも良いです。
Commitの内容をCheckします。
Add Charizard imageとAdd Charizard image using Git LFSの２つがPushされてないCommitでしょう。
この２つを消す必要があるはずです。
次のCommandですが
永遠にPasswordを聞いてきます。
拒否するとLockが無いと言っていました。
確かに
にはそんなFileはありませんが、このFolderのAddressは
です。
とは違います。
ここで用事が入ったので一端中止します。
用事は中止になりました。
もう一回Tryします。
以下のCommandでPngがGit Attributesに既に入っているか確認します。
結果です。
入っています。
今度はもう一回Commitを確認します。
上２つのCommitを外す必要があります。
Copilotに質問したら以下の２つの方法が返って来ました。
先週のBlogで確認したら、前回はSoftの方を使用していました。
はい。
上２つのCommitを外しました。
Git StatusでCommandの確認を行いました。
ここでChangesと言っている部分がまだ残ってるんでしょうか？
先週のBlogでも同じ事をしてるかもしれません。
確認します。
してました。
以下の作業をする必要があるみたいです。
消します。
Copilotに聞いたら以下のCommandで全部消せるそうです。
やってみます。
Git attributesの方は消えてないじゃん。
何で？
Copilotに聞いてみました。
うん。
Not staged？
Copilotにしつこく質問したら大体理解しました。
以下のようになってるそうです。
で、Git attributes fileですが、先程の
cat .gitattributes
は
となってるそうです。
まずこのgitAttributesをPushしましょう。
これで編集したGit attributesはPushされたはずです。
これで今度こそCharizard.pngがPush出来るはずです。
試してみます。
うーん。
出来たみたいです。
確認してみます。
あれ？
Errorになってしまいました。
Fileの方にはCharizard.pngがありました。
一寸休憩します。
まずは残り2枚のImageをPushしてしまいます。
その後でこのErrorについて検証します。
まずPikachu.pngです。
何の問題もなく追加出来ました。
次はUnknown.pngです。
これも難なく追加出来ました。
3.3 Runtime Errorについて調査する
それではRuntime Errorについて調査します。
でまずはこのErrorが何を指しているのかの理解をしっかりする事から始めます。
Error MessageをCopilotでもう一回聞いてみました。
結果です。
これは前に理解した内容と同じです。
そして解決方法です。
うーん。
Fasttramsform packageをinstallするって、これってHugging faceの問題でしょう。
どうやってするんでしょう。
Copilotに質問してみました。
やっぱりRequirement.txtか
やり方も示してくれました。
うーん。
これくらいなら今試せますね。
やってみます。
Requirement.txtにfasttransformを追加しました。
以下のCommandで変更したRequirement.txtをPushしました。
結果です。
同じErrorが発生しました。
Copilotに質問します。
要するにCodeも書き換える必要があるそうです。
成程ね。
だったらまずはFastAIのVersion、特にJupytor notebookで使用しているFastAIのVersionを調べる事にします。
それと同じVersionをRequirement.txtで指定したら全部解決するような気がします。
でした。
ここでは普通に動いています。
FastAI Versionは2.7.17でした。
Requirement.txtの設定を以下のように変更しました。
Pushします。
普通にPush出来ました。
結果ですが、全く同じErrorが出て来ました。
Codeを全部Copilotに載せて理由を聞くと
Model.pkl内で使用しているFunctionかClassがfastcore.transform Moduleのものを使用しているから、このErrorが起きてると言っています。
そうなのか。
しかも解決策として以下の内容を提示していました。
今週のAIの勉強はここまでにします。
この問題は来週やる事にします。
4．Nvidia Omniverseの勉強
4.1 NVIDIA Isaac Sim - MuSHR RC Car - Ackermann Tutorial [2]を勉強する
4.1.1 先週まで復習
2025-02-23のBlogから始まったROS1 Subscribe AckermannDriveノードをどうやってInstallして使用出来るようになるのか？についての調査の続きをしています。
AIに質問したりしてROS1 Subscribe AckermannDriveノードを使用するためには、
- Issac SimのExtensionをEnableする
- 必要なPackageをInstallする
が必要な事を理解していました。
そして公式SiteのIssac SimにROSとROS2に関する項目がある事を発見しました。
更にそこには、WSL2を使用してROSをInstallする方法、今まで私がやっていた方法が載っていました。
公式SiteのIssac SimにROSとROS2に関する項目を読んで、Issac Sim ROS BridgeとInternal ROS2 Libraryについてまとめています。
その後で、ROSとROS2に関する項目をもっとしっかり読む必要があると言って最初からしっかり読み直し始めました。
そして以下の流れで、ROS1 Subscribe AckermannDriveノードを使用出来るようにするために必要なIssac Sim ROS BridgeとInternal ROS2 LibraryをInstall出来るとまとめていました。
一応、Issac Sim ROS BridgeとInternal ROS2 LibraryをInstallする手順は理解出来ましたが、抜けが無いか心配なので、もう一回、ROSとROS2に関する項目を読み直す事にしました。
今回は、ROS InstallationにあるROS2 with WSL2のLink先にあるRunning Native ROSまでしっかり読んでいました。
でROS２に使用しているPythonのVersionとかまでしっかり確認しています。
で最後に以下のLink先を勉強する必要があるがこれは次の週に勉強すると言って
終わっています。
＜先週のBlog＞
Running Native ROSの10にあるLink先を勉強するのかと思ったら、6ぐらいから理解がよく出来てないので6から勉強し直す。と書いてありました。
そして以下の手順を行えば
UbuntuにあるROS2とWindowsにあるIssac Simの間で通信する事が出来るようになりIssac SimからROS2の機能を持ったNodeを使用する事が出来るようになる。とまとめています。
そしてRunning Native ROSの10にあるLink先であるRunning ROS without a System Level Installを勉強しています。
ここには、一言で言えば、ROS2 Internal libraryをEnableするための手順が書かれています。
でこの章を全部読んだら、最初のROS and ROS 2 InstallationのGetting Startedの「１. ROS Installation」に戻って来ました。
で最後に
からは来週勉強すると書いて終わっていました。
長い。
ここまで流れを追うのが大変だとわ。
これはNvidiaのSiteのまとめ方が問題だからです。
なんか昔読んだ、アドベンチャーゲームを思い出す入れ子構造です。
4.1.2 Enabling the ROS Bridge Extensionを勉強する
2のLink先のEnabling the ROS Bridge Extensionを読んでいきます。
まずROS2とROSのそれぞれの場合の説明がありました。ROS2の方を読んでいきます。
＜Preparation＞
ここも更にSingle MachineとMultiple Machineに分割していました。
当然、Single Machineの方を読みます。
FastDDSのDefaultのConfigurationを使用すれば良いと書かれているだけでした。
そもそもFastDDSが何なのか分かりません。
これは後で調べる事にします。
＜Enable Extension＞
ROS 2 bridge extensionをEnableするためには、extension manager menuからWindow->Extensionsを選択してROS 2 bridgeと検索すれば良いそうです。
以下に示した図が紹介されていました。
extension manager menuが単にIssac Simにあるものなのか別にInstallしないといけないものなのかが分かりません。
で最後に以下のNoteが書いてありました。
読むと順番通りにやらないで動かない人に対しての警告ですね。
これでEnabling the ROS Bridge Extensionの内容は終わりです。
4.1.3 Getting Startedの３を勉強する
これでGetting Startedに戻ります。本当はここからは来週勉強しようと思ったんですが、以下の内容だけなのでここでやってしまいます。
ここでPublishingとSubscribingが具体的に何を指すのか不明です。
恐らくそれを理解するにはLink先にあるROS Tutorialを勉強する必要があると思われます。
TutorialをやるためにはIsaac Sim ROS Workspacesを先に設定する必要があるそうです。
そして以下の解説が書かれていました。
あれ？
思ったより複雑です。
これは来週勉強する事にします。
4.2 Nvidia GTC 2025について
今週はNvidia Omniverse Issac Sim [3]の勉強はお休みします。
そしてNvidia GTC 2025のJensen Huangの演説をまとめます。
4.2.1 YouTube Video Summarizer from NoteGPTによるまとめ
最初はAIによるまとめを読む事にします。
AIがどれくらいの精度でこの2時間以上の講演の要点をまとめる事が出来るのかもついでに観察します。
以下にYouTube Video Summarizer from NoteGPTがまとめた内容をDeep Lで翻訳しています。
＜全体のまとめ＞
YouTube Video Summarizer from NoteGPTがまとめた内容をDeep Lで翻訳し、更にその内容を整理して以下に示しました。
この文章は、GTC（GPUテクノロジーカンファレンス）において、NvidiaのCEOであるJensen Huangが、人工知能（AI）とコンピューティングテクノロジーの進歩と可能性に焦点を当てた幅広いプレゼンテーションを行った様子を捉えたものである。
- フアンCEOは、AIの基礎となるトークンからジェネレーティブAI機能、GPUアーキテクチャの革新に至るまで、AIの変革の本質について掘り下げた。
- また、データセンター・インフラストラクチャーの成長における課題を検証し、BlackwellおよびHopperアーキテクチャーの導入など、Nvidiaの戦略的進歩を強調した。
- また、計算効率の重要性を強調した上で、多様な分野にわたるAIの応用、AIトレーニングにおけるシミュレーションの重要性、AIインフラストラクチャ開発において極めて重要な役割を果たすというNvidiaの包括的ビジョンについても言及した。
- プレゼンテーションでは、AIが様々な産業、特にロボット工学や自律走行とシームレスに統合され、安全性と効率性を確保しながら進化する未来が指し示される。
これだけ読んだら、色んな話をしたんですね。
と言う印象を受けざるえません。
どこが重要なのかの山場と何故それが重要なのかの説明とかが無いです。
＜Key Note＞
更にこのAIは要点を以下の7つにまとめました。
- 基礎としてのAIトークン： 科学的分析から人間と機械のインタラクション強化まで、様々な機能を可能にするAIトークンは、AIアプリケーションの進歩を牽引する重要なコンポーネントである。
- 生成的AI革命： 単純な知覚タスクから生成的AIへの移行は、機械がモダリティを超えた多様なコンテンツを理解し、創造することを可能にする極めて重要な進化を示す。
- エージェントAIとフィジカルAI：推論とAIの融合は「エージェントAI」を導入し、「フィジカルAI」はロボット工学やオートメーションへの実用化を促進し、テクノロジーの地平を広げる。
- データセンター・インフラの加速化： データセンターへの大規模投資が予想される。これは、AI技術の計算需要の増大と、さまざまな分野への応用を反映している。
- GPU技術の進歩： エヌビディアの最新アーキテクチャーは、コンピューティングの標準を再定義し、AIタスクで要求される効率的な並列処理環境を促進する。
- 多様な産業におけるAI： Jesen Huangは、輸送やヘルスケアなどの分野で安全性と効率性を達成するために必要な共同作業を認識し、部門を超えたAIの展開を提唱する。
- 計算効率とシミュレーション技術： 高度なシミュレーション技術とともに、計算効率の向上に焦点を当てることで、AIシステムのパフォーマンス向上に対する先進的なアプローチを示している。
これは結構分かり易いです。
まずJensen HuangはAI TokenをAIの基礎単位のような非常に重要な存在と見なしている事が分かります。
そもそもAI Tokenって何を指すんでしょうか。
Copilotに聞いてみます。
要領を得ない回答が返って来ました。
Perplexityで同じ質問をしましたがこっちはBlock ChainにおけるTokenを説明する回答が返って来ました。
ただし引用先に以下の説明がありました。
AIが文章を理解・処理するための「言葉の最小単位」
そうだ。
これだ。
生成AI、Agent AIそしてPhysical AIは分けてまとめられていますが、この３つはAIにおける３つの分野であってまとめて考えるべきと考えます。
それぞれの分野においてJensen Huang氏が何を発言したのかが注目されます。
このKey Insightのまとめでは３つの分野に対してのJensen Huang氏の発言内容は分かりません。
例えば生成AIに関して、以下のようにまとめていますが、
単純な知覚タスクから生成的AIへの移行は、機械がモダリティを超えた多様なコンテンツを理解し、創造することを可能にする極めて重要な進化を示す。
まず単純な知的Taskが何を指すのかが分かりません。
更に機械が理解する事で何かを創造できるようになると言いたいみたいですが、文章がオカシイです。
ただしこれはYouTube Video Summarizer from NoteGPTが生成した文章は以下のようになっていて
The transition from simple perception tasks to generative AI marks a pivotal evolution, allowing machines to understand and create diverse content across modalities
こっちの文では色々なやり方（Mode）をまたがって多様化した製品を作成出来る。という意味になっています。
つまりYouTube Video Summarizer from NoteGPTが生成した文章はおかしくないです。
それは兎も角、生成AIに対するこんな感想は、今では誰でも持ってるものです。別にJensen Huang氏が言うべき内容ではないでしょう。
Agent AIとPhysical AIについてですが、
エージェントAIとフィジカルAI：推論とAIの融合は「エージェントAI」を導入し、「フィジカルAI」はロボット工学やオートメーションへの実用化を促進し、テクノロジーの地平を広げる。
Agent AIって推論とAIの融合によって出来るようになったんですね。これは知らなかったです。
Robotic AIはPhysical AIと言い換えるようになったみたいです。たしかにこっちの方が分かり易いです。
データセンター・インフラの加速化は、まだまだData Centerの需要は大きいという事です。儲かってしょうがない見たい事が分れば十分です。
GPU技術の進歩は、本来の講演ではもっとAccelerated Computingについての解説がされてる気がします。これこそがNvidiaの真の強みですから。
多様な産業におけるAIでは、生成AIの技術が、ついに他の産業に進出し、具体的な成果を出し始めてる例が語られていると思われます。AI革命の始まりです。
計算効率とシミュレーション技術では、Nvidia関連のSoftwareについて語っていると思われます。ここで重要なのは前回発表されたCosmosです。Cosmosについてどんな説明をしているのかについての情報がほしいです。
AIのSummaryを読むだけでもかなりの情報を得る事は出来ますね。
＜Key Insights＞
更にそれぞれの節の内容を詳しく説明していました。
＜＜AIトークン： 現代AIの構成要素＞＞
AIのまとめた内容をDeep Lで翻訳しました。
ホアンは、AIトークンはAI能力の基礎単位としての役割を果たすと明言している。
トークンは多様な情報の処理を容易にし、画像を構造化データに変換したり、膨大なデータセットからパターンを推定したりするのに役立つ。
このトークン化プロセスは、データ消費を最適化するだけでなく、人間の判断と機械の実行の相互作用を大幅に強化する。
AI Tokenを単位にしてAIの能力を測れば大体正しい。要するにDragon Ballの戦闘力みたいな役割をAI Tokenが担当してると言ってる訳です。
その後の解説は、Tokenを使用するメリットが大きすぎるのでTokenを使用しない選択は無い。と宣言しています。
この辺のまとめは非常にしっかりしています。しっかりし過ぎて逆に本当にこんな事を言ってるのか心配になるLevelです。
この辺の内容は実際の動画を見た時に確認する事にします。
＜＜知覚から生成への進化＞＞
知覚と反応に焦点を当てた基本的AIから生成的AIへの移行は、計算知能のパラダイムシフトを反映している。
この進化は、機械が単にデータを分析するだけでなく、文脈に関連したコンテンツを作成することを可能にし、AIシステムをより多機能で使いやすいものにする。
フアンは、文脈を理解することの重要性を強調し、人間のようなAIとのインタラクションの重要な側面を強調している。
知覚って何を指してるのかまったく想像出来なかったんですが、生成AI以前のAIについて語っていたようです。
生成AIが人間と同じように文脈を理解出来るようになった事が革命的な発明である点についてはその通りです。
＜＜エージェント型AIと物理的AI＞＞
エージェント型AIと物理的AIを区別することで、Huang氏は将来のAIシステムが推論と環境との物理的相互作用をどのように具現化できるかを説明している。
エージェント型AIは自律的にタスクを計画・実行できるが、物理的AIは現実世界の物体を操作できる。
この違いは、複雑なタスクを実行できる高度なロボット工学の段階を設定し、業界全体の自動化と効率性を向上させる。
この解説を読むと、まだAI業界では生成AI、Agent AI、そしてPhysical AIを区別する風習が無いみたいです。
＜＜データセンター・インフラ成長における課題＞＞
ホアン氏は、AI需要の高まりへの対応として、データセンターの急増が予想されることに注目している。
この予測される成長には、複雑な計算を効率的に処理するためのインフラへの多額の投資が必要である。
この洞察は、単なる物流上のハードルではなく、関係者にとってより持続可能で強力なデータ管理戦略を革新する大きなチャンスであることを反映している。
インフラへの多額の投資って、発電所の建設とかの話でしょうか。
これも動画を見て確認します。
BlackwellやHopperのようなアーキテクチャを導入することで、Huangは既存の技術を凌駕するというNvidiaのコミットメントを主張している。
これらのイノベーションは、並列処理能力を向上させながらエネルギー効率を最大化することを目的としており、将来のAIアプリケーションはより優れたパフォーマンスを発揮するだけでなく、持続可能な技術開発にとって極めて重要な環境への影響を抑えながら実行されることになる。
AIの安全性のための異業種コラボレーション
様々なセクター、特に自律走行車やヘルスケアといった安全性が重要な分野でのAIの必要性に関する黄氏の議論は、コラボレーションという本質的なテーマを強調している。
AI技術の安全性を達成するためには、企業、政府、地域社会が協力し、これらの技術が公共の福祉を損なうことなく社会的利益を迅速にもたらすためのガイドラインを確立する必要がある。
まあ、Nvidiaの生成するGPUがBestであるという事を説明してるって事です。
ただ公共の福祉とか安全性を強調し過ぎると、なんか美辞麗句で飾ってる印象にもなります。
この辺は動画を見て判断する事にします。
＜＜AIの未来と計算資源＞＞
生成モデルへのシフトに関する黄の考察は、AI開発の軌跡を物語っている。
AIがますます強力になり、膨大な計算リソースに依存するようになるにつれ、高度なハードウェア上で効率的に動作する革新的なソフトウェア・ソリューションへの需要が高まっている。
これは、この分野の急速な変化に対応するために、ソフトウェアとハードウェアが同時に進化しなければならないというエコシステムの強化を意味している。
これはまあ、まとめですね。
NvidiaのHardとSoftを同時に開発する戦略が最適解である事を述べている事に注目すべきですね。
うーん。
はっきり言って、動画見るより理解が進んだ気がします。
これでAIのまとめの内容にHallucinationがなければ、元の動画を見る必要はないですね。
4.2.2 GTC March 2025 Keynote with NVIDIA CEO Jensen Huang [4]のまとめ
まず中々始まりません、
Scroll Barの表示では既に始まってるので実際の動画では音楽が流れているだけになっています。
更にCaptionもずれまくっていました。
まず協賛企業の紹介です。
ここに名前の載ってない企業は将来に対しての見識が無い企業と見なして良いでしょう。
最新のGraphic CardであるRTX5090の性能が一つ前の世代と比べて以下に優れているかを説明した後で、これがAIによって可能になった事を説明していました。
地味ですが重要な内容です。
前のCESの発表で使用した以下の図が出て来ました。
やっぱりCESの発表を聞いて、この図がAI革命における世界地図にあたる重要な存在になる。と予測しましたが、それは正しいそうです。
今度は以下の図が出て来ました。
この図の解釈は一寸苦手でPost-TrainingってFine Tuningとかの事を指してるのか、それとも別な事を指してるのかよく分からないんです。
ここで、計算資源の必要性が更に高まった事を述べています。
これはDeepSeekの発表におけるNvidiaの株価の下落が、間違いである事を暗にほのめかしています。
面白いです。
今のDeep Researchなどに利用されている技術を簡単に解説して、Reinforcement Learningがこれらの問題を解決するに当たってのキーだった事などを説明しています。
Data Centerの建設に費やされる費用の予測だそうです。
2028で2024の2倍になってますか。
人が書いたprogramをGPU上で走らせる今のSoftware EngineeringからMachineが書いたCodeをGPU上で走らせる、次世代のSoftware Engineeringに変化すると断言しています。
すっげー。
ここからTokenの説明になりますが、正直この説明だけでは何を言ってるのか理解出来ませんでした。
多分、AIのまとめに書かれていた内容をのべているんでしょう。
Tokenを生成するためにもっとGPUが必要になるのは理解出来ました。
Accelerated Computingを可能にするCUDAの上で作成されたLibraryなどの紹介です。
これらを使用すれば素人でもGPU上で計算するAccelerated Computingが可能になるんだから凄いです。
ただこれらを使用出来るようになるための学習Costが結構高いのが問題です。
もう一寸簡単に使用出来るようにするためにNvidiaはもっとTutorialを充実させるかUIを作成するかなどの処置を取る必要がありますね。
今度はCloudについて解説しています。
この辺の説明はよく分からないです。
Captionが生成されないので、文字起こしも出来ません。
何となく聞いて終わりにします。
あ、理解しました。
ここでは色んな産業がAIを使用し始めたので更にNvidiaの製品が売れるようになったことを言ってるんです。
その例として今度はGMが出て来ました。
でCosmosを使用して以下の映像を生成していました。
これで安全に運転出来るようにAIに学習させるようです。
Cosmosってこうやって使用するのか。
Segmentation Dataも載っていました。
Object毎に分割されていますね。
これは見事です。
今度はData Centerの話です。
ここではNvidiaのData Center用のGPUがどうやって進化していったのかの簡単なまとめを離していました。
この図が何を表しているかを解説しています。
まず反応が速くないとUserは使用を停止して別なServiceに似てしまいます。
次に内容がよく吟味されてないと中身が無いのでこれもUserは逃げてしまいます。
この相反する要素を最もバランスよく分配した場合に収入が最大になります。
でこのバランスを最も良くするための最適解は、GPUの機能を全部上げる事だそうです。
でそれがBlackwellだそうです。
そういう事が言いたかったのか。
更にDynamoの話になりました。
この辺はGPUのArchitecture関連の話なので？？？です。
これを使用する事で劇的に性能が向上する事だけは理解出来ました。
あ、説明聞いたら理解出来ました。Data CenterではなくAI Factoryを動かすためのOSがこのNVIDIA Dynamoだそうです。
でDynamoを使用すると以下のように性能が上がるそうです。
Dynamoを使用してない場合の方が性能が高い箇所があるけどそれはどうなんでしょう。
しかも収入につながる場所辺りです。
まあ、こんな講演で細かいDataの整合性までCheckする人はいませんから。
でここで言いたい事はBlackwellの性能がHopperと比較してものすごく良いって事です。
で、Digital TwinによるData CenterのSimulationが始まりました。
この後は次世代のGPUの紹介です。
この後、光による半導体の話をしています。
スゲエー。
これ確か中村修二氏がやってるやつだ。
この辺はCaptionで内容をしっかり確認したいです。Captionは後で直るんでしょうか？
いやよく聞いたら、GPU同士をつなぐCableの話でした。
これで電力の消費を大幅に抑えられるそうです。
途中で映像が切れてます。
最後にRobotの話です。
ちなみにこの3DはGaussian Splattingで生成されてるそうです。
凄い。
何でUE5のGaussian Splattingはしょぼいんでしょうか？
RobotのReinforcement Learningのために新しいPhysics Engineを開発した話をしてたら、Newtonの話になりました。
NewtonがそのPhysics Engineの名前なんでしょうか。
多分そうでしょう。
更に以下のModelがOpen Source化したそうです。
やっと全部見終わった。
4.2.3 GTC March 2025 Keynote with NVIDIA CEO Jensen Huang [4]を見た感想
まずはっきり言いたのは、AIによるSummaryとはかなり違う内容だった。という事です。
少なくともAIのSummaryは全く別な内容をまとめたと行って良いでしょう。
じゃAIのSummaryが間違っているかと言うとそうとも言えない。です。
つまりNvidiaの発表を全部見て、今回はこんな内容を離しているに違いないと予測してまとめたらこんなSummaryになる感じがします。
正月に見たNvidiaの発表程のImpactは無かったですね。
Robotはそんなに成果が出てない印象を受けました。
そう言う訳でIssac Simはゆっくり勉強しても問題ない事が確認出来きて、そこは良かったです。
５．Gaeaの勉強もしくはVroidとUE5の勉強
なし。
６．Houdiniの勉強
6.1 VEX Isn't Scary Project - Part 4: Rendering [5]の最初の10分を実装する
＜Intro＞
特になし
＜Scene Setup＞
Cameraを追加しました。
Cameraからの画像です。
更にBackgroundとしてGridノードを追加しました。
中に入るとGrid1ノードがあります。
OrientationにXY Planeをセットしました。
結果です。
RowsとColumnの値を以下のように設定しました。
結果です。
Girdの位置をTutorialと同じにします。
Cameraから見たViewです。
Blastノードを追加します。
以下のGridを追加しました。
以下のようになりました。
次にCircle From Edgesノードを追加します。
GridのEdgeが丸くなりました。
以下のEdgeだけ選択しました。
これはGridの外側のEdgeは対象外にしただけです。
Tutorialと値の表示が違いますね。
Extrudeした時に違う結果になるかもしれません。
Poly extrudeノードを追加します。
そして以下の値を変更しました。
結果です。
円の内側方向にExtrudeされました。
更にもう一個Poly extrudeノードを追加しました。
今度は2重になった外枠のEdgeの内側を選択します。
Shift＋A＋Mouseの中Buttonで全部のEdgeを一回で選択出来るそうです。
やってみます。
出来ました。
以下のTransform Extruded FrontをEnableします。
更にTransform Spaceの値をGlobalに変更し、Translateの値を1.5に変更します。
Tutorialと向きが逆なので-1.5ではなく1.5にしました。
今度はPoly Splitノードを追加します。
Path TypeにEdge Loopを選択しました。
ここでTransform Handleに変更して
以下のようにSplitしました。
今度はSubDivideノードを追加します。
そしてDepthの値を3に変更します。
結果です。
今度はGridを一寸だけ縮ませます。
Transformノードを追加します。
Uniform Scaleの値を0.906に変更します。
結果です。
Gridの幅が縮みましたね。
Nullノードを追加して
名前をBACKGROUND_GEO_OUTに変更しました。
結果です。
＜Material Setup＞
Sphereのそれぞれを区別出来るようなAttributeを追加します。
以下に示したCircle_Setupノードを選択して
以下の実装を追加しました。
Attribute Randomizeノードを追加してAttributeの値に基づいて、色を追加します。
結果です。
OptionsのSeed Attributeの値にidをセットします。
今度はDistribution Tabを選択して色の設定を変更しました。
結果です。
これで完成でも良いんですが、Rampを利用した色の指定方法の復習もしたいので次の方法も試してみます。
まずSpectrumと言うVariableを作成し、その値をSpectrumと言うAttributeにセットします。
Attribute Randomizeノードを外してAttribute wrangleノードを代わりに追加します。
以下の実装を追加しました。
そして以下のButtonを押して
以下に示したRampを追加しました。
Edit Parameter Interfaceを開き
Existing ParametersからClr(clr)を選択して
Ramp Typeの値をColorに変更します。
結果です。
Color BarにはなっていますがTutorialとは違う結果になっています。
以下の歯車のIconからInfra-Redを選択していました。
やります。
結果です。
結果です。
全部紫色です。
これはSpectrumのTypeがIntegerになってるからです。
以下の方法でSpectrumのTypeをFloatに変更します。
結果です。
色が変わりました。
Tutorialではここまで作成したのにGreenの実装に戻してしまっていますが、このまま行くことにします。
今度はMaterialを追加します。
中を開いてPrincipled Shaderノードを３つ追加しました。
VEX_PROJECTに戻り、以下の場所にMaterialノードを追加します。
以下の設定を追加します。
更に以下の設定も追加します。
以下の場所にMaterialノードを追加して
以下の設定を追加します。
これで先週の勉強した範囲は終わっています。
今週のHoudiniの勉強はここまでとします。
７．AIについての調査（ComfyUIの勉強）
今週はたまたまIssac SimとIsaac Labについての解説をしている動画を見つけたのでそれを勉強する事にします。
7.1 *NEW* Isaac Sim 4.5 & Isaac Lab 2.0 | Installation & Overview | NVIDIA Omniverse [6]を勉強する
＜00:00 Intro＞
Omniverseの説明から入っています。
この辺は理解しているのでSkipします。
Isaac Simについての解説です。
OmniverseのSoftwareの一つでRobotのSimulationを行うためのものです。
次にIsaac Labについてです。
Isaac LabはIsaac Simの上に作成されたFrame WorkでRobotのLearningやAIのResearchに特化したものだそうです。
え。そうなの。Isaac Simが産業用でIsaac Labが学術用だと思っていました。
Isaac Labは特にReinforcement Learning、Imitation Learning、そしてMotion Planningに特化してるそうです。
更にIsaac Labは手動でInstallする必要があって、Launcherから使用する事は出来ないそうです。
つまりIsaac Labを起動する時はIsacc SimがBackgroundでいつも動いているという事だそうです。
＜02:17 Overview & Differences＞
ここからIsaac Sim 4.5の解説になります。
何とOmniverse Launcherは今年の10月で使用が廃止されるそうです。
それから後は、Applicationは手動でDownloadする必要があるそうです。
以下の箇所から手動でDownloadする必要があるそうです。
Windows版がありますね。
次にCosmosをInstallする必要があります。
今度はIsaac Lab 2.0に関しての情報です。
Imitation LearningのためのGrootが追加されたそうです。
Grootって今回の講演でOpen SourceになったRobotの事ですよね。
Imitation Learningとは人間の動作を真似て動きを学習する事だそうです。
更に以下に示したように、Fileの名前が変更されたりWorkflowが大幅に変更したりしたそうです。
＜03:50 Installation＞
ここからInstallationのやり方の説明です。
色々なやり方があるそうですが、ここでは公式のやり方に沿ってInstallするそうです。
Launcherからinstallする方法はもう古いって事みたいです。
でここでLinuxとUbuntuの説明だけしかしていません。
Windowsを使用しているUserはWSL2からUbuntuを使用しろって事でしょうか？
Minicondaを使用してInstallしろって言っています。
Minicondaって何を管理するSoftでしたっけ？
だそうです。
このSofwareのDependencyを管理するというのが具体的にどういう事なのかが分かりません。Pathの管理とかをするんでしょうか？
Copilotの説明を聞いたら何となく理解しました。
その説明は一応、以下に貼っておきます。
具体的にどうMinicondaを使用するとこのような管理が出来るのかまでは不明です。
Windowsを使用しているUserは以下の点に気を付けるようにと言っていました。
でこのVersionのDriverをSupportしてるRTX40XXや30XXはほとんど無いそうです。
Tutorialでは使用出来る最新のDriverで代用していました。
でこのDriverはCuda12とCompatibleではないそうです。
そうなの？
のでCuda11の方を使用するそうです。
どうも公式の説明をそのまま追ってるだけのようですが勉強になります。
以下のVideoにもっと詳しい話が説明されているそうです。
でPipをUpgradeします。
そしてやっとIsaac SimをInstallします。
この後、Isaac Simを以下のCommandで開始して確認します。
ここからIsaac LabのInstallationの説明になります。
Cloneします。
Cloneが終わったら、
以下のDependenciesを先にInstallします。
Isaac LabのRepositoryまで移動します。
で以下のCommandを実行します。
以下のCommandで実際にIsaac LabがInstall出来たのかを確認出来ます。
Reinforcement Learningを使用するためには以下に示したrsl_rlを使用する必要があるそうです。
これでもう蟻が歩くようになるためのReinforcement learningのTrainingが出来るようになるみたいです。
凄い。
でもこの部分のCodeはErrorになって以下のように変更する必要があるそうです。
結果です。
以上でした。
7.2 *NEW* Isaac Sim 4.5 & Isaac Lab 2.0 | Installation & Overview | NVIDIA Omniverse [6]を勉強した感想
兎に角、公式のSiteを見ないと何を言ってるのか確認出来ません。
まず公式Siteを探します。
Link先にありました。
Local Installation [7]です。
ぱっと見、数年前に作成された古いVersionのSiteのように見えます。
Link先にあるPip installationを読みましたが別に複雑な事を言ってる感じは無かったです。
MinicondaをInstallしないといけない事ぐらいですね。よく分からないのは。
MinicondaのTutorialを探してみます。
以下の動画を見たらMinicondaを使用してEnvironmentを作成する方法が細かく説明されていました。
ここで言うEnvironmentとは独立した環境でその中だけの設定でどのPythonのVersionを使用するかなどの設定を指定出来るものを指しています。
理解してしまえば簡単です。
更に以下の動画がお勧めに出て来ました。
https://www.youtube.com/watch?v=L1rpxRm0Q1w
これも参考になりそうです。
もう十分勉強しました。これは来週勉強する事にします。
８．DirectX12の勉強
8.1 Lötwig Fusel氏のD3D12 Beginners Tutorial [D3D12Ez]を勉強する
8.1.1 Render Target View & Descriptor Heap | D3D12 Beginners Tutorial [D3D12Ez] [8]の20分からの10分を実装する
そして以下の場所にm_rtvHandles[i]を追加します。
ここまで来たら以下の場所にBreak PointをセットしてErrorが無いか確認します。
以下に示したようにm_rtvHandlesにDescriptorの値がAssignされています。
これでRender Target Viewが作成されたのでそれをcommand Listにセットします。
以下の場所にOMSetRenderTargets()関数を呼ぶ事でそれを行います。
Parameterは以下のようになっていました。
ここでまたTestをしています。
特に問題は発生していません。
本当はGraphic Debuggerを使用してCheckする必要があるそうですが、この後更にやる事があり、それが終わった後でGraphic DebuggerによるCheckをやるそうです。
更にClear Render Target View()関数も追加しました。
画面を赤くしてClearしているそうです。
この辺の設定は「DirectX 12の魔導書」で勉強した記憶があります。
ありますが、じゃこの辺の流れを今理解してるかと言うと全然理解していません。
DirectX12は勉強する量が多すぎて全部の流れが理解出来ません。
わざとそうしてるようにも思えます。
ここでTestしました。
設定通りに赤くなっていますね。
ここで今まで作業の簡単な復習を始めています。
一応、この復習もまとめておきます。
まずRTV Heapを作成しました。
Render Target View用のHeapを作成したって事ですね。
Render Target ViewはDescriptorなので、これはDescriptor Heapになります。Descriptor HeapはDescriptorを保持する場所です。
そうだ。
CopilotにDescriptor Heapの定義を聞いてみます。
こういう自分が理解してるものの定義をCopilotに聞いてCopilotの精度を確認するのも大切です。
おお、きちんとTableが比喩として出て来ました。
懐かしい。
調べたら2022-11-06のBlogで
Descriptor Heapがお盆であるという話を書いていました。
次にView用のHandlesを作成した話をしています。
ここにはHeapに保持するDescriptorの最初のAddressの値をSetします。
この値のSetの仕方が複雑で、未だに何故このやり方でやらないと駄目なのか理解していません。
そして以下の場所でRender Target Viewを作成しました。
ここでGraphic DebuggerによるCheckを開始しました。
がもう10分たったので今週のDirectX12の勉強はここまでとします。
来週はこの実装を行います。
8.2 「DirectX 12の魔導書」を勉強する
8.2.1「5.9 描画時の設定」を実装する
短いので全部実装してしまいます。
＜Root Signatureの指定＞
以下の実装を追加しました。
＜Descriptor Heapの指定＞
これも追加しました。
＜Root Parameter IndexとDescriptor HeapのAddressの関連付け＞
最後の実装です。
これで終わりです。
９．まとめと考察
なし
10．参照(Reference)
[1] Procedural Minds. (2024, August 11). Here’s how to adjust your building based on the asset size | UE 5.4 p2 [Video]. YouTube. https://www.youtube.com/watch?v=xVMz-LW1SJw
[2] NVIDIA Isaac Sim - MUSHR RC Car - Ackermann Tutorial. (n.d.). YouTube. https://www.youtube.com/playlist?list=PL60qgWqGu6k82AJ2SDWOscEKLjCc5tdEW
[3] What is Isaac Sim? — Omniverse IsaacSim. (n.d.). https://docs.isaacsim.omniverse.nvidia.com/latest/index.html
[4] NVIDIA. (2025, March 18). GTC March 2025 Keynote with NVIDIA CEO Jensen Huang [Video]. YouTube. https://www.youtube.com/watch?v=_waPvOwL9Z8
[5] Nine Between. (2021, February 13). VEX isn’t scary Project - Part 4: Rendering [Video]. YouTube. https://www.youtube.com/watch?v=SYxlVqwvONE
[6] LycheeAI. (2025, February 9). *NEW* Isaac Sim 4.5 & Isaac Lab 2.0 | Installation & Overview | NVIDIA Omniverse [Video]. YouTube. https://www.youtube.com/watch?v=CLFjtuH2NAQ
[7] Local installation — Isaac Lab Documentation. (n.d.). https://isaac-sim.github.io/IsaacLab/main/source/setup/installation/index.html
[8] ötwig Fusel. (2023, July 11). Render Target View & Descriptor HEAP | D3D12 Beginners Tutorial [D3D12EZ] [Video]. YouTube. https://www.youtube.com/watch?v=6XxTkoNg_KU
