Voici les étapes de base pour commencer à partir de zéro et amener un ami à danser dans un hologramme. J'irai plus en détail plus tard dans l'instructable, mais ça va vous donner une vue d'ensemble

• D'abord, scannez votre ami en 3D.
• Obtenez le modèle 3D et assurez-vous qu'il a moins de 50 000 polygones
• téléchargez le modèle et la texture sur mixamo, puis ajoutez-y des mouvements de rigging et de danse. Cette étape est vraiment amusante et si vous n’avez pas d’affichage holographique à portée de main, c’est un endroit amusant pour passer du temps.
• Obtenez le fichier FBX de mixamo contenant à la fois le modèle calé et les déplacements
• Amenez le fichier FBX dans l’unité. Corrigez les textures et configurez l'animation
• Bango - vous avez votre propre soirée dansante holographique

Voici quelques trucs dont vous aurez besoin:

Scanner 3D - pour numériser des personnes, j'aime beaucoup utiliser le capteur Structure collé sur un iPad et exécuter l'application de numérisation itseez3D. je fais une lot La plupart des scans que j’aime bien, c’est que c’est très portable, qu’il n’a pas besoin d’un ordinateur, et qu’il capture les visages mieux que n’importe quel autre logiciel de scan que j’ai essayé. Le capteur de structure est moyennement coûteux - si vous avez déjà un ipad, il vous en coûtera environ 400 $ pour le capteur.Si vous voulez moins cher, vous pouvez utiliser un logiciel Kinect (20 $ chez gamestop de nos jours) et Skanect Pro, ou pour un prix très avantageux (avec la frustration associée de travailler avec beaucoup de petites images fastidieuses), vous pouvez utiliser votre téléphone ou une autre caméra 2D avec certains logiciels de photogrammétrie 3D gratuits tels que ReCap 360 d'Autodesk (le descendant de 123Catch, que j'ai utilisé et que je trouvais plutôt correct), ou tout simplement un "logiciel de photogrammétrie gratuit" de Google pour voir où vous mènera le destin.

Bonnes nouvelles! Tout le reste est gratuit!

meshlab- Il s'agit d'un logiciel de visualisation et de modification de modèles 3D à code source ouvert que nous utiliserons pour réduire le nombre de polygones d'une numérisation à un niveau gérable.

Mixamo - c'est un titre en adobe pour le gréage et l'animation de modèles 3D - tout est sur un site web et vous devrez créer un compte gratuit pour l'utiliser.

Unité - Si vous souhaitez simplement regarder votre modèle en 2D ennuyeux sur une page Web, vous n'en avez pas besoin, mais si vous souhaitez utiliser votre scan en tant que personnage dans un jeu vidéo personnalisé ou le placer dans un hologramme, obtenez Unity (gratuit pour les amateurs et les développeurs de jeux indépendants) et vous êtes prêt pour les courses.

--------

Je travaille sur une version du logiciel de partie de danse holographique qui ne nécessite pas de bricolage dans Unity. Si c'est plus votre vitesse, faites le moi savoir dans les commentaires et je verrai à quelle vitesse je peux aller.

Étape 2: Numérisation 3D

La première étape consiste à obtenir un modèle 3D de la personne que vous souhaitez animer. Mon scanner de choix est un capteur de structure et l'application itseez3D ipad fonctionnant sur un ipad mini. Ce n'est pas le scanner le moins cher - environ 400 USD en matériel, sans compter l'ipad, et 7 USD pour exporter une numérisation. Je l’aime bien, car il nécessite de très bonnes numérisations de visages, une sortie très nette, portable et facile à utiliser.

Il existe des scanners moins chers, allant jusqu’à certains logiciels de photogrammétrie gratuits qui prennent une série de photos du téléphone et essaient de cracher un modèle 3D. Pas cher à un coût - comme une géométrie déformée, des artefacts ou des visages flous.

Le problème avec tous ces scans est qu’ils prennent environ une minute - vous devez vous déplacer tout autour de votre sujet, prendre des images de tous les côtés. Les gens ont tendance à bouger subtilement plus d'une minute, surtout si leurs bras sont fatigués, ce qui vous donne des sauts étranges et des discontinuités dans votre scan. Vous voulez que cela soit fait le plus rapidement possible.

Vous n'avez pas de scanner? Pas de problème! Voici un modèle (de moi? Aw, merde) de mon scanner - vous pouvez le télécharger à partir de sketchfab (veillez à télécharger le format de modèle original 'obj', et non le format 'gltf') et à suivre le reste du pas. Sinon, continuez!

Voici les bases pour numériser quelqu'un:

Placez-les dans une grande pièce avec beaucoup d'espace au sol et un éclairage indirect - vous voulez une illumination uniforme de tous les côtés et aucune ombre dure. Les personnes qui entrent et sortent de votre scène gâcheront votre analyse, alors laissez tout le monde immobile pendant que vous effectuez votre analyse. Faites suffisamment de place pour que vous puissiez faire le tour de votre sujet sans avoir à vous cogner.

Placez votre sujet dans une posture "A" (voir la photo du titre). Les pieds écartés à la largeur des épaules, les bras juste assez éloignés pour se distinguer du torse - plus les bras sont larges, plus il est difficile pour les personnes de rester immobiles pendant une minute. Si elles portent des lunettes, enlevez-les - les lunettes sortent mal dans un scan.

Voici une vidéo de présentation me montrant en train de scanner le glorieux M. Tschudko:

Si vous utilisez itseez3D, assurez-vous que votre numérisation est définie sur "haute résolution" (cliquez sur paramètres, puis activez le commutateur "plus haute qualité"). Lorsque vous avez terminé, appuyez sur votre numérisation, puis sur "Envoyer vers le cloud pour traitement". Le fichier sera transféré dans le cloud, puis vos images seront crunchies et, dans environ 5 à 10 minutes, vous renverrons un modèle 3D.

Si vous aimez cette analyse, appuyez sur «exporter» et ma méthode préférée consiste à l'envoyer par courrier électronique sous forme de fichier «obj» - il est important que ce soit un OBJ, les autres formats perturberont les prochaines étapes.

Si vous utilisez un autre scanner, c'est très bien aussi - il suffit d'installer un fichier OBJ texturé sur votre ordinateur.

Étape 3: Gérer le maillage

Par défaut, itseez3D crache des modèles avec trop de polygones à manipuler par mixamo ou unité. Ils sortent de itseez3D avec 200 000 polygones et nous devons le réduire à 35 000 polygones.

Pour commencer, ouvrez Meshlab, allez dans Fichier-> Importer un maillage et pointez-le sur votre fichier OBJ.

Une fois que votre modèle est opérationnel, accédez à Filtres -> Remodelage, simplification et reconstruction, puis sélectionnez "Simplification: Décimation de l'effondrement du bord quadratique (avec texture)".

Définissez le nombre cible de faces sur 35 000 et cochez les cases "Conserver la limite du maillage" et "Conserver la normale".

Cliquez sur 'appliquer' pour terminer et réduire le nombre de polygones dans le maillage.

Cela ne ressemblera beaucoup à rien quand ce sera fait - c'est le but. Allez dans Fichier-> Exporter le maillage sous et sélectionnez «Objet alias Wavefront (*.obj)» comme type de fichier. Compressez le fichier.obj et le fichier model_texture.jpg, et le tour est joué.

Si toutes ces instructions sont compliquées, essayez de suivre ce screencast:

Étape 4: Montage et animation avec Mixamo

Vous êtes maintenant prêt à télécharger votre modèle sur mixamo - mixamo est un logiciel gratuit en adobe qui permet de créer et d'animer un modèle 3D.

Le rigging est ce qui donne vie à un modèle 3D - le scan que nous venons de faire n’est qu’un objet rigide - je peux le faire pivoter ou le rendre plus grand et plus petit, mais ce n’est vraiment expressif que si je peux déplacer les membres et les articulations. Le calage est un moyen de dire à l'ordinateur où sont les os du modèle et lorsque les os et les articulations se déplacent, ce qui déforme la peau du modèle. Mixamo est un moyen semi-automatisé de prendre un modèle 3D d'une personne et de le manipuler. Une fois l’installation terminée, Mixamo dispose d’une bibliothèque d’animations que vous pouvez mettre sur le modèle en un clic.

Pour commencer, allez sur mixamo.com et créez un compte gratuit. Cliquez sur 'upload character' et téléchargez le fichier.zip créé à la dernière étape.

Mixamo vous guidera à travers les étapes de montage de votre personnage, ou vous pouvez suivre ma vidéo:

Une fois que vous avez terminé, votre personnage est configuré dans Mixamo. Vous pouvez simplement cliquer sur l'une des centaines d'animations de la bibliothèque de mixamo et le personnage réalisera cette animation.

Si tout ce que vous cherchez, c’est un petit bout sur le délicieux twizzler de l’animation 3D, alors, bienvenue au paradis du porc! Mais je m'en voudrais de ne pas mentionner le merveilleux monde holographique aux infinies possibilités qui se cache au-delà. Entrez!

Étape 5: Intégration dans l'unité

Avez-vous déjà joué avec un environnement 3D encombré, où vous rencontrez rapidement des règles arbitraires que vous ne pouvez pas modifier? Si cela vous dérangeait, Unity serait un délice - c’est un moteur de jeu interactif où tout est contrôlable, soit manuellement, soit par code. C'est gratuit pour les amateurs et les développeurs indépendants, et vous pouvez le télécharger ici.

J'ai construit une scène simple avec de la musique et une scène pour une soirée dansante - vous pouvez télécharger le projet entier de l'unité ici, et c'est un bon modèle pour amener votre propre peuple sur scène.

C’est assez élaboré pour que je ne décrive pas toutes les étapes. Si vous voulez juste passer à l’action, vous pouvez commencer à jouer à l’intérieur du projet d’unité. Si vous voulez une visite guidée, suivez la vidéo!

Étape 6: FÊTE DE DANSE !!!!

Un homme sage a dit un jour: "Qu'est-ce qui danse sans musique", peu de temps avant d'enlever sa chemise, la faisant pivoter autour de sa tête comme un hélicoptère et se jetant physiquement de la scène.

Point pris, sensei. Dans ce même projet d'unité, j'ai une autre scène dans Scènes / Dancy Party qui a les bases d'une soirée dansante interactive - musique, animations et commandes simples pour changer les personnages et les animations. Vous pouvez l'essayer simplement en cliquant sur «jouer» - les flèches haut et bas changent le personnage dansant, et les touches fléchées gauche et droite changent la danse.

Cela prend juste une minute pour ajouter votre personnage à la fête, ainsi que vos propres danses et musiques. Encore une fois, il y a une série de petites étapes fastidieuses, mais c'est assez facile à faire. Suivez avec la vidéo! Si vous êtes bloqué, laissez un commentaire!

Étape 7: Comment faire un hologramme

aaaand maintenant, il est temps pour un SHAMELESS PLUG!

Chaque jour, je me réveille et je réfléchis à la façon de faire des choses merveilleuses qui brouillent la frontière entre la réalité et la fantaisie. J'ai commencé à travailler sur ce projet parce que je réalisais des étalages holographiques avec mon entreprise et alors que je fixais un hologramme sur mon bureau, j'ai pensé qu'il serait amusant d'organiser une soirée dansante animée avec mes amis dans un hologramme. Comme un diorama bacchanalien.

C'est ce qui m'a permis de commencer à jouer avec ce monde de la numérisation et de l'animation. Il se trouve que le projet d’unité avec lequel vous jouez fonctionne également avec nos écrans holographiques. Si vous avez un miroir ou un Holoplayer sur votre bureau, lancez simplement la scène de l'unité (ou si vous voulez simplement voir le travail fonctionner, téléchargez un fichier exécutable) et appuyez sur la touche 'entrée' pour activer / désactiver la scène holographique. Il montre une scène 2D par défaut parce que nous vivons dans un monde monotone, où la plupart des gens, étrangement, ne pas avoir un affichage holographique sur leurs bureaux. Si ce monde vous semble injuste, aidez-nous à le changer!

Vous remarquerez dans la hiérarchie des scènes qu'il existe un objet de jeu appelé 'holoplay'. À l'intérieur, vous trouverez un autre objet du jeu appelé «HoloPlay Capture» - il ressemble à une boîte verte. Tout ce qui se trouve à l'intérieur de cette boîte verte apparaîtra dans l'hologramme. En déplaçant l'objet de capture holoplay, vous pouvez cadrer différentes parties de la scène, effectuer un zoom avant ou arrière et ajuster exactement l'apparence de la scène dans le miroir.

Il existe un guide plus détaillé sur l'utilisation du SDK en ligne ici.

Étape 8: Danse ++

La bonne chose à propos de la fusion des mondes virtuels et réels est de pouvoir briser les règles du monde réel. J'aime beaucoup jouer dans ce pays fou et j'espère que vous aussi. Si vous avez des questions, ou si vous voulez montrer quelque chose que vous avez fait, inscrivez-le dans les commentaires!

!!

--alex