Sanal giysi deneme kabini uygulaması için kinect ile insan modeli oluşturma ve kontrolü

Abstract

Bu çalışmada gerçek zamanlı 3B model kontrol yaklaşımı ve kullanıcıların sanal bir ayna önünde giysileri deneme olanağı bulabilecekleri sanal bir giyinme odası tasarlanması amaçlanmıştır. Oluşturulan sanal kabin içerisinde kullanıcının sanal temsilcisi olan 3B insan modeli oluşturulur. Sisteme entegre olan MS Kinect vb. yardımcı bir donanım kullanılarak, el hareketleri ile ekrandaki giysi listesinden kullanıcı tercih ettiği giysiyi seçer. Daha sonra ise bu seçilen 3B giysi sanal ayna uygulaması üzerinden 3B model üzerine otomatik olarak giydirilir. Seçilen 3B giysilerin model üzerinde tam ve uygun bir şekilde giydirilmesi için yerleştirme, ölçüm alma ve döndürme gibi işlemlerde insan eklemlerinin 3B koordinat bilgileri kullanılmıştır. Geliştirdiğimiz algoritma ile kullanıcının vücut ölçümleri dikkate alınarak uygun olan small, medium, large veya xlarge giysi türü otomatik olarak seçilmekte ve bu bilgi ekran üzerinde görüntülenmektedir. Kullanıcı ve model arasındaki uyumsuzlukları önlemek ve giysilerin renk uyumunu anlayabilmek amacıyla ten rengi seçme özelliği ek olarak sanal kabin üzerinde sunulmuştur. İsteğe bağlı ayna seçenekleriyle de giysiler ve model üzerinde farklı bakış açılarından görüntü sağlanabilmektedir. Bu çalışmada, kullanıcı hareketlerini izlemek ve bu hareketlerin 3B model üzerinde uygulanması, eklem koordinatlarının belirlenmesi, kıyafetlerin kullanıcıya göre boyutlandırılması ve insan vücudu ile giysiler arasında etkili efektler oluşturabilmek için Microsoft Kinect SDK ile bize sunulan özelliklerden ve Unity 3D ile oyun motorlarının sağladığı hızlı hesaplayabilme yeteneklerinden yararlanılmıştır. Geliştirilen arayüz ile gerçekçi bir izlenim oluşturulmuş ve sistem çalışması farklı vücut ölçülerine sahip insanlar üzerinde test edilmiştir. Bu uygulama ile kişilerin fiziksel olarak giysileri denemelerinin zorluğu ve deneme kabinleri önünde oluşan uzun kuyruklar düşünülmüş bu sebeple sanal giysi deneme kabini uygulaması üzerinden online alışverişlere katkı sağlanması amaçlanmıştır. Uygulama Kinect desteklidir ve uygulama başlatıldığında sistem için gerekli bazı veriler otomatik olarak bu cihaz üzerinden elde edilmektedir. Bununla birlikte Kinect cihazı bulunmayan sistemlerde, uygulama grafik arayüzündeki düğmeler kullanılarak seçimler yapılabilir.

This thesis proposes a real time 3D virtual model controlling approach and a virtual dressing room application to enable users to try virtual garments on in front of a virtual mirror. A virtual representation of the user appears in a virtual changing room. The user's hand motions select the clothes from a list on the screen. Afterwards the selected virtual clothes appears on a humanoid model in the virtual mirror. For the purpose of aligning the 3D garments and shoes with the model, 3D locations of the joints are used for positioning, scaling and rotating. By using our developed algorithm, small, medium, large or xlarge garment size is selected automatically and this information is shown on the screen. Then, we apply skin colour detection to handle the unwanted occlusions between the user and the model. Some optional mirror selection buttons make it possible to have multiple viewing angles on the model. In this study, we benefit from the Microsoft Kinect SDK in order to follow the user's movements, move the avatar, read 3D information of joints' positions, coordinate the suitable clothe try-ons and provide depth sort effect for the human body and clothes. In order to use the rapid calculation attributes of game engines, we used Unity 3D Game Engine. By developed interface of the application, the system works accurately and it is tested by different users. With this application it is aimed to contribute to online shopping and reduce the loss of time in the store shopping and effort of trying garments on in fitting rooms. When the application is started, the system uses Kinect and reads user's information. However, in systems without the Kinect device, application choices can be made using the buttons on the graphical interface.