DESIGN AND IMPLEMENTATION OF A VISION BASED MOTION CAPTURING APPARATUS FOR HUMAN GAIT ANALYSIS This dissertation submitted to the Department of Electrical Engineering, University of Moratuwa in partial fulfillment of the requirements for the degree of Master of the Science By S. A. PUNSIRI JINADASA Supervised by: Dr Rohan Munasinghe Department of Electrical Engineering University of Moratuwa Sri Lanka 2010 94553 Abstract Walking results from a complicated process involving the brain, spinal cord, peripheral nerves, muscles, bones and joints. Gait analysis is the systematic study of human walking. Gait analysis is often important for clinical gait assessment. Study of biological systems like human walking has paved the way for the development of various biomechanical systems like robot locomotion system. This research proposes a low cost methodology to capture human gait cycle information. As the first step it was required to identify the important movements of the leg during walking. A study of human anatomy and biomechanics enabled this identification. Secondly, it has to be investigated what methodology to be followed to capture identified important movements of the leg during walking. For the study of human gait a spectrum of methodologies are being used throughout the world ranging from the absence of technological aids, at one extreme, to the use of complicated and expensive equipment at the other. Through a study on various techniques used to capture motion, and after comparing these methods it was decided that multi-view marker based system is suitable for the requirement. This vision based methodology had the advantage that it can provide accurate motion information with low cost hardware and readily available software. When the two camera model is selected among other alternatives, it had to be studied how the pixel data obtained from motion capture are converted to the 3D spatial coordinates. Through a series of techniques, camera calibration, stereo calibration and triangulation, conversion of pixel data to 3D spatial coordinates was done. Based on this study the motion capture set up was created and motion capture was done. The results obtained of the two camera model, camera parameters and parameters of the stereo system are presented in this thesis. Validation of the human gait cycle information obtained from this technique was done by comparing this information with gait pattern obtained with more accurate and sophisticated techniques. D E C L A R A T I O N T h e w o r k s u b m i t t e d i n t h i s d i s s e r t a t i o n i s t h e r e s u l t o f m y o w n i n v e s t i g a t i o n , e x c e p t w h e r e o t h e r w i s e s t a t e d . I t h a s n o t a l r e a d y b e e n a c c e p t e d f o r a n y d e g r e e , a n d i s a l s o n o t b e i n g c o n c u r r e n t l y s u b m i t t e d f o r a n y o t h e r d e g r e e . I . ~-• • _ 1 . • • 0 • • • • • • • • \ • • • • • • • • 0 • • S . A . P . J i n a d a s a D a t e ' t , r ~ · ? / : > · · u . . I I I , . . , _ . ' - " I e n d o r s e t h e d e c l a r a t i o n b y t h e c a n d i d a t e . D r R o h a n M u n a s i n g h e C O N T E N T S A B S T R A C T A C K N O W L E D G E M E N T L I S T O F F I G U R E S L I S T O F T A B L E S 1 I N T R O D U C T I O N 1 . 1 ' v 1 o t i v a t i o n I . 2 S i g n i f i c a n c e o f t h e R e s e a r c h 1 . 3 O b j e c t i v e s a n d S c o p e 1 . 4 A c h i e v e m e n t s 1 . 5 O u t l i n e o f t h e T h e s i s 2 B I O M E C H A N I C S O F H U M A N G A I T 2 . 1 P l a n e s o f t h e B o d y 2 . 2 B o n e s o f t h e L o w e r L i m b 2 . 2 . 1 P e l v i s 2 . 2 . 2 F e m u r 2 . 2 . 3 P a t e l l a o r k n e e j o i n t 2 . 2 . 4 T i b i a a n d f i b u l a 2 . . 2 . 5 F o o t 2 . 3 . J o i n t s o f t h e L o w e r L i m b . 2 . 3 . 1 I l i p j o i n t 2 . 3 . 2 K n e e j o i n t . 2 . 3 . 3 A n k l e j o i n t 2 . 4 S i g n i f i c a n t M o v e m e n t s o f t h e L e g d u r i n g G a i t 3 M O T I O N C A P T U R I N G T E C H N I Q U E S ; . I D i r e c t M o t i o n M e a s u r e m e n t S y s t e m s l l v V I V I I v i i i 2 2 " " _ ) " " _ ) 4 6 6 6 6 7 7 8 8 8 8 9 1 0 3 . 1 . 1 P o t e n t i o m e t e r d e v i c e s 1 0 3 . 1 . 2 F l e x i b l e s t r a i n g a u g e s 1 1 3 . 2 K i n e m a t i c S y s t e m s 1 2 3 . 2 . 1 T v , ' o d i m e n s i o n a l k i n e m a t i c s y s t e m s ( m o n o c u l a r . m a r k e r b a s e d s y s t e m ) 1 2 3 . 2 . 2 T h r e e d i m e n s i o n a l k i n e m a t i c s y s t e m s ( m u l t i - v i e w , m a r k e r b a s e d s y s t e m ) 1 3 3 . 2 . 2 . 1 P h o t o g r a p h i c s y s t e m 1 3 3 . 2 . 2 . 2 V i d e o t a p e a n d D V D d i g i t i z e r 1 4 3 . 2 . 2 . 3 T e l e v i s i o n I c o m p u t e r s y s t e m 1 4 3 . 2 . 2 . 4 A c t i v e m a r k e r s y s t e m 1 5 3 . 3 M a r k e r - l e s s . M u l t i - v i e w M o t i o n C a p t u r e 1 5 3 . 4 K i n e m a t i c M o t i o n C a p t u r e S y s t e m C o m b i n e d w i t h F o r c e I n f o r m a t i o n 1 6 3 . 5 S e l e c t i o n o f M o t i o n C a p t u r e M e t h o d I 7 . t P R O P O S E D M O T I O N C A P T U R E T E C H N I Q U E 4 . 1 P h y s i c a l A r r a n g e m e n t o f t h e S y s t e m 1 8 4 . 2 F u n c t i o n a l B l o c k D i a g r a m 1 9 4 . 2 . 1 M a t l a b 1 9 4 . 2 . 2 D a t a c a p t u r e s e t u p 1 9 4 . 2 . 3 R e p o r t s o f p i x e l i n f o r m a t i o n a n d 3 D s p a t i a l c o o r d i n a t e 1 9 4 . 2 . 4 G r a p h s o f c a p t u r e d m o t i o n d a t a i n e x c e l 2 0 4 . 3 T h e o r e t i c a l B a c k g r o u n d o f G e o m e t r y o f 3 D V i s i o n 2 0 4 . 3 . 1 W o r l d c o - o r d i n a t e s t o c a m e r a c o - o r d i n a t e s 2 2 . 4 . 3 . 2 C a m e r a c o - o r d i n a t e s y s t e m t o i m a g e p l a n e 2 2 4 . 3 . 3 I m a g e E u c l i d e a n c o - o r d i n a t e s y s t e m t o i m a g e a f f i n e c o - o r d i n a t e s y s t e m 2 2 4 . 3 . 4 C a m e r a c a l i b r a t i o n m a t r i x 2 3 4 . 3 . 5 P h y s i c a l e x p l a n a t i o n o f i n t r i n s i c c a m e r a p a r a m e t e r s 2 3 . f . 3 . 6 C a m e r a c a l i b r a t i o n 2 4 . f . 3 . 7 E x t r i n s i c p a r a m e t e r s 2 4 . f . 3 . 8 C a m e r a c a l i b r a t i o n i n s t e r e o v i s i o n 2 4 . f . 3 . 9 E p i p o l a r g e o m e t r y 2 5 4 . 3 . 1 0 E p i p o l a r p o i n t 2 6 I l l 4 . 3 . 1 1 E p i p o l a r l i n e 4 . 3 . 1 2 E p i p o l a r p l a n e 4 . 3 . 1 3 E p i p o l a r c o n s t r a i n t a n d t r i a n g u l a t i o n 4 . 3 . 1 4 S i m p l i f i e d c a s e s 4 . 4 C a m e r a C a l i b r a t i o n T o o l b o x f o r M a t l a b 5 I M P L E M E N T A T I O N O F D E S I G N 5 . 1 D a t a C a p t u r e 5 . 1 . 1 P r e p a r a t i o n o f h a r d w a r e a n d t h e s u b j e c t f o r d a t a c a p t u r e 5 . 1 . 2 T a k i n g s n a p s h o t s o f t h e c h e c k e r b o a r d 5 . 1 . 3 T a k i n g s n a p s h o t s o f t h e i r o n r o d 5 . 1 . 4 R e c o r d i n g o f s u b j e c t w a l k i n g 5 . 2 . D a t a A n a l y s i s 5 . 2 . 1 I n d i v i d u a l c a m e r a c a l i b r a t i o n 5 . 2 . 2 S t e r e o c a m e r a c a l i b r a t i o n 5 . 3 R e s u l t s a f t e r C a l i b r a t i n g t h e S y s t e m 5 . 4 S t e r e o T r i a n g u l a t i o n 6 V A L I D A T I O N O F T H E A P P A R A T U S F O R H U M A N M O T I O N C A P T U R I N G 6 . 1 D a t a C o m p a r i s o n 6 . 1 . 1 I l i p j o i n t v a r i a t i o n 6 . 1 . 2 K n e e j o i n t v a r i a t i o n 7 D I S C U S S I O N & C O N C L U S I O N 7 . 1 R e c o m m e n d a t i o n s 7 . 2 L i m i t a t i o n s o f t h e S t u d y 7 . 3 S u g g e s t e d F u t u r e W o r k 7 . 4 P r a c t i c a l P r o b l e m s F a c e d d u r i n g t h e I m p l e m e n t a t i o n R E F E R E N C E S I V 2 6 2 6 2 6 2 7 2 8 2 9 2 9 3 0 3 0 3 1 " I . ) . ; . . 3 2 " " _ ) . ) 3 4 3 5 3 7 3 8 4 0 4 2 4 2 4 3 4 3 4 5 A c k n o w l e d g m e n t : ' v l y s i n c e r e g r a t i t u d e g o e s t o D r R o h a n M u n a s i n g h e , t h e s u p e r v i s o r o f t h i s r e s e a r c h , f o r h i s g u i d a n c e a n d s u p p o r t d e s p i t e h i s b u s y s c h e d u l e s , w h i c h h e l p e d m e c a r r y o u t r e s e a r c h a c t i v i t i e s e f f e c t i v e l y . I t m u s t b e n o t e d w i t h t h a n k s t h a t h e w a s a l w a y s a v a i l a b l e f o r m e t o g u i d e w h e n e v e r i t w a s n e c e s s a r y . M y t h a n k s a l s o g o t o D r . R a n g a R o d r i g o f o r h i s k i n d a s s i s t a n c e i n v a r i o u s a s p e c t s t o l o c a t e r e q u i r e d r e s o u r c e s a n d i n f o r m a t i o n . I v v o u l d l i k e t o e x p r e s s m y g r a t i t u d e t o D r J P K a r u n a d a s a H e a d D e p a r t m e n t o f E l e c t r i c a l E n g i n e e r i n g , D r L a n k a U d a w a t t a . D r C h a n d i m a P a t h i r a n a i n c l u d i n g o t h e r s t a f f m e m b e r s f o r e x t e n d i n g t h e i r c o o p e r a t i o n i n t h i s w o r k . I a l s o w i s h t o t h a n k m y r e s e a r c h p a r t n e r M r P r a m i n d a M a n o j f o r h i s e n c o u r a g e m e n t a n d t h o u g h t f u l i d e a s i n m a k i n g t h i s r e s e a r c h a s u c c e s s . M y h e a r t i e s t t h a n k g o e s t o m y w i f e A m a l a f o r h e r g e n u i n e e n c o u r a g e m e n t a n d l o v i n g c a r e a n d m y t w o l i t t l e k i d s f o r t h e i r s a c r i f i c e s b y a l l o w i n g m e f i n d t i m e t o i n v o l v e i n m y r e s e a r c h w o r k . P u n s i r i J i n a d a s a V I L i s t o f F i g u r e s F i g 2 . 1 : T h e a n a t o m i c a l p o s i t i o n , w i t h t h r e e r e f e r e n c e p l a n e s F i g 2 . 2 : M o v e m e n t s a b o u t t h e h i p j o i n t a n d k n e e j o i n t F i g 2 . 3 : B o n e s a n d j o i n t s o f t h e l o w e r l i m b s F i g 3 . 1 : S u b j e c t w e a r i n g t r i - a x i a l g o n i o m e t r y F i g 3 . 2 : S u b j e c t w e a r i n g f l e x i b l e s t r a i n g a u g e s F i g 3 . 3 : S i x c a m e r a k i n e m a t i c s y s t e m F i g 4 . 1 : A r r a n g e m e n t o f m o t i o n c a p t u r i n g a p p a r a t u s F i g 4 . 2 : F u n c t i o n a l b l o c k d i a g r a m F i g 4 . 3 : S t a g e s o f d a t a p r o c e s s i n g F i g 4 . 4 : G e o m e t r y o f a l i n e a r p e r s p e c t i v e c a m e r a F i g 4 . 5 : E p i p o l a r g e o m e t r y F i g 4 . 6 : S i m p l i f i e d e p i p o l a r g e o m e t r y F i g 5 . 1 : D a t a c a p t u r e s e t u p F i g 5 . 2 : A n i m a g e t a k e n f o r c a m e r a c a l i b r a t i o n F i g 5 . 3 : I m a g e o f m a r k e d i r o n r o d F i g 5 . 4 : S u b j e c t w a l k i n g F i g 5 . 5 : C a l i b r a t i o n i m a g e s u s i n g M a t l a b t o o l b o x f o r c a m e r a c a l i b r a t i o n F i g 6 . 1 : M o r e a c c u r a t e g a t e c y c l e i n f o r m a t i o n F i g 6 . 2 : P u b l i s h e d i n f o r m a t i o n o n g a i t p a t t e r n F i g 6 . 3 : P o s i t i o n s o f t h e l e g d u r i n g a s i n g l e g a i t c y c l e b y t h e r i g h t l e g F i g 6 . 4 : H i p j o i n t a n g l e v a r i a t i o n F i g 6 . 5 : K n e e j o i n t a n g l e v a r i a t i o n F i g 7 . 1 : M o t i o n c a p t u r e C r o m v i d e o c a m e r a s V l l P a g e 0 5 0 6 0 7 1 1 1 1 1 6 1 8 1 9 2 0 2 1 2 5 2 7 3 0 3 0 3 1 3 2 , . , , . , _ ) _ ) 3 7 3 8 3 9 3 9 4 0 4 3 L i s t o f T a b l e s P a g e T a b l e 2 . 1 : M o v e m e n t s o f t h e l e g d u r i n g w a l k i n g 9 T a b l e 3 . 1 : S e l e c t i o n c r i t e r i a a p p l i e d t o d i r e c t m o t i o n c a p t u r e m e t h o d 1 2 T a b l e 3 . 2 : S e l e c t i o n c r i t e r i a a p p l i e d t o t w o d i m e n s i o n a l k i n e m a t i c s y s t e m s 1 3 T a b l e 3 . 3 : S e l e c t i o n c r i t e r i a a p p l i e d t o t h r e e d i m e n s i o n a l k i n e m a t i c s y s t e m s 1 3 T a b l e 3 . 4 : S e l e c t i o n c r i t e r i a a p p l i e d t o m a r k e r - l e s s , m u l t i - v i e w m o t i o n c a p t u r e 1 5 T a b l e 3 . 5 : S e l e c t i o n c r i t e r i a a p p l i e d t o k i n e m a t i c m o t i o n c a p t u r e s y s t e m s c o m b i n e d w i t h f o r c e i n f o r m a t i o n 1 6 T a b l e 5 . 1 : I n t r i n s i c p a r a m e t e r s o f l e f t c a m e r a 3 4 T a b l e 5 . 2 : I n t r i n s i c p a r a m e t e r s o f r i g h t c a m e r a a n d e x t r i n s i c p a r a m e t e r s 3 7 T a b l e 6 . 1 : D e f i n i t i o n o f m e a s u r e d a n g l e s o f t h e t w o m e t h o d s 3 8 V l l l C h a p t e r 1 I n t r o d u c t i o n H u m a n w a l k i n g c a n b e d e f i n e d a s · a m e t h o d o f l o c o m o t i o n i n v o l v i n g t h e u s e o f t h e t w o l e g s · . W a l k i n g i s a c c o m p l i s h e d t h r o u g h a c o m p l e x a n d c o o r d i n a t e d p a t t e r n o f n e r v e s i g n a l s . s e n t t o t h e m u s c l e s . w h i c h i n t u r n m o v e t h e j o i n t s . t h e l i m b s a n d t h e r e m a i n d e r o f t h e b o d y . G a i t a n a l y s i s i s t h e s y s t e m a t i c s t u d y o f h u m a n w a l k i n g . S i n c e g a i t i s a m e c h a n i c a l p r o c e s s w h i c h i s p e r f o r m e d b y a b i o l o g i c a l s y s t e m . g a i t a n a l y s i s h a s b e c o m e a p a r t o f s c i e n t i f i c d i s c i p l i n e B i o m e c h a n i c s . G a i t a n a l y s i s i s o f t e n i m p o r t a n t f o r c l i n i c a l g a i t a s s e s s m e n t . A p a t i e n t h a v i n g w a l k i n g d i s o r d e r m a y b e s u b j e c t e d t o p h y s i c a l e x a m i n a t i o n s b y a t h e r a p i s t t o i d e n t i f y t h e c a u s e o f t h e d i s o r d e r . A l s o w e o f t e n f i n d p a t i e n t s w h o h a v e p r e v i o u s l y u n d e r g o n e s u r g e r y o n l e g a n d g a i t p a t t e r n h a s n o t r e t u r n e d b a c k t o n o r m a l . T o h a v e a f o r m a l g a i t a s s e s s m e n t , i t r e q u i r e s a c a r e f u l e x a m i n a t i o n o f t h e g a i t . u s i n g a s y s t e m a t i c a p p r o a c h . T h e r e f o r e . g a i t a n a l y s i s i s i m p o r t a n t t o m a k e d e t a i l e d d i a g n o s e s i n i n d i v i d u a l s w i t h c o n d i t i o n s a t i e c t i n g t h e i r a b i l i t y t o w a l k . B ) s t u d y i n g t h i s t y p e o f m e c h a n i c a l s y s t e m s o f b i o l o g i c a l s y s t e m s o n e c a n g e t i m r o r t a n t i n f o r m a t i o n w h i c h i s h e l p f u l i n d e v e l o p i n g s i m i l a r m e c h a n i c a l s y s t e m s . G a i t a n a l y s i s h a s b e e n u s e d i n r o b o t i c s i n d e s i g n i n g o f r o b o t l o c o m o t i o n s y s t e m [ 1 ] . V i t a l i n f o r m a t i o n r e v e a l e d f r o m g a i t a n a l y s i s c a n b e v e r y h e l p f u l i n s c i e n t i f i c r e s e a r c h e s f o r d e s i g n i n g a r t i f i c i a l l e g f o r a p e r s o n w h o h a s l o s t h i s l o w e r l i m b d u e t o s o m e r e a s o n . 1 . 1 M o t i v a t i o n T h r o u g h o u t t h e h i s t o r y . t e c h n i q u e s u s e d f o r g a i t a n a l y s i s h a v e b e e n e v o l v e d s i g n i f i c a n t l y . T o d a y . g a i t a n a l y s i s h a s d e v e l o p e d t o a s t a g e o f c o m m e r c i a l e x p l o i t a t i o n a n d c l i n i c a l a p p l i c a t i o n a n d i s m e e t i n g i n c r e a s i n g c l i n i c a l i n t e r e s t . P r e s e n t l y . c l i n i c a l g a i t a s s e s s m e n t u s i n g i n s t r u m e n t e d s y s t e m s i s n o t w i d e l y p r a c t i s e d i n S r i L a n k a . I n d e v e l o p e d c o u n t r i e s t h e r e a r e l a b o r a t o r i e s s e t u p e s p e c i a l l y f o r c l i n i c a l g a i t a s s e s s m e n t t h a t a r e e q u i p p e d w i t h l a t e s t i n s t r u m e n t a t i o n . A l s o v i s i o n b a s e d m o t i o n c a p t u r e m e t h o d s h a v e w i d e r a n g e o f a p p l i c a t i o n s . l n v i s u a l m e d i a . c o m p u t e r - a n i m a t e d h u m a n c h a r a c t e r s a n d 3 D r e c o n s t r u c t i o n a r e w i d e l y u s e d t h e s e d a y s [ 1 8 ] . S t e r e o v i s i o n w i t h d e p t h c a l c u l a t i o n i s u s e d i n r o b o t i c s . r o b o t c o n t r o l a n d m a c h i n e v i s i o n . 1 . 2 S i g n i f i c a n c e o f t h e R e s e a r c h I n S r i L a n k a n c o n t e x t t h e r e i s a s e g m e n t o f p e o p l e w h o c o u l d b e n e f i t f r o m i n s t r u m e n t e d g a i t a s s e s s m e n t . T h e p a t i e n t s h a v i n g w a l k i n g d i s o r d e r s a n d p a t i e n t s w h o h a v e u n d e r g o n e s u r g e r y o n l e g s f a l l i n t o t h a t s e g m e n t . P r e s e n t l y . t h e s e p e o p l e h a v e t o g o t o t e s t l a b o r a t o r i e s o u t s i d e S r i L a n k a t o g e t t h e i r g a i t p a t t e r n a s s e s s e d . l f t h i s a s s e s s m e n t c a n b e d o n e l o c a l l y i t w i l l f a c i l i t a t e l o c a l s u r g e o n s a n d m e d i c a l e x p e r t s t o p e r f o r m t h e i r d i a g n o s i s a n d t r e a t m e n t l o c a l l y . W i t h t h e i n c r e a s i n g u s a g e o f a b o v e a p p l i c a t i o n s o f v i s i o n b a s e d m o t i o n c a p t u r e . t h e r e i s l a r g e n u m b e r o f r e s e a r c h w o r k g o i n g o n i n t h i s s t u d y a r e a . T h e o r e t i c a l b a c k g r o u n d o f t h i s r e s e a r c h o p e n s u p a v e n u e s f o r o t h e r r e s e a r c h a r e a s o f v i s i o n b a s e d m o t i o n c a p t u r e . 1 . 3 O b j e c t i v e s a n d S c o p e O b j e c t i v e o f t h i s r e s e a r c h i s t o p r e s e n t a l o w c o s t v i s i o n b a s e d s y s t e m f o r m o t i o n c a p t u r e . T h e m o t i o n c a p t u r e t e c h n i q u e p r e s e n t e d f o c u s e s o n c a p t u r i n g t h e m o t i o n o f h u m a n g a i t p a t t e r n . T h i s t e c h n i q u e i s n o t a i m e d a t c a p t u r i n g a l l t h e m o v e m e n t s o f t h e h u m a n l e g d u r i n g w a l k i n g b u t f o c u s e s o n l y o n s i g n i f i c a n t m o v e m e n t s o f t h e l e g . F i r s t i t w a s r e q u i r e d t o d e c i d e w h i c h m e t h o d o l o g y i s s u i t a b l e f o r t h e m o t i o n c a p t u r e . A l i t e r a t u r e s u r v e y w a s c a r r i e d o u t t o i n v e s t i g a t e a v a i l a b l e m o t i o n c a p t u r e t e c h n i q u e s f o r h u m a n g a i t a n a l y s i s . V a r i o u s r e s e a r c h e r s h a v e d e v e l o p e d d i f f e r e n t m e t h o d o l o g i e s t o d e t e r m i n e g a i t p a r a m e t e r s . V i d e o r e c o r d i n g s . P h o t o g r a p h i c s y s t e m s , A c t i v e m a r k e r s y s t e m s . m u l t i p l e c a l i b r a t e d c a m e r a s y s t e m s a r e f e w m e t h o d s u s e d b y d i t T e r e n t p e r s o n n e l i n v o l v e d i n g a i t s t u d i e s . W h e n s e l e c t i n g a p p a r a t u s f o r t h e s e l e c t e d I t e c h n i q u e . c o s t i n v o l v e m e n t w a s k e p t m i n i m a l b y u s i n g c o m m o n l y a v a i l a b l e e q u i p m e n t . I A A c h i e v e m e n t s A f e a s i b l e m e t h o d o l o g y t o c a p t u r e t h e g a i t i n f o r m a t i o n w a s i d e n t i f i e d f r o m t h i s w o r k . \ v h i c h i s a m e t h o d e m p l o y i n g l o w c o s t c a m e r a s f o r m o t i o n c a p t u r e . T h i s w o r k p r e s e n t s a f r a m e w o r k t h a t c a n b e u s e d f o r m o t i o n c a p t u r e w h i c h c a n b e d e v e l o p e d t o a n a u t o n o m o u s m o t i o n c a p t u r e t e c h n i q u e b y i n c o r p o r a t i n g i m a g e p r o c e s s i n g t e c h n i q u e s a n d o t h e r s p e c i f i c a l g o r i t h m s . S i n c e n o s o p h i s t i c a t e d e q u i p m e n t s w e r e u s e d i n t h e p r e s e n t e d t e c h n i q u e , a c c u r a c y o f t h e m o t i o n c a p t u r e r e s u l t s w e r e n e e d e d t o b e v e r i f i e d a g a i n s t p u b l i s h e d m o t i o n c a p t u r e r e s u l t s o b t a i n e d u s i n g h i g h a c c u r a t e e q u i p m e n t s a n d v a l i d a t i o n r e s u l t s a r c p r e s e n t e d i n t h i s w o r k . 1 . 5 O u t l i n e o f t h e T h e s i s T h e t h e s i s h a s b e e n o r g a n i z e d i n e i g h t c h a p t e r s . C h a p t e r 1 p r o v i d e s t h e b a c k g r o u n d o f t h e r e s e a r c h t h a t c o v e r s t h e m o t i v e b e h i n d t h e w o r k , t h e i m p o r t a n c e a n d b e n e f i t s o f t h e r e s e a r c h a n d t h e f i n a l a c h i e v e m e n t . I t i n d i c a t e s t h e s c o p e w i t h i n w h i c h t h e r e s e a r c h w a s f o r m u l a t e d a n d i d e n t i f i e s o b j e c t i v e s o f t h e r e s e a r c h . C h a p t e r 2 d i s c u s s e s t h e f o u n d a t i o n f o r t h e w o r k c o n c e r n e d , t h e a n a t o m y o f l e g a n d b i o m e c h a n i c s o f h u m a n g a i t . T h i s c h a p t e r d e s c r i b e s t h e e x a c t m o t i o n s o f t h e l e g t h a t w e r e a n a l y s e d u s i n g t h e p r e s e n t e d t e c h n i q u e . R e s u l t s o f t h e l i t e r a t u r e s u r v e y o n v a r i o u s m o t i o n c a p t u r e t e c h n i q u e s a n d t h e r a t i o n a l e b e h i n d s e l e c t i n g t h e p r o p o s e d t e c h n i q u e i s g i v e n i n C h a p t e r 3 . T h e t h e o r e t i c a l b a c k g r o u n d o f t h e p r o p o s e d m o t i o n c a p t u r e m e t h o d i s d i s c u s s e d m C h a p t e r 4 . I m p l e m e n t a t i o n o f t h e d e s i g n i s e x p l a i n e d i n C h a p t e r 5 . I n C h a p t e r 6 v a l i d a t i o n o f t h e a p p a r a t u s f o r m o t i o n c a p t u r i n g o f h u m a n g a i t i s d o n e . T h e r e s u l t o f t h e w o r k i s d i s c u s s e d i n C h a p t e r 7 . ' " ) _ ) C h a p t e r 2 B i o m e c h a n i c s o f H u m a n G a i t H u m a n g a i t i s a m e c h a n i c a l p r o c e s s w h i c h i s p e r f o r m e d b y a b i o l o g i c a l s y s t e m . W h e n t h i s m e c h a n i c a l s y s t e m i s a n a l y s e d i t h a s t o b e i n t e r p r e t e d w i t h r e s p e c t t o t h e b i o l o g i c a l s y s t e m . T h e r e f o r e i t i s i m p o r t a n t t o k n o w t h e b i o l o g i c a l a s p e c t o f h u m a n g a i t a n d i t s t e r m i n o l o g y . W h e n s e l e c t i n g a n a p p r o p r i a t e m e t h o d f o r m o t i o n c a p t u r e o r h u m a n g a i t t h e j o i n t s o r b o n e s w h i c h h a v e a n y s o r t o f m o v e m e n t h a s t o b e i d e n t i f i e d . A f t e r t h a t a d e c i s i o n i s t o b e m a d e a s t o w h a t a r e t h e e x a c t m o v e m e n t s o r t h e l e g t h a t i s t o b e a n a l y s e d u s i n g t h e p r o p o s e d t e c h n i q u e . A c c o r d i n g l y , t h e r e w i l l b e s o m e c r i t i c a l p o i n t s o n t h e l e g w h e r e i t i s i m p o r t a n t a n a l y s i n g t h e m o v e m e n t . T h i s w a s a c c o m p l i s h e d b y s t u d y i n g b i o m e c h a n i c s a n d a n a t o m y . T h e r e f o r e t h i s c h a p t e r i s m a i n l y f o c u s e d o n i n t r o d u c i n g b i o l o g i c a l a s p e c t s o f h u m a n w a l k i n g . 2 . 1 P l a n e s o f t h e B o d y I n b i n - m e c h a n i c s t u d i e s , t h e r e a r e c e r t a i n a n a t o m i c a l t e r m s t o d e s c r i b e t h e r e l a t i o n s h i p b e t w e e n d i f f e r e n t p a r t s o f t h e b o d y a n d t o d e s c r i b e c e r t a i n m o v e m e n t s o f t h e b o d y . S a g i t t a l p l a n e , T r a n s v e r s e P l a n e a n d F r o n t a l P l a n e a r e t h e r e f e r e n c e p l a n e s u s e d t o d e s c r i b e m o t i o n o f t h e l i m b s . T h e s e p l a n e s a r e i l l u s t r a t e d i n F i g 2 . 1 . 1 ) S a g i t t a l p a n e i s a n y p l a n e w h i c h d i v i d e s p a r t o f t h e b o d y i n t o r i g h t a n d l e f t p o r t i o n s . 2 ) ; \ f r o n t a l p l a n e d i v i d e s a b o d y p a r t i n t o f r o n t a n d b a c k p o r t i o n s 3 ) A t r a n s v e r s e p l a n e o r h o r i z o n t a l p l a n e d i v i d e s a b o d y p a r t i n t o u p p e r a n d l o w e r p o r t i o n s 4 · - - , / t I I - - S a l . J i t t - l ' ~osteriO' - " ' - - - - - - - - T m n s v e r s e p l a n 8 I i n f e r i O ( i · t F i g 2 . 1 : T h e a n a t o m i c a l p o s i t i o n , w i t h t h r e e r e f e r e n c e p l a n e s ( S o u r c e : G a i t A n a l y s i s a n I n t r o d u c t i o n b y M i c h a e l W W h i t t l e ) H i p , K n e e a n k l e a n d f o o t a r e t h e j o i n t s t h a t m o v e d u r i n g w a l k i n g . M o v e m e n t s o f t h e s e j o i n t s t a k e p l a c e i n t h e d e s c r i b e d p l a n e s a b o v e , 1 ) f l e x i o n a n d e x t e n s i o n t a k e p l a c e i n t h e s a g i t t a l p l a n e ; i n t h e a n k l e t h e s e m o v e m e n t s a r e c a l l e d d o r s i t 1 e x i o n a n d p l a n t a r t 1 c x i o n , r e s p e c t i v e l y . 2 ) A b d u c t i o n a n d a d d u c t i o n t a k e p l a c e i n t h e f r o n t a l p l a n e 3 ) I n t e r n a l a n d e x t e r n a l r o t a t i o n t a k e p l a c e i n t h e t r a n s v e r s e p l a n e ; t h e y a r e a l s o c a l l e d m e d i a l a n d l a t e r a l r o t a t i o n r e s p e c t i v e l y , t h e t e r m r e f e r r i n g t o t h e m o t i o n o f t h e a n t e r i o r s u r f a c e . A s i n d i c a t e d i n t h e F i g 2 . 2 d u r i n g g a i t , i m p o r t a n t m o v e m e n t s o c c u r i n a l l t h r e e p l a n e s - s a g i t t a L f r o n t a l a n d t r a n s v e r s e . L a r g e s t m o v e m e n t s o c c u r i n s a g i t t a l p l a n e [ 2 ] . 5 : J t t l ! ! l F i g ] . 2 : M o v e m e n t s a b o u t t h e h i p j o i n t a n d k n e e j o i n t ( S o u r c e : G a i t A n a l y s i s a n I n t r o d u c t i o n b y M i c h a e l W . W h i t t l e ) 2 . 2 B o n e s o f t h e L o w e r L i m b B o n e s o f t h e l o w e r l i m b a r e i l l u s t r a t e d i n F i g 2 . 3 . 2 . 2 . 1 P e l v i s B o n e s o f t h e p e l v i s a n d l e g s a r e t h e b o n e s t h a t p l a y a m a j o r r o l e i n w a l k i n g . F o r t h e p r a c t i c a l p u r p o s e s o f g a i t a n a l y s i s , p e l v i s c a n b e c o n s i d e r e d a s a s i n g l e r i g i d s t r u c t u r e e v e n t h o u g h i t i s c o n s t r u c t e d b y f u s i o n o r m u l t i p l e b o n e s [ 2 ] . 2 . 2 . 2 F e m u r f e m u r i s t h e l o n g e s t b o n e i n t h e b o d y . T h e s p h e r i c a l f e m o r a l h e a d a r t i c u l a t e s w i t h t h e p e l v i c a c e t a b u l u m t o f o r m t h e h i p j o i n t s . F r o m t h e h i p j o i n t s t h i s b o n e c o n t i n u e s t o k n e e j o i n t . 2 . 2 . 3 P a t e l l a o r k n e e j o i n t T h i s h o n e i s e m b e d d e d w i t h i n a t e n d o n . I t s p o s t e r i o r s u r f a c e a r t i c u l a t e s w i t h t h e a n t e r i o r surf~1ce o f t h e l o w e r e n d o f t h e f e m u r t o f o r m t h e p a t e l l o f e r m o r a l j o i n t . T h e 6 p a t e l l a h a s a n i m p o r t a n t m e c h a n i c a l f u n c t i o n , w h i c h i s t o d i s p l a c e t h e q u a d r i c e p s t e n d o n f o r w a r d s , t h e r e b y i m p r o v i n g i t s l e v e r a g e . S D t n e 1 - - \ : ; I ' / ~ : : s r w 1 r : : ' l F i g 2 . 3 : B o n e s a n d j o i n l s o f t h e l c r ' . v e r l i m b s ( S o u r c ; e : G a i t Ana~vsis a n I n t r o d u c ; t i o n h y M i c h a e l W . W h i t t l e ) 2 . 2 . 4 T i b i a a n d f i b u l a T i b i a e x t e n d s f r o m t h e k n e e j o i n t t o t h e a n k l e j o i n t . F i b u l a i s n e x t t o t h e t i b i a o n i t s l a t e r a l s i d e . f o r m o s t o f i t s l e n g t h i t i s a f a i r l y s l i m b o n e . T h e t i b i a a n d f i b u l a a r e i n c o n t a c t w i t h e a c h o t h e r a t t h e i r u p p e r a n d l o w e r e n d s . M o v e m e n t o f t h e s e j o i n t s a r e v e r y s m a l l a n d c a n b e n e g l e c t e d [ 2 ] . 2 . 2 . 5 F o o t T h e f o o t i s a v e r y c o m p l i c a t e d s t r u c t u r e . F o o t i s m a d e o f t h r e e p a r t s , t h e h i n d f o o t . m i d f o o t a n d f o r e f o o t . T h e t a l u s i s t h e u p p e r b o n e o f t h e f o o t w h i c h f o r m s t h e a n k l e j o i n t . 7 2 . 3 J o i n t s o f t h e L o w e r L i m b A j o i n t o c c u r s w h e r e o n e b o n e i s i n c o n t a c t w i t h a n o t h e r . I n c e r t a i n j o i n t s a s i g n i f i c a n t a m o u n t o f m o v e m e n t c a n t a k e p l a c e a n d c e r t a i n o t h e r j o i n t s o n l y s m a l l m o v e m e n t s c a n o c c u r . A s y n o v i a l j o i n t i s a t y p e o f a j o i n t w h e r e f a i r l y l a r g e m o v e m e n t c a n t a k e p l a c e . I n a s y n o v i a l j o i n t t h e b o n e e n d s a r e c o v e r e d i n c a r t i l a g e a n d t h e j o i n t I S s u r r o u n d e d b y a s y n o v i a l c a p s u l e . w h i c h s e c r e t e s t h e l u b r i c a n t s y n o v i a l t 1 u i d . J o i n t s o f t h e l o w e r l i m b a r e i l l u s t r a t e d i n F i g 2 . 3 . 2 . 3 . 1 H i p j o i n t H i p j o i n t i s t h e o n l y t r u e b a l l - a n d - s o c k e t j o i n t i n t h e b o d y , t h e b a l l b e i n g t h e h e a d o f t h e f e m u r a n d t h e s o c k e t t h e a c e t a b u l u m o f t h e p e l v i s . T h i s j o i n t i s c a p a b l e o f f l e x i o n , e x t e n s i o n . a b d u c t i o n . a n d a d d u c t i o n . i n t e r n a l a n d e x t e r n a l r o t a t i o n a s s h o w n i n F i g 2 . 2 . 2 . 3 . 2 K n e e j o i n t T h e k n e e j o i n t c o n s i s t s o f t h e m e d i a l a n d l a t e r a l c o n d y l e s o f t h e f e m u r . a b o v e . a n d t h e c o r r e s p o n d i n g c o n d y l e s o f t h e t i b i a , b e l o w . T h e m o t i o n o f t h e j o i n t i s c o n t r o l l e d b y f i v e l c g a m e n t s w h i c h , b e t w e e n t h e m , e x e r t v e r y c l o s e c o n t r o l o v e r t h e m o v e m e n t o f t h e k n e e . I n t h e n o r m a l i n d i v i d u a l , t h e m o t i o n s o f t h e k n e e a r c t 1 e x i o n a n d e x t e n s i o n . w i t h a s m a l l a m o u n t o f i n t e r n a l a n d e x t e r n a l r o t a t i o n . S i g n i f i c a n t a m o u n t s o f a b d u c t i o n a n d a d d u c t i o n a r e o n l y s e e n i n d a m a g e d k n e e s . A s t h e k n e e c o m e s t o f u l l e x t e n s i o n . t h e r e i s a n e x t e r n a l r o t a t i o n o f a f e w d e g r e e s : t h e s o - c a l l e d a u t o m a t i c r o t a t i o n o r ' s e r e - h o m e ' m e c h a n i s m l 2 l 2 . 3 . 3 A n k l e j o i n t A n k l e j o i n t h a s t h r e e s u r f a c e s : u p p e r , m e d i a l a n d l a t e r a l . T h e u p p e r s u r f a c e i s t h e m a i n a r t i c u l a t i o n o f t h e j o i n t ; i t i s c y l i n d r i c a l a n d f o r m e d b y t h e t i b i a a b o v e t h e t a l u s b e l o w . T h e m e d i a l j o i n t s u r f a c e i s b e t w e e n t h e t a l u s a n d t h e i n n e r a s p e c t o f t h e m e d i a l m a l l e o l u s o f t h e t i b i a . C o r r e s p o n d i n g l y , t h e l a t e r a l j o i n t s u r f a c e i s b e t w e e n t h e t a l u s a n d t h e i n n e r s u r f a c e o f t h e l a t e r a l m a l l e o l u s o f t h e f i b u l a [ 2 ] . T h e a n k l e j o i n t b e i n g c y l i n d r i c a l h a s o n l y o n e s i g n i f i c a n t t y p e o f m o t i o n , d o r s i f l e x i o n a n d p l a n t a r f 1 e x i o n , c o r r e s p o n d i n g t o f l e x i o n a n d e x t e n s i o n i n o t h e r j o i n t s l 2 ] . 8 2 . 4 S i g n i f i c a n t M o v e m e n t s o f t h e l e g d u r i n g g a i t A t a b u l a t e d s u m m a r y o f t h e a b o v e e x p l a n a t i o n a b o u t t h e m o v e m e n t s o f t h e l e g d u r i n g w a l k i n g i s s h 7 8 o w n i n t h e T a b l e 2 . 1 . S a g i t t a l P l a n e F r o n t a l P l a n e T r a n s v e r s e P l a n e M o v e m e n t s M o v e m e n t s F l e x i o n E x t e n s i o n A b d u c t i o n A d d u c t i o n I n t e r n a l E x t e r n a l R o t a t i o n R o t a t i o n - H i p J o i n t L a r g e S m a l l S m a l l K n e e J o i n t L a r g e N o S m a l l A n k l e J o i n t L a r g e N o N o T a b l e 2 . 1 : M o v e m e n t s o f ' t h e L e g d u r i n g W a l k i n g F r o m t h i s s u m m a r y i t i s e v i d e n t t h a t l a r g e s t m o v e m e n t o f t h e l e g t a k e s p l a c e i n t h e S a g i t t a l p l a n e i n a l l t h r e e j o i n t s u n d e r c o n s i d e r a t i o n . I n t h i s s t u d y t h e m o v e m e n t o f t h e m u s c l e s a r e n e g l e c t e d . A l s o t h e t o e j o i n t i s n o t c o n s i d e r e d f o r t h e m o t i o n c a p t u r e a s t h e m o v e m e n t o f t h e t o e s w i t h r e s p e c t t o t o e j o i n t i s s m a l l . 9 C h a p t e r 3 M o t i o n C a p t u r i n g T e c h n i q u e s W h e n c o n s i d e r i n g t h e m e t h o d s w h i c h m a y b e u s e d t o p e r f o r m g a i t a n a l y s i s . i t i s h e l p f u l t o r e g a r d t h e m a s b e i n g i n a " s p e c t r u m · o r " c o n t i n u u m · . r a n g i n g f r o m t h e a b s e n c e o f t e c h n o l o g i c a l a i d s . a t o n e e x t r e m e . t o t h e u s e o f c o m p l i c a t e d a n d e x p e n s i v e e q u i p m e n t a t t h e o t h e r [ 3 J . r 4 ] . S e l e c t i o n o f a m e t h o d i s t o b e d o n e c o n s i d e r i n g t h e p u r p o s e o f a n a l y s i s . I n t h i s a n a l y s i s t h e g a i t m o t i o n c a p t u r e m e t h o d h a s t o f u l f i l c e r t a i n r e q u i r e m e n t s . 1 ) I t h a s t o g i v e a p e r m a n e n t r e c o r d o f d a t a 2 ) H a s t o b e f a s t t o c a p t u r e h i g h - s p e e d e v e n t s 3 ) D a t a h a s t o b e i n a f o r m a t w h i c h p r o v i d e s t h e 3 0 p o s i t i o n s o f m o v i n g l e g o r j o i n t a n g l e s i n a b s o l u t e t e r m s B y s t u d y i n g t h e a l t e r n a t i v e m e t h o d s a v a i l a b l e f o r g a i t a n a l y s i s . a s e l e c t i o n w a s m a d e a s t o \ v h i c h m e t h o d t o b e u s e d f o r t h i s s t u d y . C o s t o f t h e a p p a r a t u s . A v a i l a b i l i t y o f t h e a p p a r a t u s . n o n - i n v a s i v e n e s s a n d a c c u r a c y w e r e c o n s i d e r e d a s t h e k e y s e l e c t i o n c r i t e r i a . 3 . 1 D i r e c t M o t i o n M e a s u r e m e n t S y s t e m s D i r e c t m o t i o n m e a s u r e m e n t s y s t e m s m e a s u r e t h e m o t i o n o f t h e l e g u s i n g s o m e f o r m o f d i r e c t c o n n e c t i o n t o t h e s u b j e c t . I n t h i s m e t h o d E l e c t r o g o n i o m e t e r s a r e u s e d t o m e a s u r e j o i n t a n g l e v a r i a t i o n s [ 4 ] . E l e c t r o g o n i o m e t e r i s a d e v i c e t h a t c a n b e u s e d f o r m a k i n g c o n t i n u o u s m e a s u r e m e n t s o f t h e a n g l e o f a j o i n t . F i g 3 . 1 i l l u s t r a t e s h o w g o n i o m e t e r s a r e f i x e d o n a s u b j e c t ' s l e g t o t a k e m e a s u r e m e n t s . 3 . 1 . 1 P o t e n t i o m e t e r d e v i c e s P o t e n t i o m e t e r d e v i c e s c a n b e u s e d t o m e a s u r e t h e a n g l e o f a j o i n t i f i t i s f i x e d i n s u c h a w a y t h a t t h e b o d y o f t h e p o t e n t i o m e t e r i s a t t a c h e d t o o n e l i m b s e g m e n t a n d t h e s p i n d l e t o t h e o t h e r . T h e d e v i c e c a n b e c a l i b r a t e d t o m e a s u r e t h e j o i n t a n g l e i n 1 0 d e g r e e s . M u l t i p l e p o t e n t i o m e t e r s c a n b e m o u n t e d i n d i f f e r e n t p l a n e s t o m a k e m u l t i - a x i a l m e a s u r e m e n t s . A n o t h e r s i m i l a r d e v i c e i s r o t a r y e n c o d e r t h a t c a n b e u s e d f o r a n g l e m e a s u r e m e n t . F i g 3 . 1 : S u b j e c t v v e a r i n g t r i - a x i a l g o n i o m e t r y ( S o u r c e : G a i t A n a l y s i s a n I n t r o d u c t i o n h v M i c h a e l W . W h i t t l e ) 3 . 1 . 2 F l e x i b l e S t r a i n G a u g e s F l e x i b l e s t r a i n g a u g e e l e c t r o g o n i o m e t e r c o n s i s t s o f a f l a t t h i n s t r i p o f m e t a L o n e e n d o f v v h i c h i s f i x e d t o t h e l i m b o n e a c h s i d e o f t h e j o i n t b e i n g s t u d i e d . T h e b e n d i n g o f t h e m e t a l a s t h e j o i n t m o v e s i s m e a s u r e d b y s t r a i n g a u g e s a n d t h e e l e c t r o n i c s . T h e o u t p u t d e p e n d s o n t h e a n g l e b e t w e e n t h e t w o e n d s [ 2 ] , [ 5 ] . F i g 3 . 2 i l l u s t r a t e s u s e o f f l e x i b l e s t r a i n g a u g e s i n j o i n t a n g l e m e a s u r e m e n t . F i g 3 . 2 : S u b j e c t w e a r i n g f l e x i b l e s t r a i n g a u g e s ( S o u r c e : G a i t A n a l y s i s a n I n t r o d u c t i o n b y M i c h a e l W W h i t t l e ) 1 1 T h e m a i n d r a w b a c k o f d i r e c t m o t i o n m e a s u r e m e n t s y s t e m s i s t h a t t h e m e a s u r i n g d e v i c e s i n h i b i t t h e m o t i o n o f t h e s u b j e c t [ 4 ] . A l s o t h e m e a s u r e m e n t s a r c i n r e l a t i v e a n g l e s . D u e t o t h e s e r e a s o n s t h e d i r e c t m e a s u r e m e n t s y s t e m i s n o t c o n s i d e r e d . A v a i l a b i l i t y o f A p p a r a t u s T h e a v a i l a b l e m e a s u r i n g d e v i c e i s r o t a r y e n c o d e r C o s t o f t h e A p p a r a t u s C o s t o f r o t a r y e n c o d e r s i s o n t h e a v e r a g e s i d e G o o d a c c u r a c y i s e x p e c t e d b u t m e t h o d o f f i x i n g A c c u r a c y . ; e n c o d e r s t o t h e j o i n t s i s a n i s s u e N o n - i n v a s i v e n e s s A t t a c h e d e n c o d e r s i s a h i n d r a n c e f o r w a l k i n g T a h l e 3 . I : S e l e c t i o n c r i t e r i a a p p l i e d t o d i r e c t m o t i o n c a p t u r e m e t h o d 3 . 2 K i n e m a t i c S y s t e m s K i n e m a t i c s i s t h e m e a s u r e m e n t o f m o v e m e n t o r g e o m e t r i c d e s c r i p t i o n o f m o t i o n , i n t e r m s o f d i s p l a c e m e n t s , v e l o c i t i e s a n d a c c e l e r a t i o n s . K i n e m a t i c s y s t e m s a r e u s u a l l y b a s e d o n o p t i c a l m o t i o n c a p t u r e . O p t i c a l m o t i o n c a p t u r e c a n b e f u r t h e r c l a s s i f i e d a c c o r d i n g t o t h e n u m b e r o f v i e w s , m o n o c u l a r o r m u l t i - v i e w . K i n e m a t i c m e t h o d s c a n a l s o b e d i v i d e d t o m a r k e r - b a s e d o r m a r k e r - l e s s m e t h o d s . A m a r k e r b a s e d s y s t e m s m e a s u r e s t h e t r a j e c t o r i e s o f t a r g e t p o i n t s ( m a r k e r s ) o n t h e b o d y [ 6 ] . 3 . 2 . 1 T w o D i m e n s i o n a l k i n e m a t i c s y s t e m s ( m o n o c u l a r , m a r k e r b a s e d s y s t e m ) K i n e m a t i c m e a s u r e m e n t m a y b e m a d e i n e i t h e r t w o d i m e n s i o n s o r t h r e e . S i m p l e s t k i n e m a t i c m e a s u r e m e n t s a r e m a d e u s i n g a s i n g l e c a m e r a , i n a n u n - c a l i b r a t c d s y s t e m . S u c h a s y s t e m c a n b e u s e d t o m e a s u r e j o i n t a n g l e s i n t h e s a g i t t a l p l a n e . T h e c a m e r a i s p o s i t i o n e d a t r i g h t a n g l e s t o t h e p l a n e o f m o t i o n a n d a s f a r a w a y a s p o s s i b l e . t o m i n i m i z e t h e d i s t o r t i o n s i n t r o d u c e d b y p e r s p e c t i v e . M o n o c u l a r t e c h n i q u e s h a v e t o d e a l w i t h a m b i g u i t i e s i n t h e r e c o n s t r u c t i o n o f 3 0 p o s e c a u s e d b y r e f l e c t i v e a m b i g u i t y [ 7 J a n d k i n e m a t i c s i n g u l a r i t y [ 8 ] . 1 2 A v a i l a b i l i t y o f A p p a r a t u s C o s t o f t h e A p p a r a t u s A c c u r a c y N o n - i n v a s i v e n e s s V i d e o c a m e r a s , c a m c o d e r s o r w e b c a m s a r e w i d e l y a v a i l a b l e C o s t o f a b o v e c a m e r a s i s o n t h e a v e r a g e s i d e A c c u r a c y i s l e s s b e c a u s e o f s i n g l e c a m e r a s y s t e m N o h i n d r a n c e f o r t h e s u b j e c t ' s w a l k i n g T a h l e 3 . 2 . · S e l e c t i o n c r i t e r i a a p p l i e d t o t w o d i m e n s i o n a l k i n e m a t i c s y s t e m s 3 . 2 . 2 . T h r e e d i m e n s i o n a l k i n e m a t i c s y s t e m s ( m u l t i - v i e w , m a r k e r b a s e d s y s t e m ) T o a c h i e v e r e a s o n a b l e a c c u r a c y i n k i n e m a t i c m e a s u r e m e n t . i t i s n e c e s s a r y t o u s e a c a l i b r a t e d t h r e e - d i m e n s i o n a l s y s t e m . w h i c h i n v o l v e s m a k i n g m e a s u r e m e n t s f r o m m o r e t h a n o n e v i e w p o i n t . D i f f e r e n t t y p e s o f c a m e r a s c a n b e u s e d t o c a p t u r e t h e i m a g e s f r o m d i f f e r e n t v i e w p o i n t s . F r o m t h e s y n c h r o n i z e d i m a g e s , 3 D p o s i t i o n s o f t h e m a r k e r s c a n b e e x t r a c t e d a f t e r p r o c e s s i n g . S o f t w a r e f o r c a l i b r a t i o n o f m u l t i - c a m e r a s h a v e b e e n d e v e l o p e d b y d i f f e r e n t v e n d o r s o f c a m e r a s y s t e m s [ 1 7 ] . A v a i l a b i l i t y o f A p p a r a t u s C o s t o f t h e A p p a r a t u s A c c u r a c y V i d e o c a m e r a s , c a m c o d e r s o r w e b c a m s a r e w i d e l y a v a i l a b l e C o s t o f a b o v e c a m e r a s i s o n t h e a v e r a g e s i d e G o o d a c c u r a c y c a n b e e x p e c t e d f r o m m u l t i - v i e w 3 D k i n e m a t i c s y s t e m N o n - i n v a s i v e n e s s N o h i n d r a n c e f o r t h e s u b j e c f s w a l k i n g T a h l e 3 . 3 : , \ ' e l e c t i o n c r i t e r i a a p p l i e d t o t h r e e d i m e n s i o n a l k i n e m a t i c s y s t e m s 3 . 2 . 2 . 1 P h o t o g r a p h i c s y s t e m s T h e a d v a n t a g e s o f p h o t o g r a p h i c s y s t e m s a r e t h e r e l a t i v e l y l o w c o s t o f t h e e q u i p m e n t , t h e p o t e n t i a l l y h i g h a c c u r a c y o b t a i n a b l e a n d t h e a b i l i t y t o f i l m s u b j e c t s ' i n t h e f i e l d ' . r a t h e r t h a n i n t h e l a b o r a t o r y . I J e r e t h e s u b j e c t i s f i l m e d w h i l e w a l k i n g ; u s i n g o n e o r m o r e c a m e r a s a n d t h e c a l i b r a t i o n o b j e c t i s a l s o f i l m e d . w i t h o u t a l t e r i n g t h e c a m e r a p o s i t i o n o r s e t t i n g s . A f t e r t h e f i l m o r f i l m s h a v e b e e n p r o c e s s e d . t h e i m a g e s a r e d i g i t i z e d b y a n o p e r a t o r . w h o v i e w s s u c c e s s i v e f r a m e s . i d e n t i f i e s t h e r e q u i r e d l a n d m a r k s a n d m e a s u r e s t h e i r t w o - 1 3 d i m e n s i o n a l c o o r d i n a t e s [ 2 1 , [ 9 1 . U s i n g a s p e c i a l l y d e s i g n e d ' a n a l y z i n g p r o j e c t o r ' t h e o p e r a t o r m o v e s a c u r s o r t o t h e a p p r o p r i a t e p o i n t s i n t h e i m a g e a n d p r e s s e s a b u t t o n t o t r a n s k r t h e c o o r d i n a t e s o f e a c h p o i n t i n t o a c o m p u t e r . T o a v o i d f r a m e - t o - f r a m e \ a r i a t i o n s i n f i l m p o s i t i o n . i t i s c o m m o n a l s o t o d i g i t i z e t h e p o s i t i o n s o f f i x e d m a r k e r s \ \ i t h i n t h e f i e l d o f v i c w [ 2 l 3 . 2 . 2 . 2 V i d e o t a p e a n d D V D d i g i t i z e r s T h e s a m e w a y p h o t o g r a p h y h a s b e e n u s e d , v i d e o t a p e a n d D V D d i g i t i z e r s h a v e c o n s i d e r a b l e a d v a n t a g e s i n t e r m s o f c o s t , c o n v e n i e n c e a n d s p e e d , a l t h o u g h i t m a y n o t h e q u i t e a s a c c u r a t e . b e c a u s e o f t h e p o o r e r r e s o l u t i o n o f t e l e v i s i o n i m a g e c o m p a r e d \ \ i t h c i n e f i l m a n d f u r t h e r l o s s e s i n v o l v e d i n r e c o r d i n g a n d r e p l a y i n g t h e i m a g e s . A n o t h e r c o n s i d e r a b l e a d v a n t a g e i s t h a t i t i s p o s s i b l e t o a u t o m a t e t h e d i g i t i z a t i o n p r o c e s s u s i n g e l e c t r o n i c p r o c e s s i n g o f t h e i m a g e , e s p e c i a l l y i f s k i n m a r k e r s a r e u s e d . \ \ h i c h s h o w u p c l e a r l y a g a i n s t t h e b a c k g r o u n d [ 2 ] , [ 9 ] . 3 . 2 . 2 . 3 T e l e v i s i o n I c o m p u t e r s y s t e m s I n t h i s a p p r o a c h , r e f 1 e c t i v c m a r k e r s a r e f i x e d t o t h e s u b j e c f s l i m b s . e i t h e r c l o s e t o t h e j o i n t c e n t r e s o r f i x e d t o l i m b s e g m e n t s i n s u c h a w a y a s t o i d e n t i f y t h e i r p o s i t i o n s a n d o r i e n t a t i o n s . C l o s e t o t h e l e n s o f e a c h t e l e v i s i o n c a m e r a i s a n i n f r a r e d o r v i s i b l e l i g h t s u u r c c . w h i c h c a u s e s t h e m a r k e r s t o s h o w u p a s v e r y b r i g h t s p o t s . E a c h t e l e v i s i o n c a m e r a i s c o n n e c t e d t o a s p e c i a l i n t e r f a c e b o a r d w h i c h a n a l y z e s e a c h t e l e v i s i o n f r a m e . T h e s y s t e m s d i f f e r i n h o w t h e y l o c a t e t h e ' c e n t r o i d ' o r g e o m e t r i c c e n t r e o f e a c h m a r k e r w i t h i n t h e t e l e v i s i o n i m a g e , b u t i t i s t y p i c a l l y c a l c u l a t e d u s i n g t h e e d g e s o f a n y b r i g h t s p o t s i n t h e f i e l d o f v i e w . T h e c o m p u t e r s t o r e s t h e m a r k e r c e n t r o i d s f r o m e a c h f r a m e o f d a t a f o r e a c h c a m e r a , b u t i n i t i a l l y t h e r e i s n o w a y t o a s s o c i a t e a p a r t i c u l a r m a r k e r c e n t r o i d w i t h a p a r t i c u l a r p h y s i c a l m a r k e r , T h e p r o c e s s o f 1 d e n t i f y i n g w h i c h m a r k e r i m a g e i s w h i c h f o r e a c h o f t h e c a m e r a s , a n d o f f o l l o w i n g t h e m a r k e r s f r o m o n e f r a m e o f d a t a t o t h e n e x t , i s k n o w a s ' t r a c k i n g ' o r · t r a j e c t o r y f o l l o w i n g · . T h e s p e e d a n d c o n v e n i e n c e o f t h i s p r o c e s s d i f f e r c o n s i d e r a b l y f r o m o n e - ; y s t c m t o a n o t h e r a n d a l s o b e t w e e n s o f t w a r e o p t i o n s f r o m a s i n g l e m a n u f a c t u r e r . l k y o n d t h e i r u s e i n g a i t a n a l y s i s , t h e y a r e i n c r e a s i n g l y u s e d t o p r o v i d e t h e i n p u t f o r c o m p u t e r g r a p h i c s y s t e m s , i n t h e v i d e o g a m e a n d m o t i o n p i c t u r e i n d u s t r i e s [ 1 O J . 1 4 l 3 . 2 . 2 . 4 A c t i v e m a r k e r s y s t e m s A n o t h e r t y p e o f k i n e m a t i c s y s t e m u s e s a c t i v e m a r k e r s , t y p i c a l l y l i g h t - e m i t t i n g d i o d e s ( L E D ' s ) [ 8 1 , a n d a s p e c i a l o p t o e l e c t r o n i c c a m e r a . T y p i c a l l y , t h e s e s y s t e m s u s e i n v i s i b l e i n f r a - r e d r a d i a t i o n . T h e c a m e r a m e a s u r e s t h e p o s i t i o n o f t h e m a r k e r b y a n a l y z i n g t h e l i g h t c o m i n g f r o m i t u s i n g e i t h e r t w o d i m e n s i o n a l o r o n e - d i m e n s i o n a l c a m e r a s . T h e I . E D s a r c a r r a n g e d t o f l a s h o n a n d o f f i n s e q u e n c e . s o t h a t o n l y o n e i s i l l u m i n a t e d a t a n y i n s t a n t o f t i m e . T h e c a m e r a s a r e t h u s a b l e t o l o c a t e - e a c h m a r k e r i n t u r n , w i t h o u t t h e n e e d f o r a " t r a c k i n g ' p r o c e d u r e t o d e t e r m i n e w h i c h o n e i s w h i c h . T h e p e n a l t y f o r t h i s c o n v e n i e n c e i s t h e n e e d f o r t h e s u b j e c t t o c a r r y a p o w e r s u p p l y , w i t h w i r e s r u n n i n g t o e a c h o f t h e m a r k e r . P r o b l e m s m a y a l s o o c c u r b e c a u s e t h e t h e c a m e r a r e c o r d s n o t j u s t t h e l i g h t f r o m t h e L E O s , b u t a n y o t h e r l i g h t w h i c h f a l l s o n i t [ 1 1 ] . 3 . 3 M a r k e r - l e s s , M u l t i - v i e w M o t i o n C a p t u r e M a r k e r - l e s s m o t i o n c a p t u r e s y s t e m s c o m p u t e s m o t i o n p a r a m e t e r s f r o m e x t r a c t e d s i l h o u e t t e s o r o t h e r f e a t u r e s ( e g e d g e s ) [ 9 ] . [ 1 2 ] . I n t h i s m e t h o d h u m a n m o t i o n i s c a p t u r e d a s v i d e o d a t a f r o m m u l t i p l e c a m e r a s s u b j e c t s · k i n e m a t i c s i s e x t r a c t e d i n t h r e e d i m e n s i o n s u s i n g s p e c i f i c a l g o r i t h m s [ 2 ] . V a r i o u s t e c h n i c a l p a p e r s a r e p u b l i s h e d a b o u t t h i s s u b j e c t , r e s e a r c h e r s d e v e l o p i n g d i f f e r e n t k i n d s o f a l g o r i t h m s . A v a i l a b i l i t y o f A p p a r a t u s C o s t o f t h e A p p a r a t u s A c c u r a c y V i d e o c a m e r a s , c a m c o d e r s o r w e b c a m s a r e w i d e l y a v a i l a b l e C o s t o f a b o v e c a m e r a s i s o n t h e a v e r a g e s i d e , C o s t o f s o f t w a r e i s h i g h H i g h a c c u r a c y c a n b e e x p e c t e d f r o m m u l t i - v i e w m a r k e r - l e s s m o t i o n c a p t u r e d e p e n d i n g o n t h e a c c u r a c y a l g o r i t h m s u s e d N o n - i n v a s i v e n e s s N o h i n d r a n c e f o r t h e s u b j e c t ' s w a l k i n g T a b l e 3 . . J : S e l e c t i o n c r i t e r i a a p p l i e d t o M a r k e r - l e s s , M u l t i - v i e w M o t i o n C a p t u r e 1 5 3 . 4 K i n e m a t i c M o t i o n C a p t u r e S y s t e m C o m b i n e d w i t h F o r c e I n f o r m a t i o n T h i s m e t h o d u s e s k i n e m a t i c m o t i o n c a p t u r e s y s t e m c o m b i n e d w i t h a f o r c e p l a t f o r m . I u r c c p l a t f o r m i s a s p e c i a l l y m a d e s t e e l p l a t e w h e r e f o r c e e x e r t e d o n i t i s d e t e c t e d b y t r a n s d u c e r s a t i t s c o r n e r s a n d i s c o n v e r t e d t o e l e c t r i c a l s i g n a l s t h a t i s a m p l i f i e d a n d r e c o r d e d [ 1 1 ] . T h e c a p a b i l i t y o f t h e c o m b i n e d s y s t e m i s g r e a t e r t h a n t h a t o f t h e s u m o f i t s c o m p o n e n t p a r t s [ 2 l T h e r e a s o n f o r t h i s i s t h a t i f t h e r e l a t i o n s h i p i s k n o w n b e t w e e n t h e l i m b s e g m e n t s a n d t h e g r o u n d r e a c t i o n f o r c e v e c 1 o r , i t i s p o s s i b l e t o p c r C o r m " i n v e r s e d y n a m i c ' c a l c u l a t i o n s . i n w h i c h l i m b i s t r e a t e d a s a m e c h a n i c a l s y s t e m . S e t u p o f t h i s t y p e o f m o t i o n c a p t u r e i s s h o w n i n F i g 3 . 3 . , / ' / _ j • • _ 1 r ' r · r ' " ) " l . 8 ' ~- .~ - - • • j \ l --~---~ I l---~-J F t g 3 . 3 : S ' i x c a m e r a k i n e m a t i c s y s t e m ( S o u r c e : G a i t A n a l y s i s a n I n t r o d u c t i o n h y i \ 1 i c h a e l W . A v a i l a b i l i t y o f A p p a r a t u s C o s t o f t h e A p p a r a t u s A c c u r a c y ~on-invasiveness W h i t t l e ) V i d e o c a m e r a s , c a m c o d e r s o r w e b c a m s a r e w i d e l y a v a i l a b l e , f o r c e p l a t f o r m s a r e n o t a v a i l a b l e C o s t o f a b o v e c a m e r a s i s o n t h e a v e r a g e s i d e , c o s t o f o t h e r e q u i p m e n t i s v e r y h i g h H i g h a c c u r a c y c a n b e e x p e c t e d f r o m m u l t i - v i e w 3 D k i n e m a t i c s y s t e m w i t h c o m b i n e d f o r c e i n f o r m a t i o n N o h i n d r a n c e f o r t h e s u b j e c t ' s w a l k i n g F a h l e 3 . 5 : S e l e c t i o n c r i t e r i a a p p l i e d t o k i n e m a t i c m o t i o n c a p t u r e . \ y . ' > · t e m s c o m b i n e d w i t h f o r c e i n f o r m a t i o n 1 6 3 . 5 S e l e c t i o n o f M o t i o n C a p t u r e M e t h o d A s e x p l a i n e d a b o v e t h e s e l e c t i o n o f t h e a p p r o p r i a t e m e t h o d f o r m o t i o n c a p t u r e w a s d o n e b a s e d o n f o u r c r i t e r i a . W h e n c o m p a r e d w i t h t h o s e , t h e a p p r o p r i a t e s e l e c t e d m e t h o d w a s t h e 3 D k i n e m a t i c ( m u l t i - v i e w , m a r k e r b a s e d ) s y s t e m . T h e n u m b e r o f \ i e w p o i n t s t o b e u s e d i s s u b j e c t i v e t o t h e n a t u r e o f t h e m o t i o n t o b e c a p t u r e d . I n t h i s s y s t e m a n o t h e r s e l e c t i o n w a s t o b e m a d e w i t h r e s p e c t t o t h e a p p a r a t u s u s e d f o r m o t i o n c a p t u r e . F i r s t t h e s e l e c t e d m o t i o n c a p t u r e a p p a r a t u s w a s v i d e o c a m e r a . T h i s m e t h o d w a s d e \ ' c l o p e d f o r m o t i o n c a p t u r e o f h u m a n g a i t c y c l e b u t t h e r e s u l t s w e r e n o t s a t i s f a c t o r y . D e t a i l s o f t h i s f a i l e d t e c h n i q u e a r e i l l u s t r a t e d i n C h a p t e r 7 u n d e r . . P r a c t i c a l p r o b l e m s f a c e d d u r i n g t h e i m p l e m e n t a t i o n " . M o t i o n c a p t u r e a p p a r a t u s s e l e c t e d s e c o n d l y w a s w e b c a m s . A s t h e o b j e c t i v e o f t h e r e s e a r c h i s t o c a p t u r e o n l y o f t h e s a g i t t a l p l a n e m o v e m e n t s o f t h e l e g , t h e n u m b e r o f w e b c a m s w a s l i m i t e d t o t w o . T h e r e a s o n s f o r s e l e c t i n g v i s i o n b a s e d s y s t e m c o n s i s t i n g o f t w o w e b c a m s a r e g i v e n b c l o v v . 1 ) W e b c a m s a r e c o m m o n l y a v a i l a b l e : ? . ) C o s t o f t h e a p p a r a t u s i s n o t e x c e s s i v e l y h i g h 3 ) A s t h e r e s e a r c h i s n o t a i m e d a t v e r y h i g h a c c u r a c y a n d d o e s n o t r e q u i r e s o p h i s t i c a t e d i n s t r u m e n t a t i o n f o r t h i s p u r p o s e . 4 ) C a m e r a c a l i b r a t i o n i s s t r a i g h t f o r w a r d 5 ) C a m e r a c a l i b r a t i o n s o f t w a r e i s f r e e l y a v a i l a b l e 1 7 C h a p t e r 4 P r o p o s e d M o t i o n C a p t u r e T e c h n i q u e I h e s e l e c t e d t e c h n i q u e f o r m o t i o n c a p t u r e i s m a r k e r b a s e d k i n e m a t i c s y s t e m , m o t i o n c a p t u r e a p p a r a t u s b e i n g t w o w e b c a m s . T h e r e q u i r e d r e s o u r c e s t o a c q u i r e m u l t i - v i e w I m a g e d a t a i n v o l v e c a p t u r e r o o m . b o d y s u i t . c a m e r a e q u i p m e n t a n d a n a c q u i s i t i o n s y s t e m l h l C a p t u r e r o o m w a s p r e p a r e d t o h a v e a g o o d l i g h t i n g l e v e l i n o r d e r t o h a v e m a r k e r ! , ) c a t i o n s e a s i l y i d e n t i f i e d f r o m t h e c a p t u r e d i m a g e s . T h e l o c a t i o n s o f t h e m a r k e r s o n t h e ' u i t a r e d e s i g n e d s u c h t h a t t h e m o v e m e n t o f j o i n t s c a n b e e x t r a c t e d f r o m t h e J c k n t i ! i c a t i o n o f m o v e m e n t o f t h e m a r k e r s p l a c e d o n t h e l e g . H P W e b c a m 1 0 1 i s t h e ' ' c h c a m m o d e l . A s a c q u i s i t i o n s y s t e m t h e l a p t o p c o m p u t e r s w e r e u s e d . H e r e , s o f t w a r e · ( \ h e r ! i n k Y o u c a m ' ' i s u s e d w h i c h e n a b l e d t h e c a p t u r e d c l i p s t o s a v e i n t h e l a p t o p l l • r n p u t e r h a r d d i s k . 1 1 1 \ S c h a p t e r l a y s d o w n t h e a r r a n g e m e n t o f t h e m o t i o n c a p t u r e s y s t e m a n d t h e t h e o r e t i c a l !'~lck g r o u n d o f t h e s y s t e m . . t . l P h y s i c a l A r r a n g e m e n t o f t h e S y s t e m W a l k i n g P l a t f o r m \ / T w o L a p t o p s w i t h W c b c a m p l a c e d i n l i n e w i t h o p t i c a l a x i s o f t h e t v v o c a m e r a s p a r a l l e l . \ F i g - 1 . 1 : A r r a n g e m e n t (~lMotion C a p t u r i n g A p p a r a t u s : i 2 - J . . l i l l u s t r a t e s t h e a r r a n g e m e n t o f t h e a p p a r a t u s s e t u p f o r m o t i o n c a p t u r e . T h e t w o , , c b c a r n s w e r e p l a c e d p a r a l l e l t o t h e w a l k i n g p l a t f o r m . T h e d i s t a n c e f r o m t h e w a l k i n g : ' l a t t ' o r m t o t h e c a m e r a w a s a d j u s t e d s o t h a t t h e f u l l i m a g e o f t h e l e g c a n b e o b t a i n e d f r o m • u t h c a m e r a s a t t h e s a m e t i m e t h o r o u g h o u t t h e g a i t c y c l e o f t h e w a l k i n g s u b j e c t . 1 8 - L 2 F u n c t i o n a l B l o c k D i a g r a m I i g --1-.~ r e p r e s e n t s t h e a r r a n g e m e n t o f t h e b a s i c a c t i v i t i e s p l a n n e d t o d o f o r t h e m o t i o n c a p t u r e o f h u m a n g a i t . ' D a t a C a p t u r e S e t u p T o o l b o x f o r C a m e r o C a l i b r a t i o n a n d S t e r e o T r i a n g u l a t i o n ~---------------- 4 . 2 . 1 M a t l a b ~ t ? G r a p h s o f C a p t u r e d M o t i o n D a t a [ M a t l a b J ~ ~ . . . - - - - - - - - - - - . R e p o r t s o f P i x e l I n f o r m a t i o n a n d 3 D S p a t i a l C o o r d i n a t e s F i g - - 1 . 2 : F u n c t i o n a l B l o c k D i a w a m I h e s o l h \ a r e u s e d f o r a l l t h e d a t a c a p t u r e a n d a n a l y s i s i s M a t l a b . f o r c a m e r a c a l i b r a t i o n . t o e : - . : t r a c t p i x e l i n f o r m a t i o n f r o m i m a g e s a n d 3 D c o o r d i n a t e i d e n t i f i c a t i o n o f m a r k e r s " e r e d o n e u s i n g M a t l a b . 4 . 2 . 2 D a t a c a p t u r e s e t u p i u r d a t a c a p t u r e t h e h a r d w a r e h a d t o b e a r r a n g e d s o t h a t t h e c o r r e c t i m a g e o r c l i p i s t a k e n t o r t h e a n a l y s i s . I n t h i s c a s e l o w c o s t m o t i o n c a p t u r e h a r d w a r e w a s u s e d w h i c h c o n s i s t o f t \ \ O l a p t o p c o m p u t e r s w i t h W e b c a m f e a t u r e . 4 . 2 . 3 R e p o r t s o f p i x e l i n f o r m a t i o n a n d 3 D s p a t i a l c o o r d i n a t e s I a b i e s o f p i x e l i n f o r m a t i o n a n d 3 D s p a t i a l c o o r d i n a t e s w e r e p r e p a r e d a t v a r i o u s s t a g e s o f t h e p r o j e c t . 1 9 9 4 5 5 3 - U . 4 G r a p h s o f c a p t u r e d m o t i o n d a t a i n E x c e l r h e r e s u l t s . t h a t i s . 3 0 s p a t i a l c o o r d i n a t e s o f t h e m a r k e r s w e r e t r a n s f e r r e d t o E x c e l w h e r e g r a p h s o f j o i n t a n g l e v a r i a t i o n s a n d o t h e r g r a p h s f o r f u r t h e r a n a l y s i s o f d a t a w e r e d o n e . - U T h e o r e t i c a l B a c k g r o u n d o f G e o m e t r y o f 3 D V i s i o n T h e m a i n o b j e c t i v e o f t h e v i s i o n b a s e d c a m e r a s y s t e m i s , m o t i o n c a p t u r i n g o f t h e h u m a n l e g m o v e m e n t s a n d t r a n s f e r t h a t m o t i o n i n f o r m a t i o n t o 3 0 m o v e m e n t s w i t h r e s p e c t t o a \ \ o r l d c o - o r d i n a t e s y s t e m . F i g 4 . 3 d e s c r i b e s h o w t h e c a p t u r e d d a t a w e r e c o n v e r t e d t o t h e de~ired o u t c o m e o f t h e r e s e a r c h . F i g - 1 . 3 : S t a g e s (~fdata p r o c e s s i n g I o J i n d o u t t h e r e l a t i o n s h i p b e t w e e n p i x e l c o - o r d i n a t e s a n d w o r l d c o - o r d i n a t e s s o m e t h e o r e t i c a l b a c k g r o u n d w a s r e q u i r e d a b o u t G e o m e t r y o f 3 0 v i s i o n . I i g . + . 4 i n d i c a t e s t h e g e o m e t r y o f a l i n e a r p e r s p e c t i v e c a m e r a . C a m e r a i s a s s u m e d t o b e ' ' i t h a t h i n l e n s a n d p i n h o l e c a m e r a a r r a n g e m e n t i s a s s u m e d f o r b u i l d i n g u p t h e a b o v e m e n t i o n e d r e l a t i o n s h i p b e t w e e n p i x e l s a n d t h e 3 0 r e p r e s e n t a t i o n o f t h e m [ 1 3 J . [ 1 4 1 . T h e p l a n e o n t h e b o t t o m i s t h e i m a g e p l a n e t o w h i c h t h e r e a l w o r l d p r o j e c t s a n d t h e \ e r t i c a l d o t t e d l i n e i s t h e o p t i c a l a x e s . T h e l e n s i s p o s i t i o n e d p e r p e n d i c u l a r t o t h e o p t i c a l a x i s a t t h e f o c a l p o i n t C . F o c a l l e n g t h f i s a p a r a m e t e r o f t h e l e n s . T h e p r o j e c t i o n i s p e r f o r m e d b y a n o p t i c a l r a y r e f l e c t e d f r o m t h e s c e n e p o i n t X . t h e o p t i c a l r a y p a s s e s t h r o u g h t h e o p t i c a l c e n t e r C a n d h i t s t h e i m a g e p l a n e a t t h e p o i n t U . 2 0 ( J ( Optical:~~~-~'~''"~{ w / ' 1 ' ' , -~---- . ,~ • , , WorldE" a n g l e o f p i x e l a x e s = 9 0 . 0 0 0 0 0 ± 0 . 0 d e g D i s t o r t i o n : k c _ l e f t = [ - 0 . 1 9 5 4 5 0 . 5 2 1 5 6 0 . 0 0 0 9 8 0 . 0 0 0 4 5 0 . 0 0 0 0 0 ] ± [ 0 . 0 4 6 4 3 0 . 1 6 2 5 3 0 . 0 0 3 5 3 0 . 0 0 6 6 7 0 . 0 0 0 0 0 l I n t r i n s i c p a r a m e t e r s o f r i g h t c a m e r a : l u c a l L e n g t h : l ' r i n c i p a l p o i n t : f c _ r i g h t = [ 7 1 1 . 6 2 1 2 2 7 0 0 . 6 2 6 9 4 ] ± [ 3 4 . 3 1 7 9 3 3 4 . 0 6 3 1 9 l c c _ r i g h t = 1 2 6 3 . 4 7 1 4 4 2 3 8 . 1 4 9 9 2 ] ± [ 2 1 . 1 7 6 1 8 1 3 . 8 5 9 3 8 ] ' - i k e \ \ : a l p h a _ c _ r i g h t = [ 0 . 0 0 0 0 0 l ± [ 0 . 0 0 0 0 0 ] = > a n g l e o f p i x e l a x e s = 9 0 . 0 0 0 0 0 ± 0 . 0 d e g D i s t o r t i o n : k c _ r i g h t = [ 0 . 0 3 4 5 6 - 0 . 1 8 5 7 7 0 . 0 0 4 4 1 - 0 . 0 2 0 3 6 0 . 0 0 0 0 0 ] ± [ 0 . 0 6 8 5 9 0 . 1 3 7 6 5 0 . 0 0 4 5 3 0 . 0 1 3 2 5 0 . 0 0 0 0 0 ] E x t d n s i c p a r a m e t e r s ( p o s i t i o n o f r i g h t c a m e r a w r t l e f t c a m e r a ) : R o t a t i o n v e c t o r : O l l l = [ 0 . 0 0 3 3 3 0 . 0 8 8 1 4 - 0 . 0 0 7 1 6 ] I r a n s l a t i o n v e c t o r : T = [ 4 7 0 . 6 8 3 0 2 1 . 6 2 4 6 4 6 6 . 3 4 9 0 8 ] 5 . 3 R e s u l t s a f t e r C a l i b r a t i n g t h e S y s t e m I I I I I M a t l a b I V e c t o r D e s c r i p t i o n l V a l u e , , S y m b o l S i z e I l l \ I n t r i n s i c P a r a m e t e r s I L e f t C a m e r a F o c a l e x p r e s s e d i n u n i t s o f h i r i z o n t a l f c 2 x 1 l e n g t h p i x e l s 7 0 2 . 0 9 i n p i x e l s e x p r e s s e d i n u n i t s o f v e r t i c a l p i x e l s 7 0 3 . 4 4 2 x 1 P r i n c i p a l h o r i z o n t a l d i r e c t i o n 3 5 4 . 4 7 c c p o i n t v e r t i c a l d i r e c t i o n 2 6 5 . 9 8 a n p h a _ c S c a l a r S k e w a n g l e b e t w e e n x a n d y p i x e l c o e f f i c i e n t a x e s 0 - 0 . 1 9 5 4 0 . 5 2 1 5 6 K c 5 x l D i s t o r t i o n r a d i a l a n d t a n g e n t i a l d i s t o r t i o n s 0 . 0 0 0 9 8 c o e f f i c i e n t 0 . 0 0 0 4 5 0 - I I 3 4 ' T a b l e 5 . 1 : I n t r i n s i c p a r a m e t e r s o f l e f t c a m e r a 1 ! M a t l a b I V e c t o r [ D e s c r i p t i o n V a l u e I I S y m b o l I S i z e I \ i l n t r i m " i c P a r a m e t e r s I I [ R i g h t C a m e r a I I I I I F o c a l e x p r e s s e d i n u n i t s o f h i r i z o n t a l 1 1 f c 2 x I l e n g t h p i x e l s \ 7 1 1 . 6 2 : I i n p i x e l s 1 e x p r e s s e d i n u n i t s o f v e r t i c a l I j j . . . , 1 P r i n c i p a l p i x e l s 7 0 0 . 6 2 h o r i z o n t a l d i r e c t i o n 2 6 3 . 4 7 c c \ ~ x p o i n t v e r t i c a l d i r e c t i o n 2 3 8 , 1 4 - · I S k e w 1 a n g l e b e t w e e n x a n d y p i x e l I a n p h a c S c a l a r f f i , 0 _ _ - 1 I c o e t c t e n t 1 a x e s 0 . 0 3 4 5 6 , I I I i I I - 0 . 1 8 5 7 7 i K c 5 x l I D i s t o r t i o n r a d i a l a n d t a n g e n t i a l d i s t o r t i o n s 0 . 0 0 4 4 1 I f ' f , 1 c o e t c t e n t I - 0 . 0 2 0 3 6 I 0 E x t r i n s i c P a r a m e t e r s ( e . o s i t i o n o [ r i g _ l z t c a m e r a w r t l e { j c a m e r a 2 I ! I ' I 0 . 0 0 3 3 3 0 1 1 1 3 x l I R o t a t i o n I e x p r e s s e d i n u n i t s o f h i r i z o n t a l 0 . 0 8 8 1 4 V e c t o r p i x e l s - 0 . 0 0 7 1 6 I 4 7 0 . 6 8 T 3 x l T r a n s l a t i o n h o r i z o n t a l d i r e c t i o n 1 . 6 2 4 6 I V e c t o r 6 6 . 3 4 9 0 - - - - - · - - · - T a h l e 5 . 2 : I n t r i n s i c p a r a m e t e r s o f r i g h t c a m e r a a n d e x t r i n s i c p a r a m e t e r s 5 . 4 S t e r e o T r i a n g u l a t i o n l ' o f i n d o u t t h e 3 0 s p a t i a l c o o r d i n a t e s o f t h e m a r k s f i r s t i t w a s r e q u i r e d t o i d e n t i f y t h e i m a g e c o o r d i n a t e s o f i n d i v i d u a l m a r k i n p i x e l s . P i x e l c o o r d i n a t e s a r e d e f i n e d s u c h t h a t [ 0 : 0 ] i s t h e c e n t r e o f t h e u p p e r l e f t p i x e l o f t h e i m a g e . P i x e l c o o r d i n a t e s o f e a c h m a r k w a s i d e n t i f i e d b y c l i c k i n g o n t h e m a r k a f t e r o p e n i n g t h e i m a g e i n M a t l a b . T o g e t t h e 3 0 s p a t i a l c o o r d i n a t e s o f p o i n t i n p i x e l c o o r d i n a t e s , s t e r e o t r i a n g u l a t i o n \ \ a s u s e d i n M a t l a b . 3 5 l · u l l o w i n g c o d e s w e r e g e n e r a t e d i n M a t l a b a s d e s c r i p t i o n o f t h e s t e r e o t r i a n g u l a t i o n I u n c t i o n . - - - I X L . X R ] ' t e r e o t r i a n g u l a t i o n ( x L . x R . o m , T . f c l e f t . c c l e f t , k c l e f t , a l p h a _ c _ l e f t . f c _ r i g h t . c c _ r i g h t , k c r i g h t . a l p h a _ c l l . ! ! h t ) . I u n c t i o n t h a t c o m p u t e s t h e p o s i t i o n o f a s e t o n N p o i n t s g i v e n t h e l e f t a n d r i g h t i m a g e p r o j e c t i o n s . l h e c a m e r a s a r e a s s u m e d t o b e c a l i b r a t e d , i n t r i n s i c a l l y . a n d e x t r i n s i c a l l y . I n p u t : x L : 2 x N m a t r i x o f p i x e l c o o r d i n a t e s i n t h e l e f t i m a g e x R : 2 x N m a t r i x o f p i x e l c o o r d i n a t e s i n t h e r i g h t i m a g e o m . T : r o t a t i o n v e c t o r a n d t r a n s l a t i o n v e c t o r b e t w e e n r i g h t a n d J e l l c a m e r a s ( o u t p u t o f s t e r e o c i ! l i b r a t i o n ) r c _ l e f t . c c _ l e f t , . . . : i n t r i n s i c p a r a m e t e r s o f t h e l e f t c a m e r a ( o u t p u t o f s t e r e o c a l i b r a t i o n ) f c r i g h t . c c _ r i g h t . . . . : i n t r i n s i c p a r a m e t e r s o f t h e r i g h t c a m e r a ( o u t p u t o f s t e r e o c a l i b r a t i o n ) ( J u t p u t : X L : 3 x N m a t r i x o f c o o r d i n a t e s o f t h e p o i n t s i n t h e l e f t c a m e r a r e f e r e n c e t i · a m e X R : 3 x N m a t r i x o f c o o r d i n a t e s o f t h e p o i n t s i n t h e r i g h t c a m e r a r e f e r e n c e f r a m e F r o m t h e t a b u l a t e d d a t a o f 2 D p i x e l c o o r d i n a t e d , 3 D s p a t i a l c o o r d i n a t e s w e r e o b t a i n e d b y p e r f o r m i n g s t e r e o t r i a n g u l a t i o n . S i m i l a r l y t h i s w a s p e r f o r m e d f o r t h e i m a g e s o f i r o n r o d t o c a l i b r a t e t h e 3 D s p a c e i n w h i c h t h e s u b j e c t w a s a l l o w e d t o w a l k . 3 6 C h a p t e r 6 V a l i d a t i o n o f t h e A p p a r a t u s f o r H u m a n M o t i o n C a p t u r i n g l h e 3 0 s p a t i a l c o o r d i n a t e s w e r e e x t r a c t e d f r o m i m a g e d a t a a n d t h e a n a l y s i s i s p r e s e n t e d i n a s e p a r a t e r e s e a r c h p r o j e c t . D i s c u s s i o n i n t h i s c h a p t e r i s o n h o w a c c u r a t e t h e i m p l e m e n t e d d a t a c a p t u r e m e c h a n i s m i n t h i s w o r k . T h e m o t i o n c a p t u r e 1 s p r i m a r i l y o n t h e s a g i t t a l p l a n e o f t h e l e g w h e r e m o s t o f t h e m o v e m e n t t a k e s p l a c e . G a i t p a t t e r n r e s u l t o b t a i n e d u s i n g t h e p r o p o s e d m e t h o d w a s c o m p a r e d w i t h m u c h m o r e a c c u r a t e i n f o r m a t i o n o n g a i t p a t t e r n . T h i s ' r e a l ' g a i t d a t a h a v e b e e n c o l l e c t e d a t D e n v e r C h i l d r e n ' s H o s p i t a L u s i n g t h e V i c o n s y s t e m . T h e m u l t i m e d i a p r e s e n t a t i o n \ \ a s p r e p a r e d u s i n g t h e p o w e r f u l · v i c o n P o l y g o n ' p r o g r a m [ 2 1 . F i g 6 . 1 s h o w s t h e a p p e a r a n c e o f t h e p o l y g o n v i e w e r s o f t w a r e c o n t a i n i n g t h r e e p a n e s s k e l e t o n m o \ e m e n t . a c t u a l s u b j e c t m o v e m e n t a n d g r a p h i c s p a n e s l 2 2 ] . i l · . 1 r i l t Po.ne~ H e l p c : c ' c P O ~IJ' [ ! ] R e c . d · ; L 0 7 R 0 . 0 0 l '~, ! • K i n e m a t i c s i n T h r e e P l a n e s o f M o t i o n :DL~JC · o r . . . . . , , . . . . . I E I I "'"'~'""?''".1 J~~·~l I - 1 , . ' - - - - - - - - - - - ' · " L _ _ j ) - 1 · · : · · : · , - - : · I : 1 . . . . . . . . . ~~lJ . . . . . . . . . . 2 ! 0 ' " - "3~; • . '~ . . . ~.t . · . . . . . . , , • • l t ( o t \ d a t l • . . - ~00 • 6 1 % p L~ N U f " l F i g 6 . 1 : M o r e a c c u r a t e g a i t c y c l e i n f o r m a t i o n 3 7 I I ' ~ l I ; j l ; ! l i j ( ) ! ( . ' , J t i l l l l i ! ' : l i i l r ! ; i l l i " J I ( I , i \ ( ) , 1 ( 1 i ~ , [ [ ~ : I 1 ' , ' i l l ( ) 1 1 ' ~)u i \ \ i d l 1 r t : : - > . ' / l l \ : l , , i ! , . l i C A i t l i ( l ' ) I ) j ( J ; , ( ) { ) ( I I I ! ' , ; t i i c y c l e ( % ) I " ' l l i i J : ; ' , ' / 1 ! 1 1 ) i l l i I i g n J · P u b l i s h e d i n l o r m a t i o n o n g a i t p a t t e r n ( S o u r c e : G a i t A n a l y s i s a n I n t r o d u c t i o n h y M i c h a e l W W h i t t l e ) l i g 6 . 2 s h o w s v a r i a t i o n o f s a g i t t a l p l a n e j o i n t a n g l e s d u r i n g a s i n g l e g a i t c y c l e o f r i g h t h i p . k n e e a n d a n k l e . T h e s u b j e c t u s e d i n o b t a i n i n g t h i s g a i t c y c l e i n f o r m a t i o n i s a 2 2 \ c a r o l d n o r m a l f e m a l e . w e i g h t 5 4 0 N , w a l k i n g b a r e f o o t w i t h a c y c l e t i m e o f 0 . 8 8 s . a ~tricle l e n g t h o f 1 . 5 0 m a n d a s p e e d o f 1 . 7 0 m / s . T h e i n d i v i d u a l m e a s u r e m e n t s f r o m t h i s s u b j e c t d o n o t a l w a y s c o r r e s p o n d t o ' a v e r a g e ' v a l u e s , b e c a u s e o f t h e n o r m a l \ a r i a b i l i t y b e t w e e n i n d i v i d u a l s . a l t h o u g h t h e y a r e a l l c l o s e t o t h e n o r m a l r a n g e . I t i s i m p o r t a n t t o i n v e s t i g a t e h o w t h e m e a s u r e d j o i n t a n g l e s a r c d e f i n e d i n t h e t w o - . , c c n a r i o s b e f o r e t h e c o m p a r i s o n . . J o i n t G a i t P a t t e r n O b t a i n e d f r o m A n g l e P r o p o s e d M e t h o d H i p A n g l e b e t w e e n v e r t i c a l a n d f e m u r K n e e A n g l e b e t w e e n v e r t i c a l a n d t i b i a A n k l e 9 0 d e g m i n u s a n g l e b e t w e e n t i b i a a n d v e r t i c a l G a i t P a t t e r n O b t a i n e d f r o m P u b l i s h e d S o u r c e A n g l e b e t w e e n p e l v i s a n d f e m u r A n g l e b e t w e e n f e m u r a n d t h e t i b i a A n g l e b e t w e e n t i b i a a n d a n a r b i t r a r y l i n e i n t h e f o o t f o r t h e w a l k i n g ( T h i s a n g l e i s n o r m a l l y a r o u n d 9 0 d e g b u t t a k e n a s 0 d e g ) T a b l e 6 . 1 : D e f i n i t i o n o f M e a s u r e d A n g l e s o f t h e t ' w o m e t h o d < ; 3 8 ( J . I D a t a C o m p a r i s o n . \ p o s i t i o n o f t h e l e g d u r i n g g a i t c y c l e i s s e p a r a t e l y i d e n t i f i e d i n b i o m e c h a n i c s f o r t h e c a s e o f a n a l y s i s . f i g 6 . 3 i n d i c a t e s t h e s e l e g p o s i t i o n s . ~) ;.anc~: \ s t d n c : e \ 1 ~ ; ( : ' F i g 6 . 3 : P o s i t i o n s o f t h e l e g s d u r i n g a s i n g l e g a i t c y c l e h . v t h e r i ? , h t l e g ( S o u r c e : G a i t A n a l y s i s h y I n t r o d u c t i o n h y M i c h e a l W W h i t t l e ) 6 . 1 . 1 H i p . J o i n t V a r i a t i o n " ' t 6 ; , ~ - - . . . . . . - - · - ~ t ; , l · - - - - 8 0 6 ( 1 - W . : : o 0 H i p , j o i n t a n g l e c h a n g e s A t : < p e e d 1 - t - 1 I~m h K r r L · ' h \ . · = > " " . . . \ , . . . . , , " ' " " . . . . : ; > ' l f \ . . \ ' I " ' J . . , \ J . ( ) , . ' " " : · \\~..\'· \ ' 1 ' 0 \ ' 1 ~~ ~l)~ , . ~ \ . " " ; : + - " ' ) · ~"t'J ~ :-'~) - 4 0 T i m t ' - t i n ' s ' F i g 6 . - 1 : H i p j o i n t a n g l e v a r i a t i o n 3 9 I h e h i p f l e x e s a n d e x t e n d s o n c e d u r i n g t h e g a i t c y c l e , t h e l i m i t o f t h e f l e x i o n i s r e a c h e d a r o u n d t h e m i d d l e o f t h e s w i n g p h a s e a n d t h e h i p i s t h e n k e p t f l e x e d u n t i l t h e i n i t i a l c o n t a c t r 2 ] . T h e p a t t e r n o f t h e h i p j o i n t a n g l e v a r i a t i o n i s v e r y m u c h s i m i l a r t o t h e c y c l e e x p l a i n e d i n [ 2 j . T h e c u r v e s h o w s o n e e x t e n s i o n a n d f l e x i o n d u r i n g t h e g a i t C \ C l c . W h e n m a g n i t u d e o f t h e h i p a n g l e v a r i a t i o n o f t h e t w o g a i t p a t t e r n s i s c o n s i d e r e d , i t s h e w , s a s i g n i f i c a n t d i f f e r e n c e . T h e m a x i m u m a n g l e v a r i a t i o n o f t h e e x t e r n a l s o u r c e i s a b o u t 4 8 d c g , w h e r e a s t h e a c t u a l o b t a i n e d g a i t p a t t e r n s h o w i t t o b e a r o u n d 8 0 d c g . T h i s i s d u e t o t h e d e f i n i t i o n o f t h e h i p a n g l e i s d i f f e r e n t i n t h e t w o p a t t e r n s . I l i p i n i t i a l l y s w i n g s 6 0 d e g r e e s o f s w i n g p h a s e u n t i l h e e l s t r i k e ( H S ) . w h e n h i p b e g i n s e x t e n s i o n u n t i l h e e l o f f ( I 1 0 ) a n d t o e o t T ( T O ) . 6 . 1 . 2 K n e e J o i n t V a r i a t i o n " ' " ' ~ ~, " ' - - · - " ' " @ . - ' : " : . t O ) { ) 2 0 1 0 0 K n e e j o i n t a n g l e c h a n g e s A t s p e e d 1 . 4 4 K m / h . S - l w , < l ·'-"'~ , _ ) . " ' : - \ " \ , _ , ; : . . C \ . . , b . : . . . : : : . '\\\~ ' \ · " ) · \\.'\'-~ " " ' : - . - "~/ " ' ) I ~ ' " / , . ' T i n w - ' t ' i l l ' s ' F i K 6 . 5 : K n e e j o i n t a n g e l v a r i a t i o n T h e k n e e s h o w s t w o f l e x i o n a n d t w o e x t e n s i o n p e a k s d u r i n g e a c h g a i t c y c l e . I t i s m o r e o r l e s s f u l l y e x t e n d e d b e f o r e i n i t i a l c o n t a c t , f l e x e s d u r i n g t h e l o a d i n g r e s p o n s e a n d t h e e a r l y p a r t o f m i d - s t a n c e , e x t e n d s a g a i n d u r i n g t h e l a t e r p a r t o f m i d - s t a n c e . t h e n s t a r t s f l e x i n g a g a i n . r e a c h i n g a p e a k d u r i n g i n i t i a l s w i n g . [ 2 ] I n F i g 6 . 5 i t i s i n d i c a t i v e t h a t k n e e j o i n t u n d e r g o e s t w o f l e x i o n a n d t w o e x t e n s i o n p e a k s d u r i n g i t s g a i t c y c l e . 4 0 ! h e m a g n i t u d e o f t h e m a x i m u m a n g l e v a r i a t i o n o f t h e p r o p o s e d s y s t e m i s a b o u t 3 0 d c g \ \ h c r e a s t h e p u b l i s h e d d a t a i n d i c a t e s i t t o b e a r o u n d 4 5 d c g . I n t h i s c a s e a l s o . t w o : - ; c c n a r i o s o f a n g l e d e f i n i t i o n h a v e c a u s e d t h e d i f f e r e n c e . H o w e v e r . t h e a n g l e o f J k x i o n o r e x t e n s i o n d e p e n d s o n v a r i o u s o t h e r p a r a m e t e r s o f t h e s u b j e c t . l i k e g e n d e r . ~tride l e n g t h d i m e n s i o n s o f t h e l e g e t c . T h e m a g n i t u d e o f f l e x i o n i s v a r i a b l e . b o t h l i · o m o n e i n d i v i d u a l t o a n o t h e r a n d w i t h t h e s p e e d o f w a l k i n g . b u t i t i s c o m m o n l y b e t w e e n 1 0 t o 2 0 d e g r e e s . [ 2 ] 4 1 C h a p t e r 7 D i s c u s s i o n & C o n c l u s i o n \ . . , p e r t h e v a l i d a t i o n o f t h e r e s u l t s i n C h a p t e r 6 , t h e m e t h o d o l o g y a d o p t e d i s a f e a s i b l e m e t h o d o l o g y f o r a n a l y s i n g t h e i d e n t i f i e d m o v e m e n t s o f t h e l e g d u r i n g g a i t . O t h e r s o p h i s t i c a t e d m o t i o n c a p t u r e m e t h o d s a r e b e i n g u s e d i n o t h e r p a r t s o f t h e w o r l d t h a t a r e m u c h m o r e a c c u r a t e [ 2 2 ] . [ 2 3 ] . I m p l e m e n t a t i o n o f t h i s c a m e r a s y s t e m w a s i n i t i a t e d t o p r o v i d e d a t a f o r a n o t h e r r e s e a r c h p r o j e c t t o a n a l y s e h u m a n g a i t i n f o r m a t i o n . I m p l e m e n t a t i o n o f t h i s c a m e r a s y s t e m f o r t h i s p u r p o s e w a s d o n e i n f o u r s t a g e s . F i r s t l y t o s t u d y t h e b i o m e c h a n i c s o f h u m a n w a l k i n g t o g e t a n i d e a o f h o w t h e o u t c o m e s h o u l d b e . S e c o n d l y d i f f e r e n t t y p e s o f d a t a c a p t u r e m e t h o d s w e r e s t u d i e d a n d c o m p a r e d t o s e l e c t t h e o p t i o n s t h a t c a n b e i m p l e m e n t e d . T h i r d l y a s t u d y w a s c o n d u c t e d a b o u t t h e s e l e c t e d d a t a c a p t u r e t e c h n i q u e . F i n a l s t a g e w a s t h e a c t u a l d a t a L'~lpture. 7 . 1 R e c o m m e n d a t i o n s T h i s t e c h n i q u e e x p l a i n e d i n t h i s r e s e a r c h f o r c a p t u r i n g o f h u m a n g a i t i s a v i a b l e a p p r o a c h f o r h u m a n g a i t c y c l e a n a l y s i s . T h e j o i n t a n g l e v a r i a t i o n p a t t e r n o b t a i n e d u s i n g t h i s m e t h o d i s i n l i n e w i t h t h e p u b l i s h e d i n f o r m a t i o n . l h r o u g h t h i s p r o j e c t i t w a s i d e n t i f i e d t h a t t h i s t e c h n o l o g y c a n b e u s e d i n o t h e r f i e l d s o r s t u d i e s a s w e l l . S t e r e o v i s i o n u s e d i n m a c h i n e v i s i o n a n d r o b o t i c s i s b a s e d o n s i m i l a r s t u d i e s . C a m e r a b a s e d t e c h n i q u e s a r e w i d e l y u s e d i n 3 0 r e c o n s t r u c t i o n i n f i l m 1 n d u s t r y . J \ l s o i n s m a r t s u r v e i l l a n c e s y s t e m s 7 . 2 L i m i t a t i o n s o f t h e S t u d y l h e m a g n i t u d e s o f t h e j o i n t a n g l e v a r i a t i o n s h a v e s h o w n s o m e d e v i a t i o n s f r o m t h e p u b l i s h e d i n f o r m a t i o n d u e t o t h e d i f f e r e n c e i n j o i n t a n g l e d e f i n i t i o n . T h e m e t h o d o l o g y i s h i g h l y l a b o u r i n t e n s i v e a n d t i m e c o n s u m i n g . 4 2 7 . 3 S u g g e s t e d f u t u r e w o r k I o l l o w i n g a r e a s w e r e i d e n t i f i e d t h a t n e e d t o b e i m p r o v e d i n t h i s m o t i o n c a p t u r e m e t h o d . l ) I n t h i s s t u d y . t h e c a p t u r e d m o t i o n i n f o r m a t i o n w a s i n t h e f o r m o f d i g i t a l c l i p s t a k e n h o m t w o W e b c a m s . T h e s e d i g i t a l c l i p s w e r e l a t e r t r a n s l a t e d t o d i g i t a l i m a g e s u s i n g a m o t i o n t o p i c t u r e s o f t w a r e . T h i s p r o c e s s p r o v e d t o b e a c c u r a t e e n o u g h t o g i v e a g o o d o u t c o m e . T h e d a t a c a p t u r e m e t h o d c a n b e i m p r o v e d i n t h i s r e s p e c t b y u s i n g a t r i g g e r i n g m e c h a n i s m p r o v i c f c d t h a t e n o u g h b a n d w i d t h a s a l l o w e d f o r t h e d a t a c a p t u r e e q u i p m e n t t o s a v e t h e i m a g e d a t a . 2 ) T h e e x t r a c t i o n o f p i x e l d a t a f r o m t h e i m a g e w a s d o n e b y c l i c k i n g o n e a c h m a r k e r o n t h e i m a g e i n M a t l a b . T h i s p r o c e s s i s v e r y l i k e l y t o h a v e h u m a n e r r o r s . F o r t h i s p u r p o s e i m a g e s e g m e n t a t i o n c a n b e d o n e t o e x t r a c t t h e m a r k e r s t h r o u g h a s o f t w a r e a p p l i c a t i o n . 3 ) I n t h i s w o r k t h e n o i s e i n t r o d u c e d i n d a t a c a p t u r e m e t h o d h a v e p r o p a g a t e d t o t h e n e x t l e v e l o f a n a l y s i s . U s e o f m o t i o n d a t a f i l t e r i n g t e c h n i q u e c o u l d f u r t h e r i m p r o v e t h e o u t p u t . 7 . - l P r a c t i c a l p r o b l e m s f a c e d d u r i n g t h e i m p l e m e n t a t i o n T h e m a j o r p r o b l e m f a c e d d u r i n g t h e i m p l e m e n t a t i o n o f t h i s m o t i o n c a p t u r e s y s t e m i s t h a t f i n d i n g t h e c o r r e c t a p p a r a t u s f o r t h e w o r k . F i g 7 . 1 : M o t i o n c a p t u r e / r o m v i d e o c a m e r a s 4 3 I h e m o t i o n c a p t u r e h a d t o b e p e r f o r m e d s e v e r a l t i m e s t o g e t i m a g e s o f g o o d v a l u e f o r t h e r e s e a r c h w o r k . T h e f i r s t m o t i o n c a p t u r e a p p a r a t u s t h a t w a s t r i e d o u t w a s t h e v i d e o c : a m e r a b a s e d m o t i o n c a p t u r e . T h e d a t a c a p t u r e w a s p e r f o r m e d w h i l e s u b j e c t w a s \ \ a ! k i n g o n a t r e a d m i l l . F i g 7 . 1 s h o w s a c a p t u r e d i m a g e d u r i n g t h e m o t i o n c a p t u r e . I n thi~ m e t h o d v i d e o c l i p s w e r e c o n v e r t e d t o i m a g e s u s i n g v i d e o e d i t i n g s o f t w a r e a n d a g a i n c o n v e r t e d t o d i g i t a l f o r m t h a t i s j p e g o r b i t m a p f o r m . D u e t o t h e i l l e f f e c t o f t h e 1 p e g o r b i t m a p i m a g e s t h e i m a g e s c o u l d n o t b e p r o c e s s e d f u r t h e r . W h e n c a m e r a L · , d i b r a t i o n e n g i n e w a s r u n . w i t h a s e t o f i m a g e s . r e s u l t g e n e r a t e d i l l e f f e c t s . \ l o t i o n c a p t u r e t h r o u g h t h e p r o p o s e d m e t h o d w a s a l s o h a d t o b e d o n e s e v e r a l t i m e s t o l l h t a i n i m a g e s t h a t c a n b e p r o c e s s e d f u r t h e r f o r t h i s s t u d y . 4 4 R e f e r e n c e s [ I ] S e u n g s u k H a . Y o u n g j o o n H a n . a n d H e r n s o o H a h n " ' A d a p t i v e G a i t P a t t e r n G e n e r a t i o n o f B i p e d R o b o t b a s e d o n H u m a n ' s G a i t P a t t e r n A n a Z v s i s " ' . P r o c e e d i n g s o f W o r l d A c a d e m y o f S c i e n c e . E n g i n e e r i n g a n d T e c h n o l o g y V o l u m e 2 3 A u g u s t 2 0 0 7 [ 2 ] M i c h a e l W W h i t t l e , " G a i t A n a l y s i s a n I n t r o d u c t i o n ' ' ; U S A : B u t t e r w o r t h H e i n e m a n n E l s e v i e r P u b l i s h e r s . 2 0 0 8 [ 3 [ ! - l i l a r y M . C l a y t o n a n d H e n k C . S c h a m h a r d t · ' M e a s u r e m e n t T e c h n i q u e s f i J I ' G a i t i 1 n a l y s i s ' ' W e b B a s e d L i t e r a t u r e 1 1 \ \ t ' u h l [ 4 ] R G M o r r i s , S E M L a w s o n . ' ' A R e v i e v v a n d E v a l u a t i o n o j ' A v a i l a b l e G a i t A n a l l ' s i s . - T e c h n o l o g i e s . a n d t h e i r P o t e n t i a l f o r t h e ! v f e a s u r e m e n t o f ' I m p a c t l i - a n s m i s s i o n . . S c h o o l o f M e c h a n i c a l a n d S y s t e m s E n g i n e e r i n g , N e w c a s t l e U n i v e r s i t y I ~ c ] . ' \ I ' ' . ' ' ~- I I ' ' I ' l ' ! ' . _ _ J l<,t.l\\\~ i ' . i . - . , !<~'>~ ( V I i~!llLlrll1 ' 1 . , : !~l/ll:'\\\Hh . \ r . . \ 1 ' / / : . i / 1 : \ } : " > : " · : . 1 - i ~:flllJOJ}J( ! r t U ' t ! ! I ! L 1 i f " . l t F • . 1 o ! J u J I ? f J , / i l C / J J U i i c . \ P h \ ~i~.HlkT~lP\. ~'\it) 1 : . ~·~;,: h ! ( JUIC!ltb~..T:-, I S . ( i u c i T : l - 1 i i h l · · O e t i c u ! . \ l o t i o n C u i l / i i r , ! l t c o n I i l l l i ' l . . n i c l l f , u , n · t ( < l l l 1 1 ' l i l l T \ ' h i u n I ~1hnr~l1\l\'\ _ C ' - . ' l l k r i ( H · . \ l ! L u l l l L I \ i u n I : Z c : , ' - - ' i t r < : ! L I l l \ \ L i ! \ i : u 1 d . [ 7 ] S h i m a d a . N . . S h i r a i . Y . . K u n o , Y . . a n d M i u r a , J . 1 9 9 8 . " H a n d g e s t u r e e s t i m a t i o n a n d m o d e l r e f i n e m e n t u s i n g m o n o c u l a r c a m e r a - a m b i g u i t y l i m i t a t i o n b y i n e q u a l i t y c o n s t r a i n t s " I n P r o c o f A u t o m a t i c F a c e a n d G e s t u r e R e c o g n i t i o n . N a r a . J a p a n , 2 6 8 - 2 7 3 . [ 8 1 M o r r i s . D . a n d R e e h g . J . 1 9 9 8 . ' ' S i n g u l a r i t y a n a l y s i s f o r a r t i c u l a t e d o b j e c t t r a c k i n g " P r o c . o f C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , S a n t a B a r b a r a . C A . 2 8 9 - 2 9 6 [ 9 1 D a v i d c P o s t . ' ' G a i t A n a l y s i s R e v i e w " , W e b B a s e d L i t e r a t u r e \\\\~',UcJ.:c-dt~ _ _ililu;;_t_h\Sv:±_L~-~~1.L!ldC [ A c c e s s e d D e c e m b e r 1 0 , 2 0 0 9 ] j \ t l \ l Z I \ l kkis~.~..·n . . ! i l 1 5 u u r K c . . I l b r ! d m . ( i / i h c d d . · 1 _ / ( ' L ' i / ' 1 1 / i i ; u c : t , : ; ' / ! 1 , , , ! J f , > l l ! t ' c f l u n i , · , t ! . i i . ' u l I ! u n ! u i ; ' \ f m · c m e n r u n , / i l ' ( J l ! ( j.~lll , _ i l \ " l \ h l l l l ' L ' X ( i l J ' ) X ) \ t ) - 1 : \ X I I 1 \ 1 \ o a u l B c g g . i V ! a r i m u t h P a l a n i ; ; \ \ a m i . " O v a v i , ' l \ o f \ l u l · , , n ! c i l f . I n , , ; \ u l ! < i i , , , , ! l - c ' U i l ! f ' ( ' \ . . P u b l i c a t i o n : C o m p u t a l i \ l n a l I n t e l l i g e n c e [ ( ! ! ' \ I l l \ c m c n t S c ! , : I 1 C t : · , _ ' , c ' U L . ! I ' \ l . ' l \ \ ork~, a m i ( ) ( h e r l m e r g i n g I e c h n i q u c s . 2 0 0 6 . l d c ; t ( i r n u p ! m · , 4 5 1 I i , l ' - C ! l l \ l h : l \ _ · · \ l u r l c r ! , · " ! J u , , · d 1 / u n i u i t \ l o t i o n ( ' u J I ! ! f r , · I ' . . , 1 1 / \ ' c 1 \ ! l , : \ ~~- t 1 r \ ! L i p . 1 \ \ : ; k l i i ' J l l c . ' i l h : , _ · r l ! H . ' . H r u n c l l 'ni\CL~il\ _ i \ : n i d [ 1 3 \ · · 3 D V i s i o n ( P a r t / ) : G e o m e t r v j ( J r 3 D V i s i o n - - . W e b B a s e d \ \ \ \ \ \ . l l ' · . \ l l l l \ \ ' d l c _ · i ! R l 3 1 ) \ i s i t l ' • D e c e m b e r I 0 . 2 0 0 9 ] L i t e r a t u r e [ A c c e s s e d [ 1 4 ] O l i v e r F a u g e r a s . · · T h r e e D i m e n s i o n a l C o m p u t e r V i s i o n : A G e o m e t r i c A p p r o a c h . . M I T P r e s s . 1 9 9 6 . p p . 3 3 - 6 8 [ 1 5 ] R i c h a r d H a r t l e y a n d A n d r e w Z i s s e r m a n - ( 2 0 0 3 ) " M u l t i p l e V i e w G e o m e / 1 ) ' i n C o m p u t e r v i s i o n ' ' C a m b r i d g e U n i v e r s i t y P r e s s [ 1 6 1 O f f i c i a l w e b s i t e o f V i s i o n - C a l t e c h . · · C a m e r a C a l i b r a t i o n T o o l b o x . f ( J r M a t l a h . . h t t p : ' ' \ \ ' ' . \ i : - - i u l l . C : t l t c c h . c d u . h u u g u c t j [ A c c e s s e d D e c e m b e r I 0 , 2 0 0 9 ] [ 1 7 ] Z . C h a n g · · A F l e x i b l e N e w T e c h n i q u e f o r C a m e r a C a l i b r a t i o n ' ' I E E E T r a n s a c t i o n s o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e V o l . 2 2 . N o . 1 1 . P a g e s 1 3 3 0 - 1 3 3 4 . 2 0 0 0 1 8 1 T h o m a s S v o b o d a . . S o f h v a r e f h r C ' o m p l e t e C a l i b r a t i o n o f l v f u l t i - c a m e r a s : v s t e m s · · C z e c h T e c h n i c a l U n i v e r s i t y . F a c u l t y o f E l e c t r i c a l E n g i n e e r i n g . C e n t e r f o r M a c h i n e P e r c e p t i o n . P r a g u e . C z e c h R e p u b i i c ' - - - ' - ' - ' L - ' - - - ' - - " - ' - " [ 1 9 ] T . A . C l a r k e a n d J G F r y e r . . T h e D e v e l o p r n e n t o f C a m e r a C a l i b r a t i o n M e t h o d s a n d M o d e l s " , D e p a r t m e n t o f E l e c t r i c a l , E l e c t r o n i c a n d I n f o r m a t i o n E n g i n e e r i n g . C i t y U n i v e r s i t y . L o n d o n U K & D e p a r t m e n t o f C i v i l E n g i n e e r i n g a n d S u r v e y i n g , T h e U 1 i v e r s ; / ) o F \ e 1 1 c a . s l l c . A u s t r a l i a . [ 2 0 J J a n n e H e i k k i l a a n d O l l i S i l v e n , · ' A F o u r S t e p C a m e r a C a l i b r a t i o n P r o c e d u r e w i t h i m p l i c i t I m a g e C o r r e c t i o n ' ' I n f o t e c h o u l u a n d D e p a r t m e n t o f E l e c t r i c a l E n g i n e e r i n g . U n i v e r s i t y o f O u l u , F i n l a n d [ 2 1 j R . Y . T s a i . . A V e r s a t i l e C a m e r a C a l i b r a t i o n T e c ; h n i q u e j u r J L J l v l a c h m e V I s i o n . I E E E J . R o b o t i c s & A u t o m a t i o n , R A - 3 , N o . 4 , A u g u s t 1 9 8 7 , p p . 3 2 3 - 3 4 4 l 2 2 ] O f f i c i a l w e b s i t e o f . . V i c o n G r o u p ' ' b u p : \i~,·Q_!_l_.colll w e b b a s e d l i t e r a t u r e [ A c c e s s e d D e c e m b e r I 0 . 2 0 0 9 J [ 2 3 ] O f f i c i a l w e b s i t e o f . . M e / a m o t i o n P r o d u c t s ' ' h U j • : : 1 1 < . . ' 1 : 1 1 1 i < ' I L < . . : < \ 1 1 : w e b b a s e d l i t e r a t u r e [ A c c e s s e d D e c e m b e r I 0 , 2 0 0 9 ] ~~- 4 6