O software que controla o dispositivo Kinect consegue acessar um enorme banco de dados de informações coletadas de cenários reais. Esta vasta coleção de dados de amostra é o que permite ao Kinect reconhecer pessoas de diferentes alturas, idades e tamanhos corporais, usando roupas diferentes. Todo Kinect recorre aos servidores de processamento de dados da Microsoft para ajudar a interpretar o que vê e produzir a resposta correta.
Os três componentes-chave do Xbox Kinect são: câmera de vídeo VGA com resolução de 640x480 pixels, sensor de profundidade e microfone multi-array. O sensor de profundidade possui sensor CMOS monocromático e projetor infravermelho, ambos usados para criar um mapa 3D do que está na sala — luz invisível é projetada do Kinect, que mede o tempo de retorno para calcular distâncias.
O Xbox Kinect mede profundidades com precisão de 1 cm, e altura e largura dentro de 3 mm. Informações de profundidade e cor são usadas juntas para melhor reconhecer onde partes do corpo e objetos começam e terminam. O sensor também usa informações do app ou jogo em execução — se assistindo Netflix, busca gestos de navegação; se jogando jogo de dança, busca esse tipo de movimento. O Kinect também consegue reconhecer e distinguir rostos.
A PrimeSense desenvolveu originalmente a tecnologia bruta licenciada à Microsoft para basear o sensor de movimento Kinect. O trabalho da empresa baseou-se em métodos existentes de time of flight, codificando dados nos fluxos infravermelhos para obter imagem mais precisa no retorno. Objetos na sala criam deformações na luz refletida, dando ao Kinect dados para detectar formas e pessoas. O sensor busca primeiro torsos humanos, depois braços e pernas, e tenta prever onde estas partes estarão em alguns microssegundos, além de onde estão agora.