L'architettura H.323 è composta dai seguenti elementi:
Terminale: ne è l'elemento minimo, poiché consente la comunicazione in real-time con gli altri terminali; è composto da un audio codec, un video codec, un receive path delay (per la sincronizzazione audio e video), un'unità di controllo di sistema (che riceve, elabora e trasmette i messaggi relativi ai controlli) ed un "livello H.255.0" (che è lo strumento attraverso il quale l'audio, il video, i dati ed i controlli vengono regolarmente associati, codificati, decodificati e divisi in pacchetti per il trasferimento);
Gateway: è l'interfaccia tra i servizi offerti da un'architettura H.323 ed un'altra presente su una rete diversa;
Gate Keeper: si occupa delle funzionalità per il controllo di chiamata, e consente, tra l'altro, di gestire gli accessi alla rete e la traduzione degli indirizzi;
MCU (Multipoint Control Unit) si utilizza esclusivamente per le conversazioni multi-utente.