군사정전위원회는 휴전협정의 이행을 감독하며 위반 사건을 협의 처리하는 공동 기구로서 기능하였다. 즉, (1) 정전협정 이행 감독, (2) 정전협정 위반 사건의 협의 및 처리, (3) 군정위 본회의 및 기타 회의 준비, (4) 정전협정의 수정 및 증보에 관해 건의, (5) 필요한 절차 및 규정 채택, (6) 포로 및 유해 송환업무 처리, (7) 공동감시소조(JOT) 운영, (8) 쌍방 최고사령관들 간의 대화통로 유지 등의 임무와 기능을 수행해왔다. 군정위는 10명의 고급 장교로 구성되며, 쌍방이 각기 5명씩 임명하되 5명 중 3명은 장성급으로 하고 나머지 2명은 대령급 이상인 자로 임명할 수 있게 하였다. 아울러 동 위원회는 처음에 10개의 감시소조를 두어 그 협조를 받기로 하였다. 공동감시소조의 수는 4명 내지 6명의 영관장교로 구성하되 쌍방이 각기 반수씩 임명하도록 하였으며, 감시소조의 사업상 필요한 운전수, 서기, 통역 등의 부속 인원을 쌍방이 제공하기로 하였다.
군정위는 휴전협정의 실시를 감시하며 협정의 어떠한 위반사건이라도 협의를 통해 처리하는 것이었다. 또한 공동 감시소조를 통해 비무장지대로부터 부대의 철수와 철수 후 45일 이내에 모든 폭발물, 지뢰원, 철조망 및 기타 위험물의 제거여부를 감독함에 있어 유용한 일들을 수행하였다. 만일 쌍방의 동의 없이 철거를 연기할 합당한 이유 없이 기한을 넘기는 경우에는 필요한 모든 조치를 취할 권리가 있었다.
한편 한반도에서 새로이 군사력을 증강시키는 것을 금지시키는 것은 4개국으로 구성된 중립국감시위원회(NNSC: Neutral Nations Supervisory Commission)의 과업이었다. 스위스, 스웨덴, 폴란드, 체코슬로바키아 4개국으로 구성된 중립국감시위원회는 지정된 남북한 각 5개 출입항(한국의 인천·대구·부산·강릉·군산과 북한의 신의주·청진·흥남·만포·신안주)을 경유하여 교체되는 병력, 군사 장비 및 탄약에 대한 감독·감시·시찰 그리고 조사를 실시하여 그 결과를 군사정전위원회에 보고하는 공동 기구이다. 본 위원회는 4명의 고급 장교로 구성되며, 그 중 2명은 유엔군에서 지명한 중립국인 스위스와 스웨덴이 임명하고 다른 2명은 공산군에서 지명한 폴란드와 체코슬로바키아가 임명했다.
중립국감시위원회는 본부를 군사정전위원회 본부 부근에 설치하며, 주요 임무는 위원 및 중립국 감시 소조를 통하여 지정된 출입항에서 군사 인원과 작전비행기, 장갑차량, 무기 및 탄약의 반입을 규제하기 위한 감독과 시찰을 진행하며 또 휴전협정 위반사건이 발생하였다고 보고된 지점에서 특별 감시와 시찰을 진행하는 것이었다. 병력과 장비 등의 교체가 필요한 경우에는 휴전협정에 열거된 출입항을 경유하여서만 입출이 허용되었다.
또 협정 위반사건이 보고된 경우 협정의 범위 내에서 지체 없이 조사하며, 이에는 군사정전위원회 또는 동 위원회 중의 어느 일방 수석위원이 요청하는 보고된 휴전협정 위반사건에 대한 조사를 포함하였다. 위원회의 활동에 대한 제한이 날이 갈수록 커지게 되자 이때까지 인내를 거듭하여 온 스위스와 스웨덴 대표도 1954년 3월 39일에 이러서는 그 불만의 뜻을 공식적으로 유엔에 제기하였고, 4월 5일에는 감시를 위한 노력이 완전히 좌절되었음을 발표하였다. 이어서 5월 13일 스위스와 스웨덴 양국 대표는 군사정전위원회의 유엔 측 대표에게 보낸 서한에서 공산 측의 위반 사실 조사를 요구한 유엔 측의 요청이 체코와 폴란드 대표에 의해서 거부된 사실을 밝히고 앞으로는 북한에 대한 감시의 실패에 대하여 일체 책임질 수 없음을 부언하였다. 이리하여 양국 대표는 제네바 극동 평화회의에 항의서를 제출하고 그들 자신을 북한에 대한 감시라는 불가능한 과업으로부터 해제시켜 줄 것을 요구하게 되었다. 이로써 휴전협정에 입각한 휴전 감시 규정은 현실적으로 거의 사문화되고 말았다. 이에 따라 유엔군사령부는 1957년에 이르러 마침내 “향후부터 남한으로의 군수물자 도입 금지 조항을 무시할 것이며, 제8군과 한국 육군의 증강을 추진할 것”이라는 내용을 발표하였다. 이와 같이 휴전협정에 따라 설치된 군사정전위원회·중립국감시위원회 등의 휴전 관리기구가 활동을 개시하면서 휴전협정 이행을 감시하며 포로송환을 비롯한 관련 사항들의 구체적인 방법과 절차를 논의하기 시작하였다.
휴전협정이 발효된 이래 1985년 말까지 쌍방이 주장한 휴전협정 위반사건의 수는 모두 13만 3,075건으로 이 가운데 북한 측이 주장한 유엔군 측 휴전협정 위반 건수는 4만 2,303건이고 유엔군 측이 제시한 공산군 측의 위반건수는 9만 772건 이었다. 군사정전위원회는 이러한 사건들을 토의하기 위하여 모두 423차의 본회담과 472차의 비서장회의를 개최하였다. 북한은 휴전 직후에 발생한 단 2건의 위반사실만을 시인했을 뿐, 나머지는 부인했다. 군사정전위원회가 개최될 때마다 북한 측은 유엔군 측이 제시하는 뚜렷한 증거자료에도 불구하고 휴전협정 위반 사실과 그에 대한 책임을 부인하였고, 유엔군 측의 날조행위라고 주장했다.
군정위는 북한 측의 무성의한 자세와 무책임한 태도로 말미암아 활동과 기능이 상당한 제약을 받아왔음에도 불구하고 쌍방의 직·간접적인 의사전달기구 구실을 담당함으로써 남북한 간의 전면적인 무력대결을 억제하고 한반도 정세의 안정에 기여해 왔다. 중대한 휴전협정 위반사실이 발생하거나 고도의 긴장상태가 조성될 때마다 군정위는 쌍방 공식 대화의 유일한 창구가 됨으로써 비록 불완전하나마 그러한 사태들이 전면 무력 충돌로 확대되는 것을 막아주는 안전장치의 역할을 하였다.