중소기업금융전문기관의 설립에 관한 논의가 시작된 것은 1957년 2월 임시국회에서 주식회사 농업은행을 특수은행으로 개편하기 위해 농업은행법을 의결하면서 농업은행의 도시점포는 도시중소상공업자, 서민을 위한 은행으로 분리하여 설립하고자 한 것에서부터 출발한다. 그 이후에 주식회사 중소기업은행안, 중소기업금고안, 중소기업은행안 등 구체적인 설립안이 국회에서 논의되었으나 확정되지 못했다. 1961년 5월 군사정변으로 새로이 등장한 군사정부는 중소기업전담금융기관 설립이 긴급함을 인식하고 중소기업은행법을 제정하여 1961년 6월 20일 국가재건최고회의를 거쳐 1961년 7월 1일 중소기업은행법을 공포하고, 7월 12일에는 시행령도 통과시켰다. 중소기업은행설립위원회가 설치되어 본격적인 설립 작업에 들어갔다. 1961년 8월 1일 본점을 비롯한 전국 주요도시 30개 지점이 사무를 시작하여 업무에 들어가게 되었다.

자금의 운용은 중소기업자에 대한 대출과 어음의 할인을 기본 원칙으로 하고 있다. 그러나 그 업무를 저해하지 않는 범위에서 지방자치단체, 비영리법인이나 단체, 그리고 가계 등에 대해서도 대출과 어음할인을 취급할 수 있으나, 그 취급액은 예적금 및 기타 채무증서 발행을 통해 조달한 자금과 중소기업금융채권 발행을 통하여 조달한 자금을 더한 금액에서 지급준비금을 차감한 금액의 20%을 초과하지 못하도록 되어 있다. 융자의 대상이 되는 중소기업자는 원칙적으로 중소기업기본법에서 규정한 중소기업자의 범위를 준용하고 있다. 

중소기업은행은 중소기업의 주식의 응모 인수 및 중소기업 발행 사채의 응모 인수 보증 등의 증권업무도 취급할 수 있는데, 주식의 인수는 중소기업은행의 납입자본금 범위 이내로 제한하고 있다. 1991년 중소기업법 개정으로 부수업무를 자유롭게 취급할 수 있다. 이 은행은 내외국환, 보호예수, 팩토링, 지급보증, 신탁업무, 신용카드업도 취급하고 있다. 2003년에는 여유자금에 대한 승인제도가 폐지되어 투자대상의 다양화에 대응하여 탄력적인 자금운용이 가능하게 되었다. 

이 은행은 발족 이후의 정부 중소기업진흥정책에 힘입어 자금공급의 확대와 융자조건 개선에 주력하면서 중소기업의 취약한 담보력을 감안하여 1961년에는 신용보완제도를 부분적으로 도입하고, 중소기업협동조합에 대하여 공동사업자금을 공급함으로써 공동사업을 확대하였고 자본금도 계속 증가시켰다. 정부는 1964년에 중소기업은행법을 개정하여 재원조달 기반을 강화하고 지원대상을 확대하여 중소기업은행이 성장할 수 있는 제도적 기반을 확충하였다. 1970년대에 접어들서도 정부는 중소기업은행법의 개정을 통해 중소기업금융의 대상 폭을 더욱 확대하고 자본금도 증액하고 중소기업의 범위도 확대하였다. 

정부는 대기업 중심의 중화학공업의 육성시책으로 경제력 집중이 심화되자 중소기업을 집중적으로 육성하고자 하였다. 즉 정부는 1982년 중소기업사업조정법을 개정하여 중소기업 고유업종제도를 도입하고 1983년에 유망중소기업을 발굴하여 지원하는 제도를 시행하고 중소기업의 자본시장 진출도 지원하였고, 1986년에는 중소기업창업지원법을 제정하여 창업기업에 대한 재정 금융지원을 강화하였다. 중소기업은행이 중소기업금융을 전담하는 것은 한계가 있기 때문에 1980년대 시중은행과 지방은행의 중소기업의 대출의무비율을 35%, 80% 수준으로 높였다. 1990년대에도 중소기업에 대한 금융지원 정책은 지속적으로 추진되었다. 중소기업에 대한 상업어음재할인은 여러 차례 연장되었고, 중소기업에 대한 신용대출 한도도 확대되었고, 중소기업의 담보력을 강화하기 위해 부동산취득도 완화하였다.

이와 같은 정부의 중소기업 금융지원이 강화됨에 따라 중소기업은행의 역할이 상대적으로 위축되었으나, 중소기업은행의 자금공급 대상도 확대되고 자금조달에 제한도 점차적으로 줄어들게 됨에 따라 중소기업은행이 일반은행과 업무에서 별다른 차이를 보이지 않게 되었다.