중일전쟁 이전 중국 본토에서 활동한 독립운동가들은 국민당 정부와 우호적인 관계를 맺고 있는 김구나 김원봉의 진영에 들어가 국민당의 경제적인 도움을 받았다.

애국단, 한국국민당, 의열단, 민족혁명당 등은 구성원 전체의 민주적 합의에 의해 운영되기보다 김구나 김원봉의 의사대로 운영되는 편이었다.

이에 박건웅은 부분적, 비밀적, 단속적 형태의 활동을 전면적, 공개적, 지속적으로 바꾸어야 한다고 주장하였다. 그리하여 박건웅은 국민당 정부에 조선의 독립을 위한 통일적 정책을 세우라고 요구하였다.

박건웅의 중국인 친구 나청도 '조선민족전선'에 기고하여 중한 연합전선의 필요성을 주장하며 이는 '평등 합작'과 '통일 지도'가 중요하다고 하였다. 즉, 조선인들이 자주적으로 혁명을 이끌고 국민당정부는 이를 민족단위의 전면적 연합으로 간주하여야 한다는 것이다.

국공합작후 공산주의단들이 팔로군을 형성하였듯이 조선민족도 독립된 부대를 조직해야 한다는 것이다.

일본인 반전운동가 아오야마 가즈오(靑山和夫)가 조선의용대조직계획방안을 작성해서 국제문제연구소장 왕봉생, 정치부장 진성, 부부장 주은래와 장여생, 정치부 제2청장 강택, 정치부 비서장 하충한 및 군사위원회 위원장 장개석의 동의를 얻어냈다.

아오야마 가즈오의 초안에는 100명 정도의 조선인 독립부대를 창설하여 조직 중인 '일본,조선,대만 반파시스트동맹'의 중앙집행위원회가 지도하는 것으로 되어있었다. 그래서 조선의용대는 국제의용군이라고도 불렸다.

국민당정부에서 후원하였으며 제1지대와 제2지대를 나누어 활동하였다. 김원봉, 최창익, 김성숙, 유자명 등이 군사위원회 정치부원으로 참여하였다.

제1지대는 박효삼, 제2지대는 이익성이 맡았다. 제1지대는 민족혁명당 당원 등 42명으로, 제2지대는 전위동맹 중심의 74명으로 창설되었다.

최고기관은 지도위원회로 이춘암, 김성숙, 최창익, 유자명 그리고 정치부원 2인으로 편성되었다.