กรมบัญชีกลางแต่เดิมนั้นมีเชื่อเรียกว่า กรมสารบาญชี ก่อตั้งเมื่อวันที่ 7 ตุลาคม พ.ศ. 2433 มีหน้าที่สำคัญ คือ รับ-จ่ายเงินแผ่นดินแลถือทำสรรพบาญชีพระราชทรัพย์ทั้งสิ้น ต่อมาได้เปลี่ยนนามใหม่เป็น กรมบัญชีกลาง เมื่อวันที่ 18 กันยายน พ.ศ. 2458 โดยผลของการ รวมกรมตรวจและกรมสารบัญชีเข้าร่วมกันและมีการเปลี่ยนนามอีกครั้ง ตามประกาศพระราชกฤษฎีกาัจัดวางระเบียบกรมในกระทรวงการคลัง เมื่อวันที่ 23 พฤษภาคม ระบุนามกรมบัญชีกลาง เป็น กรมบัญชีกลาง จนถึงปัจจุับันในปี พ.ศ. 2476 มีพระราชกฤษฎีกา จัดวางระเบียบราชการสำนักงานและกรมในกระทรวงการคลังขึ้นใหม่ โดยประกาศราชกิจจานุเบกษาเมื่อวันที่ 30 มกราคม พ.ศ. 2476 แบ่งส่วนรชการกรมบัญชีกลางเป็นราชการบริหารส่วนกลาง ในส่วนภูมิภาคนั้นได้กำหนดให้มี คลังจังหวัดตาก "(Changwad Treasuries)" ขึ้นเป็นครั้งแรก โดยกำหนดให้คลังจังหวัด มีหน้าที่ดังต่อไปนี้

            -  ทำการตรวจจ่ายเงินไปตามฎีกาที่ตั้งเบิก

            -  เก็บรักษาเงินแผ่นดินและสมบัติทางราชการ

            -  เก็บรักษาและจำหน่ายแสตมป์ฤชากร

            -  รับเงินผลประโยชน์ที่เจ้าหน้าที่ต่าง ๆ นำส่ง

            -  เก็บรักษาฝิ่นและจำหน่ายฝิ่นตามระเบียบที่กรมสรรพสามิตจะได้วางไว้

            -  ทำการจ่ายแลกธนบัตรและเหรียญปลีกให้แก่ประชาชน

            -  นำเงินส่งธนารักษ์และเบิกเงินสำรองจ่าย

            -  ทำบัญชีให้เป็นหลักฐานและทำงบเดือนส่งกรมบัญชีกลาง

            -  ทำการโอนเงินให้แก่ประชาชน (เงินขายบิล)

            ในปี พ.ศ. 2481 ได้มีพระราชกฤษฎีกาจัดวางระเบียบราชการสำนักงานและกรมในกระทรวงการคลังขึ้น โดยมีประกาศราชกิจจานุเบกษา เมื่อวันที่ 19 สิงหาคม 2481 ให้เติมคำว่า "คลังอำเภอ" (Amphur Treasuries) ต่อจากคำว่า "คลังจังหวัด" อีกส่วนหนึ่ง สืบเนื่องจากข้าหลวงตรวจการคลังได้ออกตรวจราชการคลังจังหวัดต่าง ๆ ในปี พ.ศ. 2480 พบว่าที่ทำการอำเภอบางแห่งได้ัรับเงิน ผลประโยชน์จำนวนมาก แต่ทางการได้กำหนดวงเงินที่จะเก็บรักษาไว้ได้ ที่อำเภอนั้นเป็นจำนวนเพียงเล็กน้อย ทำให้ต้องย้านตัวเงิน นำส่งคลังจังหวัดบ่อย ๆ ไม่เป็นการปลอดภัยในระหว่างเดินทาง ประกอบกับประชาชนไม่ได้รับความสะดวกในการแลกเปลี่ยนเงินด้วย เหตุผลดังกล่าวจึงได้มีการเสนอให้ตั้งคลังอำเภอขึ้น เพื่อปฏิบัติการรับจ่ายและทำการแลกเปลี่ยนเงินทำนองเดียวกับคลังจังหวัด โดยใน ชั้นแรกจะเริ่มตั้งคลังอำเภอขึ้น 3 แห่งก่อน คือ อำเภอเบตง จังหวัดยะลา, อำเภอแม่สอด จังหวัดตาก, อำเภอปากพนัง จังหวัดนครศรีธรรมราช (ตามหนังสือกรมบัญชีกลางที่ บ.5548/2481 ลงวันที่ 13 สิงหาคม 2481)