ในสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวโปรเกล้าฯ ให้ตรา “พระราชบัญญัติสำหรับกรมพระคลังมหาสมบัติแลว่าด้วยกรมต่างๆ” ประกาศในราชกิจกานุเบกษาเมื่อวันอาทิตย์เดือน 5 แรม 12 ค่ำ พ.ศ.2418 ในการนี้ ได้แยกกรมท่าออกจากกรมพระคลังและตั้งสำนักงานสำหรับงานการคลัง ณ หอรัษฎากรพิพัฒน์

            เมื่อวันที่ ๗ ตุลาคม ร.ศ.๑๐๙ (พ.ศ.๒๔๓๓) ได้มีการตราพระราชบัญญัติพระธรรมนูญหน้าที่ราชการ กระทรวงพระคลังมหาสมบัติ กำหนดให้กระทรวงพระคลังมหาสมบัติมีหน้าที่จ่ายรักษาเงินแผ่นดินทั้งสรรพราชสมบัติพัสดุทั้งปวง กับถือบัญชีพระราชทรัพย์ รับผิดชอบสำหรับแผ่นดินทั้งสิ้นและเก็บภาษีอากรเงินขึ้นแผ่นดิน โดยแบ่งงานออกเป็น 13 กรม เพื่อให้เป็นระบบระเบียบตามแบบสากล และแบ่งกรมตามภารกิจงานที่แตกต่างกันออกไปอย่างชัดเจน ประกอบด้วย

            “กรมเจ้ากระทรวง” 5 กรม ได้แก่ กรมพระคลังกลาง กรมสารบัญชี กรมตรวจ กรมเก็บ และกรมพระคลังข้างที่

            “กรมขึ้น” 8 กรม ได้แก่ กรมเจ้าจำนวนเก็บภาษีอากร 5 กรม ได้แก่ กรมส่วน กรมสรรพากร กรมสรรพภาษี กรมที่ดิน และกรมศุลกากร และกรมทำการแผ่นดิน 3 กรม ได้แก่ กรมกระสาปนสิทธิการ กรมงานพิมพ์บัตร และกรมราชพัสดุ

            “กรมสารบัญชี” หรือ กรมบัญชีกลางในปัจจุบันจึงถือกำเนิดเมื่อวันที่ 7 ตุลาคม พ.ศ.2433 มีหน้าที่สำหรับรับจ่ายเงินแผ่นดิน และถือสารบาญชีพระราชทรัพย์ทั้งหมด โดยมีอธิบดีรับผิดชอบการทั้งปวง มีรองอธิบดีสำหรับช่วยการแทน และมีนายเวร 4 นาย คือ เวรรับ เวรจ่าย เวรแบงก์ และเวรบาญชี

            ต่อมา เมื่อวันที่ 13 ธันวาคม พ.ศ.2433 พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวจึงโปรดเกล้าฯให้ตราพระราชบัญญัติกรมสารบาญชีขึ้น โดยแบ่งเป็น 3 กอง ประกอบด้วย กองบาญชีกลาง กองรับ และกองจ่าย กับหน้าที่ 4 นายเวร คือ เวรรับ เวรจ่าย เวรเกณฑ์ (เวรแบงก์เดิม) และเวรบาญชีเพื่อกำหนดหน้าที่ภายในกรมให้เป็นสัดส่วน ชัดเจนและเหมาะสมขึ้น

            ครั้งถึงในสมัยพระบาทสมเด็จพระมงกุฏเกล้าเจ้าอยู่หัว ได้โปรดเกล้าฯให้ตั้งกรมตรวจเงินแผ่นดินขึ้นในกระทรวงพระคลังมหาสมบัติเมื่อ พ.ศ.2458 โดยให้รวม “กรมตรวจ” และ “กรมสารบาญชี” เข้าด้วยกัน และเปลี่ยนชื่อเป็น “กรมบาญชีกลาง” เมื่อวันที่ 18 กันยายน พ.ศ.2458 ในคราวนี้ทำให้กรมบาญชีกลางมีภารกิจหนักขึ้น โดยเป็นทั้งผู้รวบรวมประมวลบัญชีเงินรายได้และรายจ่ายของแผ่นดิน วางรูปและแนะนำการบัญชีแก่เจ้าหน้าที่ที่ทำการเบิกจ่าย เก็บเงินผลประโยชน์ รักษาเงินแผ่นดิน สอบสวน การเบิกจ่ายในราชการแผ่นดิน รวมถึงการสอบสวนและตักเตือนเจ้าหน้าที่ต่างๆ ที่ทำการเก็บเงินผลประโยชน์รายได้ของแผ่นดินนำส่งพระคลัง

            เมื่อวันที่ ๒๓ พฤษภาคม พ.ศ.๒๔๗๖ ตามพระราชกฤษฎีกาจัดวางระเบียบกรมในกระทรวงพระคลัง ได้เปลี่ยนชื่อ กรมบาญชีกลาง เป็น “กรมบัญชีกลาง” สำหรับหน้าที่ของกรมบัญชีกลางนั้น รับผิดชอบการควบคุมงบประมาณการตรวจจ่ายเงิน ประเภทต่างๆ รวมทั้งควบคุมการรับเงินรายได้แผ่นดิน การทำบัญชีและรายงาน ตลอดจนการให้บริการด้านแนะนำและวางรูปบัญชีแก่ส่วนราชการ และในส่วนภูมิภาคนั้นได้กำหนดให้มี “คลังจังหวัด (changwad Treasuries)” ขึ้นเป็นครั้งแรก (ยกเว้นจังหวัดพระนครและจังหวัดธนบุรี) คลังจังหวัดรับผิดชอบควบคุมการรับและจ่ายเงินตลอดจนทำบัญชีและรายงานต่างๆเสนอกรม และในปี พ.ศ.2516 ได้เปลี่ยนชื่อคลังจังหวัดเป็น “สำนักงานคลังจังหวัด” เป็นส่วนราชการส่วนภูมิภาคสังกัดกรมบัญชีกลาง กระทรวงการคลัง มีสัญลักษณ์เป็นรูปนกวายุภักษ์

            ต่อมากฏกระทรวงแบ่งส่วนราชการกรมบัญชี กระทรวงการคลัง พ.ศ.2557 กำหนดนหน้าที่ความรับผิดชอบของกรมบัญชีกลาง ให้มีภารกิจเกี่ยวกับการควบคุมดูการใช้จ่ายเงิของแผ่นดิน และของหน่วยงานภาครัญให้เป็นไปโดยถูกต้อง มีวินัย คุ้มค่า โปร่งใส และสามารถตรวจสอบได้ โดยวางกรอบหลักเกณฑ์กลางให้หน่วยงานภาครัฐถือปฏิบัติ การให้บริการคำแนะนำปรึกษาด้านการเงิน การคลัง การบัญชี การตรวจสอบภายใน การบริหารเงินนอกงบประมาณ และการพัสดุภาครัฐ การดำเนินการเกี่ยวับเงินคงคลังให้มีใช้จ่ายอย่างเพียงพอ และการเสนอข้อมูลในเชิงนโยบายการคลังแก่ฝ่ายบริหารโดยประสานงานกับหน่วยงานที่เกี่ยวข้อเพื่อให้เกิดเสถียรภาพทางการคลัง รวมทั้งดำเนินการเก่ยวกับการประเมินผลการคลังภาครัฐ การกำกับดูแลนโยบาลและมาตรฐานค่าตอบแทนสวัสดิการ และสิทธิประโยชน์ของบุคลกากรภาครัฐ

            สำนักงานคลังจังหวัดเพชรบุรี เป็นส่วนราชการภูมิภาคในสังกัดกรมบัญชีกลาง กระทรวงการคลัง ตั้งอยู่ที่ ศาลากลางจังหวัดเพชรบุรี ถนนราชวิถี ตำบลคลองกระแชง อำเภอเมือง จังหวัดเพชรบุรี 76000 มีหน้าที่ความรับผิดชอบตามภารกิจของกรมบัญชีกลางในระดับจังหวัด โดยมีโครงสร้างการบริหารงานเป็น 3 กลุ่มงาน กับอีก 1 ฝ่าย คือ กลุ่มงานวิชาการ  กลุ่มงานระบบการคลัง  กลุ่มงานนโยบายและเศรษฐกิจจังหวัด และฝ่ายบริหารทั่วไป