早在1999年广州市就有过水务改革的想法，广州市政府研究室曾组织相关人员到北京市、宁波市和上海市等地调研水务改革的经验，于2000年提交了关于水务改革的报告。2006年，具有丰富水利管理经验的广州市新任副市长苏泽群分管水利工作，针对水利中防洪防汛具有半军事化的特点，以及城市污水治理难度大的现实困境，组织筹划水务改革方案。后由广州市编办和广州市政府办公室联合组织了大范围的调研活动，2007年7月水务改革报告出台，当年10月7日广州市决定成立广州市水务局。
根据党中央、国务院关于深化行政管理体制改革和党的十五届五中全会关于“改革水的管理体制”精神以及国家水利部制定的《深化水务管理体制改革指导意见》、广东省机构编制委员会《关于组建广州市水务局的函》（粤机编〔2007〕13号），为提高市政府对全市涉水事务的综合统筹能力和行政管理效率，适应经济社会发展和现代化大都市建设的要求，广州市人民政府办公厅于2008年1月16日颁布了《广州市水务管理体制改革实施方案》（穗府办〔2008〕3号），大水务改革方案正式出台。2008年1月15日广州市水务局正式挂牌，《广州市水务局主要职责内设机构和人员编制规定》（穗府办〔2010〕36号）规定，市水务局机关行政编制103名。50042428
广州市水务局整合了原水利局和原市政园林局部分职能，是广州大部制改革中起步最早的部门。广州市大水务改革以统一管理区域涉水事务为标志，理顺水务管理职能和部门关系成为本次改革的重中之重。