1969年12月，张光年作为中央专案组“审查对象”，下放到向阳湖接受“劳动改造”。此时他已有56岁，身体状况很差，失眠、肝炎、胃溃疡、痔疮频繁干扰，但挖渠、挑泥、筛沙、割麦等强度劳动他都要参加，因左臂有伤残，行动容易失去平衡，所以在劳动中经常掉进水里、倒在地上，闹出笑话。

  劳动辛苦，生活艰难，这些他都能咬牙坚持，但让他不能忍受，感到最痛最苦的还是没完没了的批斗，他在《回忆老友陈白尘》一文中写道：“在下放干校之前的批判斗争是十天八天一次，专案组的提审训斥三天五天一次，到干校后，则是朝会批，夕会批，田头批，随时随地批……”

  在向阳湖，他一举一动都受到监督。他在班、排、连、大队、校部等层次的批斗会上作过无数次“检讨”，也向组织写过无数次思想汇报，但总有人说他不深刻、不彻底，不能让他过关。因他有“问题”，全家都受到株连。先是远在乌鲁木齐市教书的小妹张惠芳，不堪凌辱而自杀身亡；稍后是衰老怕事的父亲，因两次抄家受惊及其他变故忧惧病倒，导致脑血栓发作逝世；接着是大妹张莲、创作剧本《最后一幕》的二妹兰先被打成文艺黑线；再就是弟弟张文华因冤案错判在沙洋农场劳改，一直不能平反；儿女们因为他的“问题”不能报考升学、不能加入共青团而受到歧视——精神受到重大打击的女儿写信到向阳湖说：“亲爱的爸爸：您的女儿长大了。您要有什么事，不要瞒着我。”收到信后，他泪流满面，无言以答。

  1970年盛夏，干校开展大批判，主要批张光年所写的《黄河大合唱》，说是宣扬国防文学和投降路线的“黑标本”，为此，专案组年复一年、月复一月地追查、逼供和取证。当然也有同情者给他关爱、照顾。有次批斗会头天晚上，被安排发言的人主动来问他，如何应付上面的要求。张光年说你就按照《红旗》上的话重复一下不就行了吗？后来，批来批去批油了，每次批斗《黄河大合唱》要他检讨，他就将《红旗》上批判的语言重复说一番，居然多次蒙混“过关”。