ご質問をいただきありがとうございます。
以下、講師からの回答をお伝えします。
-----
非常に有益なご指摘でした。感謝申し上げます。
問題と解答例がかみ合っていないので問題の訂正をしなければいけません。

まず、問題文中の前訴において「裁判所がYの弁済の抗弁が認め、Xの請求を棄却し」を、「弁済の抗弁が認められず、Xの請求を認容し」に修正します。これにより答案例はそのままで問題なしになります。

質問2のような理由で遮断されると言う理解で問題ありません。

その理由は、前訴における「（契約は有効だから）代金支払請求権がある」と言う判断と、後訴における「（無効だから）原状回復せよ＝払った金返せ」と言う主張は、内容的に「矛盾する」ので、後訴に既判力が及ぶことになります（後訴においては、「代金支払請求権は認められる」と言う判断と矛盾する主張ができなくなるということ）。

問題文を現状のままとした場合の処理は、以下の通りになります。
・前訴の既判力は「代金支払請求権の不存在」に生じる。
・後訴の「契約無効に基づく原状回復請求権（「代金支払請求権は不存在」なのに払ってしまったから）」と内容的に矛盾しない。
・前訴後訴は、矛盾関係にないので既判力は作用しない。
・しかし、後訴における「契約の無効主張」が実質的に前訴の蒸し返しになる場合には認めるべきではない。
・そこで「信義則」で「契約無効の主張」をすることは許されない。
と言う流れになります。