LambdaのInvoketypeとRetryについて

Question

###概要
API Gateway経由でLambda関数の実行時。失敗時はリトライが3回関数が実行されるかと思います。
このリトライを無くすためには、invoketypeをeventからinvokeに変更すれば失敗時にリトライが行われないと読みました。
そこで下記のようにtemplate.yamlを書きましたが未だリトライが3回行われます。

  TestSh:
    Type: 'AWS::Serverless::Function'
    Properties:
      Description: 'テスト関数'
      CodeUri: src/functions/reactive/Test_Sh
      Timeout: 300
      Role: !GetAtt SSMIamRole.Arn
      Environment:
        Variables:
          SLACK_URL: !Ref SlackUrl
  TestShPermission:
    Type: 'AWS::Lambda::Permission'
    Properties:
      Action: lambda:InvokeFunction // この部分を書き足しました。
      FunctionName: !Ref TestSh
      Principal: apigateway.amazonaws.com

###質問
Lambda関数が失敗時にリトライさせないようにしたいと思います。
template.yamlにinvoketypeを指定するだけではダメなのでしょうか？

宜しくお願い致します。