Para corregir el error en S.O Windows, se debe agregar o modificar la siguientes linea
>>> set JAVA_OPTS=%JAVA_OPTS% -Xms2048m -Xmx3072m -XX:PermSize=1024m -XX:MaxPermSize=2048m -Xss2m -XX:+UseCompressedOoops -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled
en el archivo "catalina.bat" del jasper server: por ejemplo >>> C:\Jaspersoft\jasperreports-server-cp-5.6.1\apache-tomcat\bin\catalina.bat
