用于渲染数据的预加载的输入预测的制作方法

背景技术：1、2.相关技术描述2、多年来，视频游戏行业经历了许多改变。具体地，多年来，虚拟现实(vr)游戏行业取得了巨大的增长并预计将继续以复合年增长率增长。vr游戏可为玩家提供沉浸式体验，让玩家沉浸在三维(3d)人工环境中，同时与向玩家介绍的vr游戏场景交互。vr游戏行业的增长趋势是改进和开发将增强vr游戏的体验的独特方式。3、例如，在玩家的游戏玩法期间并当玩家沉浸在vr环境中时，玩家可探索vr环境中的各种虚拟对象并与之交互。在某些情况下，在玩家浏览vr场景并与vr场景中的虚拟对象交互时，玩家可能会遇到对vr场景的渲染的延迟，这是因为图形非常详细，需要大量计算资源来渲染虚拟对象并确保在玩家与vr场景的交互中的平滑过渡。不幸地，一些玩家可能觉得对vr场景的渲染的延迟很烦人并造成vr体验不真实。因此，玩家可能无法得到完全沉浸式vr体验，这可能造成玩家不想继续他们的游戏玩法。4、正是在此背景下，提出了本公开的实现方式。技术实现思路1、本公开的实现方式包括与获取图形数据来渲染呈现在显示器上的游戏场景有关的方法、系统和设备。在一些实施方案中，公开了实现基于玩(vr)视频游戏的用户的游戏动作和姿势来获取图形数据并将其加载到系统存储器中的方法。例如，玩vr视频游戏的用户可沉浸在vr游戏的vr环境中。在用户的游戏玩法期间，在用户在与vr场景交互时执行各种游戏动作时，用户的游戏动作可推断并有助于预测用户关注场景内的特定内容项并对与特定内容项交互感兴趣。在一个示例中，游戏动作，诸如用户的眼睛注视和用户的姿势(例如，头部移动、手部移动、身体移动、位置、身体语言信号等)，可指示用户对与游戏场景中的特定内容项交互感兴趣。2、因此，在一个实施方案中，系统被配置为处理用户的眼睛注视和姿势以生成与内容项的交互预测。在所生成的交互预测的情况下，该系统可包括预取操作，该预取操作被配置为在预期用户与内容项交互的情况下预取与内容项相关联的图形数据并将该图形数据加载到系统存储器中。由于分析并跟踪用户的游戏动作以识别用户可能感兴趣的内容项，因此本文公开的方法概述了在预期用户与内容项交互的情况下获取与特定内容项相关联的图形数据并将图形数据加载到系统存储器中的方式。因此，通过使图形数据存储在系统存储器中，该图形数据可供系统快速地访问并用于渲染内容项或渲染关于内容项的附加细节以增强图像质量。这样，当系统渲染特定内容项时，可消除延迟。3、在一个实施方案中，提供了一种用于获取图形数据来渲染呈现在显示设备上的场景的方法。该方法包括在用户正在与场景交互时接收用户的眼睛的注视信息。该方法包括在用户正在与场景交互时跟踪用户的姿势。该方法包括将场景中的内容项识别为用户的潜在交互焦点。该方法包括处理用户的注视信息和姿势以生成用户与内容项的交互预测。该方法包括在预期用户与内容项交互的情况下处理预取操作以访问图形数据并将其加载到系统存储器中。这样，当基于用户的游戏动作(例如，眼睛注视、姿势等)来确定与场景中的内容项的交互预测时，可将与内容项相关联的图形数据加载到系统存储器中并可将其用于内容项的进一步渲染，这可有助于消除在用户与游戏场景中的内容项交互时的延迟。4、在另一个实施方案中，提供了一种用于获取图形数据以渲染呈现在显示器上的场景的系统。该系统包括由服务器在用户正在与场景交互时接收用户的眼睛的注视信息。该系统包括由服务器在用户正在与场景交互时跟踪用户的姿势。该系统包括由服务器将场景中的内容项识别为用户的潜在交互焦点。该系统包括由服务器处理用户的注视信息和姿势以生成用户与内容项的交互预测。该系统包括由服务器在预期用户与内容项交互的情况下处理预取操作以访问图形数据并将其加载到系统存储器中。5、通过以下结合附图进行的以举例方式说明本公开原理的详细描述，本公开的其他方面和优点将变得显而易见。技术特征：1.一种用于获取图形数据来渲染呈现在显示器上的场景的方法，所述方法包括：2.如权利要求1所述的方法，其中基于对所述预测的更新来调整所述预取操作以增加或减少要访问并加载到所述系统存储器中的所述图形数据的量。3.如权利要求1所述的方法，其中部分地使用随时间推移训练的行为模型来处理所述交互预测以预测所述用户与所述内容项或另一个内容项交互的可能性。4.如权利要求1所述的方法，其中所述图形数据用于渲染所述场景中的所述内容项以提高最初以较低图像质量呈现在所述场景中的所述内容项的图像质量。5.如权利要求4所述的方法，其中用于所述内容项的所述渲染的所述图形数据的量是基于所述用户相对于所述内容项的距离。6.如权利要求5所述的方法，其中用于所述内容项的所述渲染的所述图形数据的所述量是基于所述用户的眼睛注视维持在所述内容项上的时间长度。7.如权利要求6所述的方法，其中基于获知所述用户先前已经与所述场景中的所述内容项交互来动态地调整用于所述渲染的所述图形数据的所述量。8.如权利要求1所述的方法，其中所述图形数据用于在预期所述用户与所述场景中的另一个内容项交互的情况下渲染所述另一个内容项。9.如权利要求1所述的方法，其中所述用户的所述姿势是头部移动、手部移动、身体移动、所述用户相对于所述内容项的位置、身体语言信号或它们中的两者或更多者的组合。10.如权利要求1所述的方法，其中所述注视信息包括所述用户的眼睛注视、瞳孔大小、眼睛移动或它们中的两者或更多者的组合。11.如权利要求1所述的方法，其中所述图形数据包括与所识别的内容项有关的信息，所述信息包括粗糙度、曲率、几何形状、顶点、深度、颜色、光照、阴影、纹理或它们中的两者或更多者的组合。12.如权利要求1所述的方法，所述方法还包括：13.如权利要求1所述的方法，所述方法还包括：14.如权利要求1所述的方法，其中与所述内容项的所述交互预测是基于通过行为模型来处理所述注视信息、所述姿势和交互数据，所述行为模型被配置为识别所述注视信息、所述姿势和所述交互数据之间的关系以生成与所述内容项的所述交互预测。15.一种用于获取图形数据来渲染呈现在显示器上的场景的系统，所述系统包括：16.如权利要求15所述的系统，其中基于对所述预测的更新来调整所述预取操作以增加或减少要访问并加载到所述系统存储器中的所述图形数据的量。17.如权利要求15所述的系统，其中部分地使用随时间推移训练的行为模型来处理所述交互预测以预测所述用户与所述内容项或另一个内容项交互的可能性。18.如权利要求15所述的系统，其中所述图形数据用于渲染所述场景中的所述内容项以提高最初以较低图像质量呈现在所述场景中的所述内容项的图像质量。19.如权利要求15所述的系统，所述系统还包括：20.如权利要求15所述的系统，其中与所述内容项的所述交互预测是基于通过行为模型来处理所述注视信息、所述姿势和交互数据，所述行为模型被配置为识别所述注视信息、所述姿势和所述交互数据之间的关系以生成与所述内容项的所述交互预测。技术总结提供了用于获取图形数据来渲染呈现在显示设备上的场景的方法和系统。所述方法包括在用户正在与所述场景交互时接收所述用户的眼睛的注视信息。所述方法包括在所述用户正在与所述场景交互时跟踪所述用户的姿势。所述方法包括将所述场景中的内容项识别为所述用户的潜在交互焦点。所述方法包括处理所述用户的所述注视信息和所述姿势以生成所述用户与所述内容项的交互预测。所述方法包括在预期所述用户与所述内容项交互的情况下处理预取操作以访问所述图形数据并将其加载到系统存储器中。这样，当基于所述用户的游戏动作(例如，眼睛注视、姿势等)来确定与所述场景中的内容项的交互预测时，可将与所述内容项相关联的图形数据加载到所述系统存储器中并可将其用于所述内容项的进一步渲染，这可有助于消除在所述用户与所述游戏场景中的所述内容项交互时的延迟。技术研发人员：B·H·罗特勒,S·特龙贝塔受保护的技术使用者：索尼互动娱乐有限责任公司技术研发日：技术公布日：2024/6/30