此项专利的摘要表明，武汉云片松科技采用了一种新型的图形用户界面（GUI）代码自动生成方式。其技术核心在于获取UI界面图像训练数据和相应的UI代码，通过初始代码生成模型的训练来实现自动化生成。这一模型由多个模块构成，包括语言模块、视觉模块、以及多模态信息融合模块，这样的设计有效结合了图像与代码特点，有助于提高GUI代码生成的准确性。

2025年2月17日消息，微软近日发布了最新版本的OmniParser ...

然而，这些传统方法大多采用“逐步GUI智能体”方式，频繁查询GUI状态，依赖云端模型进行决策，这不仅带来了隐私和安全问题，还增加了用户端 ...