🌟加入会员后，本站所有内容免费下载，且永久使用！🎉 在个人中心每日签到可白嫖会员！🎁 成为合伙人，免费获取永久会员！
Omost:不用写Prompt了，一句话生成精美图片！
最近，ControlNET的作者团队lllyasviel开源了一个名为Omost的项目。这项创新将大型语言模型（LLM）的编码能力应用于图像合成。Omost通过特定的虚拟“Canvas”代理编写代码来创建图像视觉内容，最终由图像生成器实现实际的图像生成。项目现已在GitHub上公开。
简而言之，Omost的功能就是将简单的描述扩展为详细而精准的Prompt，然后逐个区域进行绘制，并最终合成。这种合成方式使得图像的精确度和可控性非常强大。
Omost作为一个非常强大的自动绘图Agent，让普通用户不再被复杂的Prompt困扰。只需一句简单的描述，Omost就能扩展并生成出高质量的图像，让人人都能轻松创作出令人满意的视觉作品。
举个例子，如果你想画一个飞船，只需在输入框中输入“太空中的未来飞船”，Omost就会自动为你生成对应的代码，开始绘制图像。
Omost的发音为“almost”，这个名字有双重含义：首先，它意味着每次使用Omost生成的图像几乎总是符合预期；其次，“O”代表“omni”（多模态），而“most”则表示希望从这个项目中获取最大价值。
Omost项目的核心
Omost项目的核心在于其独特的参数系统，包括位置、偏移量和区域，这三大参数共同作用，确保生成图像的精准控制与细节优化。
借助这套参数系统，用户可以直观地指定图像中各元素的位置和大小，从而生成符合预期的高质量图像。这种创新方法不仅简化了图像生成的流程，还显著提升了生成的准确性和效率。
在Omost中，用户只需输入一个简单的提示词，系统就会自动扩展并生成每个区域的详细描述和位置信息。例如，当用户输入“创建一个梦幻的空中城堡”时，Omost会生成一段详细的描述，涵盖城堡的材质、结构、周围景观以及整体氛围。接着，用户只需点击生成图像，系统就会根据这些详细提示将描述转化为最终的图像。
Omost项目的最大亮点在于其自动扩展提示词的功能。用户无需编写复杂的提示词，只需输入简短描述，系统便能自动扩展为详细的图像描述。这种功能大大提升了图像生成的效率，同时也降低了用户的使用难度，让创作过程更加简单便捷。
此外，Omost项目具备高度的灵活性和可修改性。用户可以通过简单的提示词来调整和修改生成的图像，比如将画面中的龙替换为恐龙。这种灵活性让用户能够根据个人需求快速生成符合要求的图像，极大地提升了创作的自由度和效率。
快速上手指南
这些AI工具已经被打包成一键启动的版本，只需轻轻一点击即可使用，无需再为环境配置中的各种问题烦恼，一切变得更加便捷高效。
电脑配置要求
- Windows 10/11 64位操作系统
- 16G显存以上英伟达显卡
- CUDA >= 12.1
- 如果电脑配置不满足要求的话，点我使用4090最强性能运行！
下载和使用教程
1.下载压缩包：
下载地址：在右边侧边栏👉
2.解压文件：
解压后，最好不要有中文路径，双击“启动程序.exe”文件运行。
3.浏览器访问：
其他
模型与数据训练
目前，Omost提供了基于Llama3和Phi3变体的三种预训练LLM模型。这些模型经过混合数据集的训练，包括Open-Images等数据集的真实注释、自动提取的图像注释、通过直接偏好优化（DPO）进行的强化训练，以及来自OpenAI GPT4o的多模态能力微调数据。这种多样化的训练使模型在图像生成任务中表现更为精准和高效。
交互式编辑示例
Omost还展示了交互式编辑的功能示例，用户可以通过与助手的对话来修改图像内容。例如，可以输入修改请求将龙替换为恐龙，系统会生成相应的代码来实现这些更改。这种互动方式使用户能够更加直观和灵活地调整图像。
符号与参数
Omost的LLMs经过训练，能够遵循特定的符号规则，其中包括Canvas类中的`set_global_description`和`add_local_description`函数。这些函数用于定义图像的全局和局部描述，涉及的参数包括描述文本、详细说明、标签、位置、偏移量、区域、观察者距离、氛围、风格以及质量等元数据。这种结构化的参数设置确保了图像生成的精确度和可控性。
基线渲染器
Omost项目还包含一个基于注意力机制的LLMs基线渲染器，以及一个区域提示器，用于实现区域引导的扩散系统。这些工具共同作用，确保在图像生成过程中对特定区域的精确控制和渲染，使生成效果更加细致和符合用户预期。
模型说明
目前，Omost提供了多种模型，包括`omost-llama-3-8b`、`omost-dolphin-2.9-llama3-8b`和`omost-phi-3-mini-128k`，以及这些模型的量化版本。这些模型经过了安全数据过滤训练，确保不包含任何不适当的内容，为用户提供安全、可靠的生成体验。
总结
Omost项目是一项创新尝试，将AI语言模型的能力扩展到图像生成领域，为开发者和创意爱好者提供了一个强大的工具，用于探索和实现自动生成创意图像。这个项目展示了AI技术如何持续突破界限，为创意产业带来革命性的变革。
