小红书开源InstanceAssemble：让AI精准还原复杂图像排版
2025-12-26 15:56
12 月 26 日消息，小红书携手复旦大学，联合推出布局控制生成（Layout-to-Image）领域的突破性方案 InstanceAssemble，通过创新“实例组装注意力”机制，实现了从简单到复杂、稀疏到密集布局的精准图像生成，相关成果已被 NeurIPS 2025 收录。
AI 绘画技术近年来快速发展，从最初的“文字生成图像”（Text-to-Image）逐步迈向“布局控制生成”（Layout-to-Image），后者会根据用户给定的空间布局约束（如边界框 Bounding Boxes、分割掩码 Masks 或骨架图）生成与之对应的图像。
“布局控制生成”技术的难点之一，就是如何让 AI 精确按照用户指定的位置和内容生成图像，面临布局对齐不准、语义脱节或计算成本过高的问题。
而复旦大学与小红书联合发布的 InstanceAssemble 新技术，成功实现了对图像中每个物体的精准布局控制，标志着 AI 绘画进入“可精准构图”的新阶段。
该技术基于当前主流的扩散变换器架构，创新性地提出了“实例拼装注意力”机制。用户只需提供每个物体的边界框位置和内容描述，AI 就能在对应位置生成符合语义的图像内容。无论是简单的几个物体，还是密集复杂的场景，InstanceAssemble 都能保持高精度的布局对齐和语义一致性。
值得一提的是，该技术还采用轻量级适配方式降低使用门槛，无需重新训练整个模型，仅通过约 7100 万个参数（约 3.46% 额外参数），就能适配 Stable Diffusion3-Medium 模型，而适配 Flux.1 模型更是低至 0.84%。
实验中，InstanceAssemble 在包含 90 万个实例的密集布局数据集上表现优异，大幅超越了现有方法。
研究团队为能更准确地衡量布局与图像的匹配程度，还创建了包含 5000 张图像和 90000 个实例的“Denselayout”基准测试集，以及全新的“Layout Grounding Score”（LGS）评估指标。
实验表明，InstanceAssemble 在各种布局条件下
相关推荐
小红书拿下支付牌照摸着闲鱼过河 小红书盯上二手电商市场：内测“快捷售卖”
页面卡顿无法刷新 客服回应小红书崩了：已在尽快处理
三个月飙升19%，小红书估值已超300亿美元
上海市委网信办指导小红书、B站、拼多多等平台清理违规AI产品及信息
京东小红书推出“红京计划”，投放广告可跳转京东购物页面
美媒：小红书开始认真对待海外市场，但面临这些挑战
消息称小红书将开设香港办公室：与阿里当邻居，发力全球化
小红书月初至今总下载量有22%来自美国：七天环比增长超20倍
小红书会成为美国下一个目标？美众议院委员会主席回应
美国网友涌入小红书交猫税：话题笔记已超3000篇
小红书两天涌入多少海外TikTok用户？ 知情人士透露细节
赢麻了！小红书下载量飙升登顶美国App Store：挤满“TikTok难民”
小红书私信导流新规：禁止出现联系微信及联系电话
消息称小红书成立应用算法部，整合商业化、社区、电商算法部门
消息称小红书2023年首次盈利 IPO前景不明
小红书公布双十一数据，订单数达去年同期3.8倍
小红书旗下电商平台“小绿洲”宣布10月1日停运，10月31日正式关闭
小红书出现bug，客服让删除App再重装？网友评论“亮了”
小红书回应后台删照片：系清理用户使用App时生成的临时缓存
小红书博主职业照遭盗用，变“彩票投资主理人”！称已报警
报道称小红书估值腰斩，官方：暂无回应
所有知识付费课程下架？小红书回应：情况不实
网曝小红书CFO离职，任职仅一年半，期间上市传闻频出
消息称小红书组织架构调整 社区部和电商部将合并
小红书起诉微媒通告等4家通告平台、MCN机构，“代写代发”涉不正当竞争
小红书怎么了？小红书还能红下去么？
小红书“请回答2021”直播答题上线：可邀请好友组队答题
小红书因广告违法被行政处罚2万元 回应称已对问题文章进行处理
小红书被行政处罚2万元，此前曾数次广告违法
小红书：因2018年微信公众号文章用语不当被行政处罚 已处理
小红书熊键：刷量行为有损用户利益 必须严打到底
内容乱象成“死结”，小红书用户在逃离
小红书发核查通告：对含有涉黄、色情账户已封禁
小红书宣布月活数据超1亿 每天笔记曝光量达80亿次
小红书上线视频号，支持15分钟时长视频发布
小红书与小猪民宿合作 超2000家民宿将入驻小红书
小红书开启直播卖车：首场卖出196辆 单场转化率65%
小红书：推100亿PV流量扶植计划，加速直播化视频化
小红书：打通民宿种草 预订链路 超千家民宿品牌将入驻
小红书不通知会员自动扣费 被指单方面设立合同陷阱
小红书：一季度拦截黑产刷量行为1.4亿次
小红书与台州市政府达成战略合作，推广当地品牌
小红书回应关闭线下体验店：系策略调整 大部分门店已经盈利
传小红书正寻求新一轮4-5亿美元融资 估值60亿美元
小红书创始人兼CEO毛文超卸任公司法定代表人、董事
微博推出的社交新品绿洲：风格清爽，对标小红书
游走在涉黄刷量等违规操作边缘 小红书还能接着红吗
小红书疑似被下架？回应：正与相关部门积极沟通
小红书被安卓应用市场下架 苹果商店未受影响
小红书Q2反作弊报告：MAU超8500万，日删刷量笔记4千篇
微商“血染”小红书
小红书回应“20万保证金”：行业通行做法
小红书终于要上直播了，但它却说不是为了变现
小红书“革面”，内容电商走入十字路口
小红书悖论：“种草社区”的闭环短期内还难以实现
小红书试图携“小红心”回归初心，重申用户价值是何逻辑
科技晚报：OYO酒店与携程达成合作 星巴克中国管理团队架构调整
小红书的权力游戏
小红书“断臂”求变
小红书创始人回应清洗KOL：正在完善"打广告"制度
小红书的“枪”对准了KOL
小红书只有两种结局：要么卖掉要么死掉
两个月被罚6次遇口碑危机，小红书电商之路道阻且长
“变味”后的小红书：内容+电商变现模式此路还通吗？
“拔草”小红书：内容+电商危机下还能红多久？
小红书陷烟草营销风波 紧急下线相关内容
小红书全面下线涉烟草软文，反对任何形式传播烟草
小红书“笔记造假”质疑再起 公司称已在治理
科技晚报：小红书上线品牌号 迪士尼收购福斯完成
小红书回应裁员：我们还要继续再招一栋楼
小红书上线品牌号：称要打通内容与交易，可直接配置旗舰店
从小红书到闲鱼，明星出击社交电商新战场
淘宝接入小红书，内容升级战序幕刚刚拉开
小红书进驻腾讯全球合作伙伴大会 将美好生活照进现实
“国民种草机”小红书：爆款背后现推手，一条广告报价20万
小红书完成3亿美元财务融资 估值超30亿美元
小红书推出自有品牌「有光」，对标网易还是小米？
50名小红书用户被骗近88万元：信息疑似大面积泄露
50名小红书用户被骗近88万元：信息疑似大面积泄露
巨头集体杀入内容电商， “小红书”们日子还好过吗？
踩着倒闭的蜜淘放出融资消息，小红书打了一副公关好牌？
蜜淘死，小红书补血，跨境电商两重天!
2015蜜芽不仅挑起了价格战 还有行业盛会潮
97%的跨境电商会死，谁先消失？
<返回首页
Copyright CmsTop.com
2026年04月14日 04:21:41