皮皮网

1.次元突破！突破OccSora：深刻演化自动驾驶4D Occ世界（北航&清华）
2.llama3开源模型国内百度网盘下载地址
3.突破自闭症（十五）：Son-Rise ProgramABC模型：评估、模型连结和挑战
4.CLIP模型基本原理与实践案例
5.优化│最优分类树的源码三种MILP模型及其代码实现

次元突破！OccSora：深刻演化自动驾驶4D Occ世界（北航&清华）

       写在前面 & 作者的突破个人理解

       文章提出了一种基于扩散的4D占用生成模型OccSora，旨在模拟自动驾驶世界模型的模型进展。该模型通过使用四维场景标记器获得四维占用输入的源码植物筛选app源码时空表示，并实现长序列占用视频的突破高质量重建。之后，模型学习时空表示的源码扩散转换器，根据轨迹提示生成4D占用。突破OccSora能够生成具有真实3D布局和时间一致性的模型秒视频，展示其对驾驶场景时空分布的源码理解能力。

       开源链接：wzzheng.net/OccSora/

       主要贡献

       传统的突破自动驾驶模型仅基于车辆自身的运动来模拟场景发展，无法深刻理解场景感知与车辆运动的模型综合关系。世界模型的源码引入有助于更深入地理解这些关系。然而，大多数现有方法采用自回归框架模拟3D场景，限制了生成长期视频序列的能力。

       因此，相较于先前方法，该模型基于2D视频生成模型Sora，提出了一个4D世界模型OccSora。它采用多维扩散技术传递准确的时空四维信息，并以真实汽车轨迹为条件，实现轨迹可控的场景生成。OccSora通过训练和测试，能够生成符合物理逻辑的自动驾驶4D占用场景，实现基于不同轨迹的可控场景生成。这一自动驾驶4D世界模型为理解自动驾驶与物理世界中的动态场景变化开辟了新途径。

       具体方法

       1、自动驾驶系统的世界模型

       4D占用能够全面捕捉三维场景的结构、语义和时间信息，对弱监督或自监督学习有积极促进作用，适用于视觉、激光雷达或多模态任务。社区源码站基于此，文章将世界模型表示为4D占用，并展示了OccSora的总体框架。

       首先，构建一个4D占用场景标记器，在时间与空间维度上压缩真实4D占用，以捕捉4D自动驾驶场景中的关系和演化模式。得到压缩后的高级tokens和重构后的4D占用数据。此外，设计了一个基于扩散的世界模型，使用车辆轨迹作为控制单元，在高级tokens的监督下训练，生成高维度场景表示tokens。最终由4D占用场景标记器解码为一致且动态可控的场景。

       2、4D占用场景标记器

       目标是确定特定位置随时间的语义类型。该模块对真实4D占用场景进行离散编码到中间潜在空间，得到4D占用场景的真实表示。通过三维编码器网络和类别嵌入，将场景划分为体素，为每个体素位置分配类型标签，表示是否被占用及占用的物体语义。

       与传统方法不同，该模块在同一场景中合并时间信息，将张量重塑为三维空间，统一学习空间和时间演变模式以及物理关系。通过分类嵌入的三维编码器网络和编码码本，确保4D占用时间动态的全面表现。

       3、基于扩散的世界模型

       模型使用时空信息特征的场景token作为输入，并在车辆轨迹的控制下进行去噪训练和轨迹可控生成任务。首先，进行token嵌入，对输入进行扁平化和位置嵌入。高亮显示html源码然后，利用自我车辆轨迹作为输入，产生可控的4D占用。最后，设计基于扩散的transformer，在潜在空间中学习和生成，同时集成轨迹信息作为控制条件。

       4、实验

       在nuScenes数据集上进行实验，验证OccSora在自动驾驶领域4D占用世界模型的能力。实验展示了模型的压缩和重建效果，以及在不同轨迹控制下的生成性能。定量分析和可视化结果表明，OccSora在保持压缩比的同时，仍能保持高mIoU和生成连贯、准确的场景。

       5、结论与限制

       文章提出的4D占用生成模型OccSora成功模拟了自动驾驶世界模型的进展，实现了对驾驶场景时空分布的深入理解。未来研究将探索更精细的4D占用世界模型，以实现闭环设置下端到端的自动驾驶。尽管模型展示了显著的性能，但在体素数据粒度限制和运动对象细节不一致方面仍有局限性。

       参考文献

       [1] OccSora: 4D Occupancy Generation Models as World Simulators for Autonomous Driving

       写在最后

       欢迎关注和订阅我们的仓库，获取关于BEV、多模态融合、Occupancy、毫米波雷达视觉感知、车道线检测、3D感知、多模态融合、在线地图、多传感器标定、Nerf、多线程源码实现大模型、规划控制、轨迹预测等技术的综述与论文。

       推荐阅读

llama3开源模型国内百度网盘下载地址

       Llama3 是 Meta 最新发布的开源大模型，包括8B（亿参数）和B（亿参数）两个版本。在多项基准测试中，Llama3 展现了卓越性能，特别是在 MMLU 和 MATH 测试中超越同规模开源模型。

       Llama3 突破在于架构创新、数据扩展优化和指令微调。采用标准仅解码器 Transformer 架构，引入分组查询注意力（GQA），提高推理效率。训练数据集规模远超 Llama2，包含更多代码和非英语数据，确保模型多样性和泛化能力。

       实际应用中，Llama3 优化了性能，创建了覆盖1,个提示、个关键用例的高质量人类评估集，包含编程、创意写作和信息提取等任务，显示了技术进步与应用潜力。

       目前，Llama3 下载需通过官方渠道申请。为了社区成员体验，提供以下链接：

       加入 LangChain 中国社区，与 名 AI 开发者交流，探索 LLM 大模型应用开发的无限可能。

       链接：LangChain.com.cn

突破自闭症（十五）：Son-Rise ProgramABC模型：评估、连结和挑战

       儿童的学习计划通常由成人安排，日常活动也是一样，由成人决定什么时间做什么事。然而，码牛学院源码在安排某个活动后，我们往往专注于活动本身，无法察觉孩子每时每刻的状态变化。我了解到自己的孩子存在认知障碍，给他安排了一个小时的认知课，但并未注意到他在前十五分钟和后十五分钟状态的不同。前十五分钟，他可能沉浸在自己的世界，排斥其他人的介入，包括治疗师。而后十五分钟，他可能完全投入干预、参与、接纳和专注于治疗师。这样的状态持续出现，并且有增无减，因为我们在处理孩子两种状态时，往往忽略了需要采用完全不同的应对策略。

       了解孩子处于哪种状态后，就能选择更有效的干预方法。普通儿童能听从成人安排，尽管他们可能对此有抱怨，但仍能达到互动的基本水准，能回应自己的姓名、听从指令，并对奖赏和惩罚有所回应。然而，自闭症儿童往往不受传统人际互动机制的约束。与自闭症儿童交流时，我们需要主动适应他们状态的变化。忽略他们的状态会导致孩子养成拖拉、懒散、遮掩等不良习惯，社交能力差，对常人世界失去兴趣，学习速度缓慢。

       当孩子能力尚未达到适当程度时，我们不应强迫他们学习、互动和处理信息，而应关注孩子的状态。否则，我们的一切努力都将是徒劳。一方面，我们浪费时间，没有建立和巩固与孩子的联系；另一方面，我们错失了帮助孩子成长、发展、交流和学习的契机。我们需要能够准确觉察孩子何时沉迷于自己的世界，何时与我们建立联系，只有这样，学习、互动和遵循指导才有可能。

       孩子每时每刻都在自我互动的连续体上，处于某个位置。当孩子没有眼神接触或对称呼无反应时，他处于沉迷于自己世界的“自我”端。当孩子与你嬉戏、关注你、微笑并与你交谈时，他处于连续体的“互动”端，愿意进入你的世界，愿意与你和他人互动。当孩子既不在“自我”端也不在“互动”端时，我们称之为连续体的原因。一天中，孩子可能在这两端之间摇摆。了解孩子在连续体上的位置，就能确定何种干预对他们是有效的，并在适当时机正确运用技能。

       记住这些理念的快捷方式是“红灯”和“绿灯”。红灯表示孩子处于“自我”端，绿灯表示孩子处于“互动”端。普通评估存在缺陷，往往从孩子在一个短暂时段的表现进行测评，并据此制定长期干预计划。微评估则是花片刻时间观察孩子，快速判断出她给你亮的是“红灯”还是“绿灯”。了解孩子处于哪种状态，就能选择合适的干预方法。

       为了帮助父母和专业工作者根据孩子的表现随时调整应对措施，我开发了Son-Rise Program的ABC模型。这个模型包括三个步骤：评估、连结和挑战。第一步是评估，花时间记录下孩子给你亮的是“红灯”还是“绿灯”。第二步是连结，当发现孩子给你亮“红灯”时，应努力与孩子建立联系，修复关系。第三步是挑战，当孩子给你亮“绿灯”时，可以教孩子更多互动，引入新活动，发起更多要求。现在，你准备好整合上述内容了吗？

       活动时间！花5分钟与孩子在一起，不需要尝试或要求她做任何事情，只需观察。运用评估中的问题，判断孩子给你亮的是“红灯”还是“绿灯”。重要贴士：一旦识别出结果，请不要行动！如果看到“红灯”，不要试图建立联系；如果看到“绿灯”，不要发起挑战。这是关于观察的部分。在观察时，填写图表中对应问题后面的“是”或“否”。坚持这样做，你将很快学会识别孩子呈现的信号。当你与孩子互动时，将知道何时与孩子建立联系或发起挑战。你正学习的“眼镜”将帮助你实现与孩子的永久联系！

CLIP模型基本原理与实践案例

       标题：深入理解CLIP模型：原理、实践与挑战

       在多模态机器学习领域，CLIP模型因其强大的跨模态学习能力而备受瞩目。OpenAI在年提出的一种突破性模型，能够在无样本学习中展现出强大的泛化性能。本文将带您探索CLIP模型的基础原理，以及如何亲手尝试。首先，CLIP模型的核心在于其训练方式，它通过对比预训练，将图像和文本关联起来，无需额外标注就能识别新类别。在训练过程中，模型通过大规模的batch size进行优化，使得在推理时仅需简单的文本提示即可判断图像内容。

       在实际项目中，CLIP展现出惊人的潜力。例如，在一个图像相似度搜索引擎项目中，模型仅凭zero-shot学习就能与专为技术图纸设计的模型相媲美。然而，CLIP并非完美无缺，它在抽象任务和复杂度较高的分类上表现一般，且对训练数据量有较高依赖，训练成本高昂。此外，CLIP在非分布数据上仍存在局限性，比如在MNIST上的表现不如简单模型。

       尽管有这些限制，CLIP模型的泛化能力使其在无需额外训练的情况下，为计算机视觉任务如分类和特征提取提供了强大支持。作者建议读者深入研究其原始论文，了解更多实验和应用案例。想要亲身体验CLIP的魅力，可以参考译者分享的Colab笔记本，通过实践感受模型的工作机制。

       总的来说，CLIP模型的出现为机器学习领域带来了一个革新，但同时也提示我们，它仍需在特定场景和任务中进行优化和调整。对于对多模态学习感兴趣的人来说，这是一个不容错过的重要研究工具。

优化│最优分类树的三种MILP模型及其代码实现

       最优分类树的MILP模型深度解析与实战应用

       在机器学习的璀璨星河中，决策树如璀璨的北斗，引领着分类和回归的航程。ID3、C4.5和CART，这些名字宛如璀璨的星座，尽管构建理想决策树如同解决NP完全问题般艰巨，但求索者并未止步。本文聚焦于三种突破性的MILP（Mixed Integer Linear Programming）优化模型——OCT、binOCT和flowOCT，它们在寻求分类问题的极致解法上熠熠生辉。

       首先，来自D. Bertsimas的Interpretable AI瑰宝OCT，以其独特的设计挑战传统，通过精确的MILP求解探索决策树的最优路径。然而，binOCT通过二进制编码精简决策变量，虽减轻了计算负担，却潜在地面临大M问题和过拟合的风险。flowOCT的出现，正是为了解决这些挑战，它将决策树结构转化为流问题，以求更高效且稳健的解决方案。

       flowOCT的独特之处在于它对非二值特征采用one-hot编码，虽然增加了维度，但也确保了有序性。然而，这一转变可能影响决策树的原始结构，但值得称赞的是，已有一些开源代码将这一技术巧妙地整合在scikit-learn的API中，便于实际应用。

       实战对比揭示了这些模型的强大与局限。在与CART算法的个数据集对决中，flowOCT在个案例中胜出场，特别是在小型数据集和浅层决策树的场景中展现出了卓越性能。然而，当面临大数据集时，CART的稳定性和效率则更胜一筹。

       深入研究这些模型，参考文献[1-5]揭示了运筹学与AI的前沿动态，想要了解更多运筹学和AI的精华知识，不妨关注我们的公众号运筹OR帷幄，那里有丰富的资讯与实用资料等待你探索。