1.LLM优化：开源星火13B显卡及内存占用优化
2.有什么关于 Spark 的星火星火书推荐？
3.企业微信+讯飞AI推送每日情侣问候
4.ROS开源项目：（一）中文语音交互系统ROSECHO （二）教学级别无人车Tianracer
5.UEngine 运行器2.2.1——修复！解决 UEngine 安装器链接失效问题

LLM优化：开源星火13B显卡及内存占用优化

       本qiang近期接手了一个任务，源码源码旨在部署多个开源模型，官网并对比本地全量微调的直播模型与开源模型的性能表现。参与的文件开源模型包括星火B、Baichuan2-B、目录rti connext dds 源码ChatGLM6B等。星火星火其他模型基于transformers架构，源码源码启动服务流畅，官网然而星火B基于Megatron-DeepSpeed框架实现，直播启动过程发现显卡占用量高达G-G，文件超出预期。目录本文主要围绕开源星火B的星火星火显存及内存使用优化进行整理与讨论。

       直观分析，源码源码星火B模型使用bf数据类型，官网预计显存占用为G左右，实际却高达G+，这解释了为什么星火开源模型讨论较少。穷人家的孩子，哪里有充足的显存资源。在排查原因时，需要对源码进行调试与分析。在启动推理服务的脚本run_iFlytekSpark_text_generation.py中，model_provider方法用于初始化模型并加载模型文件。在加载权重文件时，直接将权重文件加载至显卡，而非先加载至CPU再转移到GPU，这可能是优化点之一。

       深入源码，发现星火B模型的初始化过程中，包括Embedding层、线性转换层等的权重weight直接分配在GPU上运行。为优化此过程，可以调整模型初始化策略。通过在启动推理服务的脚本中加入参数" use_cpu_initialization"，模型初始化时可以先将权重加载至CPU，然后进行后续的GPU分配和转换。在加载模型文件时，先加载至CPU，避免直接在GPU上运行，加载完成后，利用垃圾回收机制清除CPU上的内存占用。

       实施优化后，显卡占用量从.5G减少至G，网络冲印 源码内存占用从.5G降低至.1G，效果显著。优化的核心在于使用CPU预加载模型，之后转换至GPU。

       总结而言，本文主要针对开源星火B显存及内存占用过大的问题提供了一种代码优化方法。关键在于调整模型初始化和加载策略，通过先在CPU上预加载模型，再进行GPU分配，有效降低了资源占用。对于遇到类似问题的读者，建议参考本文提供的优化思路。

有什么关于 Spark 的书推荐？

       《大数据Spark企业级实战》本书共包括章，每章的主要内容如下。

       第一章回答了为什么大型数据处理平台都要选择SPARK。为什么spark如此之快?星火的理论基础是什么?spark如何使用专门的技术堆栈来解决大规模数据处理的需要?第二章回答了如何从头构建Hadoop集群的问题。如何构建基于Hadoop集群的星火集群?如何测试火星的质量?第三章是如何在一个集成开发环境中开发和运行星火计划。如何开发和测试IDA中的spark代码?

       在这4章中，RDD、RDD和spark集成战斗用例API的作用类型将用于实际的战斗RDD。

第四章分析了星火独立模式的设计与实现、星火集群模型和星火客户端模式。

第五章首先介绍了spark core，然后通过对源代码的分析，分析了spark的源代码和源代码，仔细分析了spark工作的整个生命周期，最后分享了spark性能优化的内容。

       这说明了一步一步的火花的特点是使用了大约个实际案例，并分析了spark GraphX的源代码。

第八章，在星火SQL实践编程实践的基础上，详细介绍了星火SQL的内容。第九章讲了从快速启动机器学习前9章,MLlib的分析框架,基于线性回归、聚类,并解决协同过滤算法,源代码分析和案例启示MLlib一步一步,最后由基本MLlib意味着静态和朴素贝叶斯算法,决策树分析和实践,进一步提高的主要引发机器学习技巧。第十章详细描述了分布式存储文件系统、超轻粒子和超轻粒子的设计、实现、部署和使用。第十一章主要介绍了火花流的原理、源代码和实际情况。第十二章介绍了spark多语种编程的特点，并通过实例介绍了spark多语言编程。最后，sift match源码将一个综合的例子应用到spark多语言编程的实践中。第十三章首先介绍了R语言的基本介绍和实践操作，介绍了使用sparkr和编码的火花，并帮助您快速使用R语言和数据处理能力。在第十四章中，详细介绍了电火花放电的常见问题及其调谐方法。首先介绍了个问题，并对它们的解决方案进行了优化。然后，从内存优化、RDD分区、对象和操作性能优化等方面对常见性能优化问题进行了阐述，最后阐述了火花的最佳实践。

       附录从spark的角度解释了Scala，并详细解释了Scala函数编程和面向对象编程。

企业微信+讯飞AI推送每日情侣问候

       写在前面，消息推送是基本程序员技能。

       结合讯飞AI，设想实现智能、个性化的问候与天气提醒。

       此项目以模拟情侣关系，每日为伴侣自动推送。

       关注公众号思维兵工厂，后台输入“浪漫推送”，获取源代码与教程。

       项目使用免费API，适于个人体验。

       准备：企业微信申请（认证影响部分功能，仅基本消息推送不受限），官方为新用户提供万tokens赠额，通过文中链接额外获得最多万tokens。讯飞AI用于文案生成，每个优化调用消耗约tokens，万tokens能发条推送。

       彩云科技天气API，每天提供次免费调用。

       项目语言：python，需第三方库requests、zhdate、websocket-client。

       个人服务器可实现自动每日推送。

       配置文件修改、重命名config_demo.json为config.json，贷款利率源码即可运行。

       分步骤配置：讯飞星火、企业微信、彩云科技及个人信息。注意：设置可信IP、添加企业微信接收消息URL可能需自行解决官方限制，或联系公众号寻求帮助。

       个性化配置包括日志输出、称呼、城市信息、纪念日和开始日设置。

       成功配置后，通过企业微信邀请伴侣绑定，运行程序即可自动收到消息推送。

       消息以单图文形式，文本长度限制为字节，超过将被裁剪，因此需控制讯飞AI文案在字内，减少设置可适当增加文案空间。

       后续版本可能加入日程提醒功能，敬请期待。

       感兴趣可关注公众号思维兵工厂。

ROS开源项目：（一）中文语音交互系统ROSECHO （二）教学级别无人车Tianracer

       开发之路永无止境，往往在最后期限的白板上写着的计划，往往只是一份空想。年初时，我定下了两个目标，计划在年末完成，然而时间在拖延中流逝，直到如今，我才发现，真正的开源精神并非一个人的单打独斗，而是众人协作的火焰。

       记得一年前，我四处奔波，从开源社区汲取养分，同时也渴望贡献出自己的力量。然而，回顾过去，我却发现并没有做出任何贡献。这次，我希望能够集结各路伙伴，如果有志于参与开源项目，recordmy screen源码我们能共同打造一个GitHub上的百星、千星项目。几位资深程序员已经搭建好了基础，硬件改进较多，但程序完善程度未达预期。我们期望有更多的年轻朋友加入我们，与我们一起学习软件的版本控制、代码规范和团队协作，共同完成复杂的机器人项目，实现成长与蜕变。

       （一）中文语音交互系统ROSECHO

       ROSECHO的GitHub源码库已准备好，欢迎先star再深入阅读。此代码遵循BSD开源协议。

       详细中文介绍文档

       面对智能音箱市场，许多人或许会质疑我们的团队为何要涉足这个领域。然而，故事并非如此简单。在年，我们计划为一个大型展厅打造讲解机器人，采用流行于Android系统的接待引导机器人，其语音交互功能本无问题，但当时的挑战在于，尚未有集成cartographer在数千平米展厅中进行建图导航的方案。因此，我们决定打造一款完全基于ROS的讲解机器人。市场上虽然有众多智能音箱，但缺乏适用于ROS二次开发的产品。在科大讯飞一位大佬的介绍下，我们选择了AIUI方案，虽然开发难度大，但高度定制化，非常适合我们这样的开发团队。于是，我们主要任务转变为开发一款能够在ROS下驱动的智能音箱，ROSECHO便由此诞生。

       第一版智能音箱在年4月问世，包含W的大喇叭、6环麦克风，以及ROS主控制器，下方控制了一个云迹科技的水滴底盘。了解过ROS星火计划进阶课程的朋友大概知道，课程中的大作业之一是语音命令移动机器人端茶倒水，而我们的任务相当于完成了一个加强版的大作业。

       整个机器人在年7月完成，音箱分散到身体各个部分，环麦位于头顶，喇叭置于身体两侧。其他传感器、执行机构、决策、定位导航均基于ROS，定制了条特定问答，调试的机器人在场馆中行走上下坡不抖动，定位准确，7*小时工作稳定。音箱在大机器人上使用效果出色，主要得益于讯飞的降噪和回声消除技术，使得远场对话和全双工对话得以实现。社区中许多小伙伴也尝试了软核解决方案，但由于环境限制较大。于是，我们决定将音箱从大家伙改为普通智能音箱大小，通电即为智能音箱，USB接入ROS后，只需启动launch，即可接收语音识别结果，发送TTS语料，配置网络、接收唤醒角度等。

       这次体验深刻地让我认识到，做大容易做小难。过完春节后，年8月ROS暑期夏令营期间，我们做了N款外壳，测试了M种喇叭，贴了P版外围电路，程序则改动不大。主要是由于时间有限，无法进行更多改进。样品均为手工制作，音质上，7w的喇叭配有一个无源辐射板，对于从森海HD入门的人来说，音质虽有瑕疵，但足以满足日常使用。

       之前在想法中发布了一个使用视频，大家可参考运行效果。

       ROSECHO基本情况介绍完毕，如何开始呢？

       从零开始：推荐给手中已有讯飞AIUI评估板的小伙伴，记住，评估板而非麦克风降噪板（外观相似，简单区分是评估板售价元，降噪板元）。手头的评估板可通过3.5mm接口连接普通电脑音箱，再准备一根USB转转换头连接评估板DB9接口。后面需要根据实际串口修改udev规则，理论上可配合ROSECHO软件使用。硬件工作量较大，还需包含移动机器人所需机械设计、电气改造等。好处是拥有AIUI后台，可以定制云端语料和技能，但这又是另一个领域的能力，也不是三下五除二能完成的。

       从ROSECHO开始：直接购买ROSECHO，首发的十台会附赠ROS2GO，只需连接自带电源并用USB线连接电脑，配置无线SSID和密码即可。连接方便，我们维护云端语料，人设为智能机器人管家，大家只需关注如何利用识别后的词句控制机器人和进行应答。云端问答AIUI处理，一些自定义问答可在本地程序中处理，务必联网，因为语音识别本身需要网络。具体软件启动和简单demo请查看GitHub软件库的说明。

       然后做什么：要实现智能语音交互功能的移动机器人，需要对ROS中的actionlib非常熟悉。我们提供了简单的demo，可以控制机器人在turtlebot stage仿真环境中根据语音指令在两点之间移动，也可以根据唤醒方位进行旋转。之后还需增加音箱的TF变换。

       大机器人中的状态机采用层次状态机（Hierarchical state machines），适用于移动机器人的编程，框架准备开源，方便大家开发自己的智能移动机器人策略。参考下面链接，希望深入了解也可以购买译本，肯定是比ROS By Example中的Smach状态机更适合商用级产品开发。

       还计划做一套简单的语音遥控指令集，机器人问答库，在iflyos中构建适合机器人的技能库。何时能完成尚不确定，大家一起加油！

       （二）教学级别无人车Tianracer

       GitHub源码库已准备就绪，欢迎先star再深入阅读。遵循Hypha Racecar的GPLv3协议。

       这是最近更新的详细使用手册。相比ROSECHO，Tianracer的基本功能均已完成，至少可以拿来学习建图导航，了解SLAM。

       Tianracer是一个经过长时间准备的开源项目，年从林浩鋕手中接过Hypha Racecar后，希望将项目发扬光大。这两年改进了软件框架、周边硬件、机械结构，并增加了新的建图算法，但仍有大量工作待完成。这两个月在知乎想法和微信朋友圈分享了项目的进展，经历了多次迭代，现在大致分为入门、标准、高配三个版本。三个版本的软件统一，可通过环境变量更改设置。

       最近整个项目从Tianbot Racecar更名为TianRacer，经过长时间探索，终于实现了合理的传感器与处理器配置。相比Hypha Racecar，处理器从Odroid XU4更改为NVIDIA在上半年推出的Jetson Nano，车前方增加了广角摄像头，利用Nano的深度学习加速，可以接近实时处理图像数据。相比之前的单线激光，广角摄像头大大扩展了后续可实现的功能。

       TianRacer基本使用Python编写，从底层驱动到遥控等，目的是方便大家学习和二次开发。同时集成了cartographer和vins-fusion启动文件，可以尝试新的激光与视觉SLAM，基于Nano的深度学习物体识别等也是可以直接运行的。但目前功能尚未有机整合。

       从零开始搭建：TianRacer搭建可能难度较大，不仅需要RC竞速车的老玩家进行机械电子改装，还需要对ROS熟悉并修改软件以进行适配，同时可能需要嵌入式程序员的帮助。对于主要关心搭建的朋友，可以参考小林的Hypha Racecar和JetRacer Tamiya版本的搭建指南。

       从TianRacer开始：这批开发版本的无人竞速车附赠搭好环境的ROS2GO，TianRacer本身有开机自启功能，利用ROS2GO加上USB线对车体进行网络配置，就可以远程编程和调试。仔细参考提供的TianRacer看云文档（文档积极更新），大部分车体自带的功能都可以实现，包括但不限于建图、定位、导航、识别等。

       然后做什么：利用TianRacer学习无人车的基础框架，还可以通过JupyterLab学习Jetson Nano的深度学习算法。未来计划将交通标识识别、行人和车辆检测、车道线检测等无人车基础功能融合，但不确定Jetson Nano的算力是否足够。目标是在校园内进行低成本的无人车竞速比赛，希望像CMU的Mobot室外巡线比赛一样持续发展，至今已举办届。

       这个视频是搬运自YouTube。大家可深入了解非结构环境下的导航。对于不清楚结构化环境与非结构化环境的朋友，CMU和恩智浦的比赛完美诠释了两者之间的区别。

       一起来玩耍吧！

       在开源社区协作方面，我们也是第一次尝试，对于松散的协同开发经验不足，希望参与或组织过大型开源项目的朋友们加入我们，一起努力。有兴趣的朋友可以留言或私信。

       前几日与朋友们闲聊时，想起几年前高翔博士赞助一锅粥（orb-ygz-slam）1万元时，我也只能提供支持。这次真心希望可以贡献出代码，实现实实在在的贡献。

       年年底发布了开发者申请价格，但数量有限，早已连送带卖售罄。年又有几十位爱好者填写了问卷，忘记查阅。每年的双十一双十二我们都会有优惠活动，感谢大家的关注。

UEngine 运行器2.2.1——修复！解决 UEngine 安装器链接失效问题

       UEngine 运行器2.2.1发布了重要修复，解决了UEngine安装器链接失效的问题，这对于仍在使用Deepin/UOS且需要安装自定义APK软件的爱好者来说是一个好消息。这款程序特别适用于Deepin/UOS上，为UEngine安卓运行环境提供APK安装功能，并能将安装的APK包快捷方式添加到桌面或系统菜单，目前支持的CPU为国产飞腾系列。

       在新版本中，开发者着重解决了先前Ubuntu用户在下载安装过程中遇到的链接问题，确保了安装流程的顺畅。如果你发现这个工具对你的工作或娱乐有所帮助，别忘了给予支持，例如通过Star评级或者为开发者提供一些鼓励。

       为了交流和获取更多资源，你可以加入UEngine QQ交流群，群号是，或者访问蓝奏云链接（gfdgdxi.lanzoui.com/b...，密码：2rh3），诚通网盘（url.ctfile.com/d/...，访问密码：）获取更多信息。此外，Github（github.com/gfdgd-xi/uen...）、Gitee（gitee.com/gfdgd-xi/ueng...）和Sourceforge（sourceforge.net/project...）也提供了源代码，星火应用商店（spk://store/tools/spark-uengine-runner）提供了安装选项。对于Debian 、和Ubuntu .用户，需要下载和安装版本≥5.5的dtk，但请注意，目前不支持Debian 和Ubuntu .的安装。