皮皮网

1.【ElasticSearch系列连载】1. ES版本与开源简介
2.开发自己的搜索引擎---Lucene+Heritrix（第2版）内容简介
3.如何理解Compass和Hibernate的结合使用
4.feather函数简介

【ElasticSearch系列连载】1. ES版本与开源简介

       诞生背景

       现有的技术在数据的结构化和存储方面已经做的很好了，但是在硬盘上的原始数据并不能充分发挥数据的价值，尤其是当你需要基于这些数据做一些实时的决策时，就更容易出现使用上的困难。

       ES是一个 分布式，可扩展，陪玩交友软件源码实时 的搜索与数据分析引擎，能够有效解决在全文搜索 或者 结构化数据的实时分析问题。

       不只是大型企业，如Wikipedia，Guardian，Stack Overflow，GitHub在使用。它也可以在你的笔记本上运行，或者扩展到几百台服务器，服务数PB的数据。

       ES带来了革命，但是ES并没有使用或者创造革命性的技术：全文搜索，数据分析和分布式数据存储都是已经有的技术概念。 ES是通过将这三个独立的部分进行了巧妙地融合成了一个独立的、实时的源码管控方案应用程序，这才是ES带来的革命。

       目前，大多数数据库在从数据中提取可操作的知识方面都出奇地无能。虽然他们可以通过时间戳进行筛选或者提取特定的字段，但是它们不能轻松的进行全文搜索，进行同义词搜索以及对数据进行相关性排序。

       更重要的是，面对具有一定规模的数据，如果不对数据做大量的离线预处理、批处理，大多数数据库是无法提供实时服务的。

ES简介

       ES是在Apache Lucene之上开发的。

       Apache Lucene是一个开源，先进，性能强劲，功能强大的搜索引擎。但它只是一个库，不仅需要使用Java代码才能使用，而且还需要理解Lucene内部逻辑和结构，整体用起来十分复杂。直播播放视频源码

       虽然ES也是JAVA编写的，内部也是使用了Lucene来进行索引和搜索，但是通过十分科学的设计将Lucene的复杂性屏蔽在了ES强大且简单的RESTful API之后。

       当然，ES不只是Lucene和全文搜索，它还是：

       支持文档分布式存储的全字段实时搜索引擎

       支持实时数据分析的分布式引擎

       支持数百节点和PB级别的结构化与非结构化数据

       同时，支持RESTful API，支持命令行，支持多种语言的SDK，使用Apache 2开源协议(已经经过多次调整)。

       关于ES诞生的小故事：

在谈及当年接触 Lucene 并开发 Elasticsearch 的初衷的时候， Shay Banon 认为自己参与 Lucene 完全是一种偶然，当年他还是一个待业工程师，跟随自己的新婚妻子来到伦敦，妻子想在伦敦学习做一名厨师，而自己则想为妻子开发一个方便搜索菜谱的应用，所以才接触到 Lucene。直接使用 Lucene 构建搜索有很多问题，包含大量重复性的工作，所以 Shay Banon 便在 Lucene 的java产品源码出售基础上不断地进行抽象，让 Java 程序嵌入搜索变得更容易，经过一段时间的打磨便诞生了他的第一个开源作品“Compass”，中文即“指南针”的意思。之后，他找到了一份面对高性能分布式开发环境的新工作，在工作中他渐渐发现越来越需要一个易用的、高性能、实时、分布式搜索服务，于是决定重写 Compass，将它从一个库打造成了一个独立的 server，并创建了开源项目。第一个公开版本出现在 年 2 月，在那之后 Elasticsearch 已经成为 Github 上最受欢迎的项目之一。关于ES的各个版本版本发布日期内容1.0.年2月日聚合分析、API、备份恢复等特性2.0.年月日存储压缩可配置、API语法升级等特性5.0.年月日使用Lucene 6.x、SDK、API升级、洱源码头湿地Text/Keyword、存储与性能大幅提升6.0.年月日排序、滚动升级、数据可靠、性能提升等特性7.0.年4月日使用Lucene 8.x、Security免费、Zen2、稳定性等特性8.0.年2月日Security默认启用、NLP支持、KNN、API升级、存储与性能提升ES开源协议历史开源背景

       Apache 2.0开源协议是最开放的协议之一：你可以修改源码将其整合到自己的产品中，并且选择不再继续开源。不像GPL等开源协议，它们会有禁止Copyleft的声明：如果使用了开源软件，你的软件也必须开源。

       由于Apache 2.0协议的开放性，可能你自己开发的开源软件会被你的对手使用反过来和你进行竞争。

冲突产生

       这个事情就发生在了ES上，亚马逊于 年基于 Elasticsearch 推出自己的服务，将其称为 Amazon Elasticsearch Service。随后双方发生了激烈的争议。

协议变更

       在年1月，Elastic 在官网发文称将对Elasticsearch和Kibana在许可证方面进行了重大的更改，决定将 Elasticsearch 和 Kibana 的开源协议由 Apache 2.0 变更为 SSPL 与 Elastic License，主要原因为了阻止云厂商的「白嫖」。

       之后，Amazon表示完全不能接受，ES随后发布了对应声明Amazon：完全不能接受 — 为什么我们必须变更 Elastic 许可协议

达成和解

       就在最近的年2月日，软件公司 Elastic 和亚马逊就一起商标侵权诉讼达成了和解。亚马逊开始从网站的各个页面以及其服务和相关项目名称中删除“Elasticsearch”一词，并由 Elastic 销售的 Elastic Cloud 取而代之。这是 Elastic 的一次重大胜利，该公司曾多次与亚马逊发生冲突。

       “现在 AWS 和 AWS Marketplace 上唯一的 Elasticsearch 服务是 Elastic Cloud，我们认为这是消除市场混乱的重要一步。只有一个 Elasticsearch，而且它只来自 Elastic。”Elastic 创始人兼首席技术官 Shay Banon 说。亚马逊之前还将 Amazon Elasticsearch Service 重命名为 Amazon OpenSearch Service。从现在开始，如果你在 AWS、Azure、Google Cloud 中看到“Elasticsearch”，就会知道它肯定来自 Elastic。

ES开源状态总结

       从Elastic 7.版本开始，Elastic 将把 Apache 2.0 授权的 Elasticsearch 和 Kibana代码转为SSPL和Elastic License的双重授权，让用户可以选择使用哪个授权。SSPL是MongoDB创建的一个源码可用的许可证，以体现开源的原则，同时提供保护，防止公有云提供商将开源产品作为服务提供而不回馈。SSPL允许自由和不受限制的使用和修改，但如果你把产品作为服务提供给别人，你也必须在SSPL下公开发布任何修改以及管理层的源代码。

       关注持续更新：下一节 - ElasticSearch系列连载2. 如何本地安装与调试ES

原文：/post/

开发自己的搜索引擎---Lucene+Heritrix（第2版）内容简介

       这是一本详尽的指南，旨在帮助读者构建自己的企业级搜索引擎。作者深入浅出地介绍了搜索引擎基础和信息检索原理，以及Lucene这款强大的搜索引擎工具。读者将通过实例学习如何建立索引，运用Lucene进行搜索、排序和文本分析，包括解析Word、Excel和PDF文档，以及如何利用Compass框架和Lucene的分布式特性。

       书中特别关注了Heritrix爬虫技术，讲解了如何利用HTMLParser进行网页抓取，并探讨了DWR在搜索引擎中的应用。作者通过理论与实践的结合，引导读者一步步构建出一个功能强大的垂直搜索系统，这不仅具有很高的商业实用性，还为创新搜索引擎产品的开发提供了坚实的基础。

       无论你是Java开发者，还是计算机软件开发人员，甚至是搜索引擎的爱好者，这本书都是绝佳的学习资源。它不仅提供了实用的API和源代码分析，还鼓励读者在理解基础上进行创新和扩展，从而创造出独具特色的搜索引擎解决方案。通过本书，你将收获一套完整的搜索引擎开发技能，踏上构建个性化搜索引擎的旅程。

如何理解Compass和Hibernate的结合使用

       æˆ‘们在使用Hibernate构建的项目中可以快速的添加搜索功能。在这里我只想更详解的介绍一下，它们结合时使用的工作原理。了解了工作原理，至于程序怎么实现就可以。

       é¦–先，我们知道Hibernate是比较有名的ORM框架，它的主要作用，就是让我

       ä»¬çš„开发更接近现实生活。现在虽然有很多数据库已经是“对象型的数据库”，但在我们还是比较喜欢用一些关系型数据库。好像我们已经习惯了用这些数据库。只

       è¦æœ‰å…³ç³»æ•°æ®åº“，要想让我们的程序真正的OOP（面向对象编程）。就少不了这样一个中间组件，对象关系映射（ORM）。这个框架很方便的帮助我们实现了，

       æŠŠä»¥å‰å¯¹å…³ç³»æ•°æ®åº“的操作，变成了我们大家都比较熟悉的面向一些简单的java类操作，也就是对一些又简单又古老的对象（pojo）的操作。

       ç®€å•çš„了解一下Hibernate。

       <1>hibernate技术本质上是一个提供数据服务的中间件。是一个面向Java环境的对象/关系数据库映射工具。把Java

       ç±»å¯¹åº”到数据库的table中，并且采用了xml技术。JavaReflection技术等。同时也提供了数据查询和恢复等机制。可以大幅度减少开发时人工使用SQL和JDBC处理数据的时间。

       <2>是一个开发源代码的对象关系映射框架。它对JDBC进行了非常轻量级的对象封装。可以应用到任何可以使用JDBC的场合。

       ä¸Šé¢çš„简单的介绍了一下hiberante。而compass又是对lucene的

       ç®€å•çš„封装。好比hibernate对JDBC的封装。它们很相似的。Compass的设计原则就是按照Hibernate的使用习惯而设计的，所以对

       Hibernate了解的，对学习Compass也是很简单的。

       Compass和Hibernate的结合使用，Hibernate就是充当了中间

       æ¡¥æ¢ã€‚Hibernate主要负责对象到数据库的映射。而Compass又可以充分利用已有的对象，间接的与数据库联系，来实现搜索。在利用

       Compass时，我们首先要对每个表对应的pojo为基础建立索引。同时保持数据的同步。

feather函数简介

       Feather函数是一个专门用于绘制羽状图的工具，它能够直观地展示一组向量在坐标系中的分布情况。这个函数的调用格式相对简单，主要分为两种:

       1. 当你需要使用向量U和V来创建羽状图时，调用格式为 feather(U, V)。在这里，U代表向量的水平坐标（x分量），而V则是垂直坐标（y分量）。这个函数会按照水平轴上的等间距，用带箭头的线将这些向量连接起来，形成一个具有方向性的视觉效果。如果你对具体实现有兴趣，可以查阅open feather或type feather的源代码。

       2. 对于复数Z的处理，可以使用 feather(Z)。在这种情况下，Z的实部会被视为x分量，虚部作为y分量。这个调用等同于 feather(real(Z), imag(Z))，可以方便地处理复数向量的可视化。

       为了调整线条的样式，feather函数还接受一个名为LineSpec的参数，用于指定线条的样式、颜色等特性。另外，它还可以接受一个axes_handle参数，用于在特定的坐标轴上绘制。

       如果你需要获取绘制后的线条句柄，可以使用 h = feather(...) 这样的形式，这个句柄在后续的图形操作中可能会用到。

       值得注意的是，feather函数与一些其他图形函数如streamline（流线图）、quiver（箭头图）、compass（罗盘图）和rose（玫瑰图）等，在图形表示和分析向量数据时有所不同，各有其特定的应用场景。