1.求一去乱码、正则则表汉字的表达正则表达式
2.从数据自动生成正则表达式(附源码)
求一去乱码、汉字的式源正则表达式
\p{ ASCII}
正则表达式的构造摘要
构造 匹配
字符
x 字符 x
\\ 反斜线字符
\0n 带有八进制值 0 的字符 n (0 <= n <= 7)
\0nn 带有八进制值 0 的字符 nn (0 <= n <= 7)
\0mnn 带有八进制值 0 的字符 mnn(0 <= m <= 3、0 <= n <= 7)
\xhh 带有十六进制值 0x 的码正字符 hh
\uhhhh 带有十六进制值 0x 的字符 hhhh
\t 制表符 ('\u')
\n 新行(换行)符 ('\uA')
\r 回车符 ('\uD')
\f 换页符 ('\uC')
\a 报警 (bell) 符 ('\u')
\e 转义符 ('\uB')
\cx 对应于 x 的控制符
字符类
[abc] a、b 或 c(简单类)
[^abc] 任何字符,达式除了 a、源码装饰微信源码b 或 c(否定)
[a-zA-Z] a 到 z 或 A 到 Z,正则则表两头的表达字母包括在内(范围)
[a-d[m-p]] a 到 d 或 m 到 p:[a-dm-p](并集)
[a-z&&[def]] d、e 或 f(交集)
[a-z&&[^bc]] a 到 z,式源除了 b 和 c:[ad-z](减去)
[a-z&&[^m-p]] a 到 z,码正而非 m 到 p:[a-lq-z](减去)
预定义字符类
. 任何字符(与行结束符可能匹配也可能不匹配)
\d 数字:[0-9]
\D 非数字: [^0-9]
\s 空白字符:[ \t\n\x0B\f\r]
\S 非空白字符:[^\s]
\w 单词字符:[a-zA-Z_0-9]
\W 非单词字符:[^\w]
POSIX 字符类(仅 US-ASCII)
\p{ Lower} 小写字母字符:[a-z]
\p{ Upper} 大写字母字符:[A-Z]
\p{ ASCII} 所有 ASCII:[\x-\x7F]
\p{ Alpha} 字母字符:[\p{ Lower}\p{ Upper}]
\p{ Digit} 十进制数字:[0-9]
\p{ Alnum} 字母数字字符:[\p{ Alpha}\p{ Digit}]
\p{ Punct} 标点符号:!"#$%&'()*+,达式-./:;<=>?@[\]^_`{ |}~
\p{ Graph} 可见字符:[\p{ Alnum}\p{ Punct}]
\p{ Print} 可打印字符:[\p{ Graph}\x]
\p{ Blank} 空格或制表符:[ \t]
\p{ Cntrl} 控制字符:[\x-\x1F\x7F]
\p{ XDigit} 十六进制数字:[0-9a-fA-F]
\p{ Space} 空白字符:[ \t\n\x0B\f\r]
java.lang.Character 类(简单的 java 字符类型)
\p{ javaLowerCase} 等效于 java.lang.Character.isLowerCase()
\p{ javaUpperCase} 等效于 java.lang.Character.isUpperCase()
\p{ javaWhitespace} 等效于 java.lang.Character.isWhitespace()
\p{ javaMirrored} 等效于 java.lang.Character.isMirrored()
Unicode 块和类别的类
\p{ InGreek} Greek 块(简单块)中的字符
\p{ Lu} 大写字母(简单类别)
\p{ Sc} 货币符号
\P{ InGreek} 所有字符,Greek 块中的源码除外(否定)
[\p{ L}&&[^\p{ Lu}]] 所有字母,大写字母除外(减去)
边界匹配器
^ 行的正则则表开头
$ 行的结尾
\b 单词边界
\B 非单词边界
\A 输入的开头
\G 上一个匹配的结尾
\Z 输入的结尾,仅用于最后的表达结束符(如果有的话)
\z 输入的结尾
Greedy 数量词
X? X,一次或一次也没有
X* X,式源零次或多次
X+ X,一次或多次
X{ n} X,恰好 n 次
X{ n,} X,至少 n 次
X{ n,m} X,至少 n 次,聚星修复源码但是不超过 m 次
Reluctant 数量词
X X,一次或一次也没有
X*? X,零次或多次
X+? X,一次或多次
X{ n}? X,恰好 n 次
X{ n,}? X,至少 n 次
X{ n,m}? X,至少 n 次,但是不超过 m 次
Possessive 数量词
X?+ X,一次或一次也没有
X*+ X,零次或多次
X++ X,一次或多次
X{ n}+ X,恰好 n 次
X{ n,}+ X,至少 n 次
X{ n,m}+ X,至少 n 次,但是不超过 m 次
Logical 运算符
XY X 后跟 Y
X|Y X 或 Y
(X) X,作为捕获组
Back 引用
\n 任何匹配的 nth 捕获组
引用
\ Nothing,但是引用以下字符
\Q Nothing,但是引用所有字符,直到 \E
\E Nothing,Xbox源码泄漏但是结束从 \Q 开始的引用
特殊构造(非捕获)
(?:X) X,作为非捕获组
(?idmsux-idmsux) Nothing,但是将匹配标志由 on 转为 off
(?idmsux-idmsux:X) X,作为带有给定标志 on - off 的非捕获组
(?=X) X,通过零宽度的正 lookahead
(?!X) X,通过零宽度的负 lookahead
(?<=X) X,通过零宽度的正 lookbehind
(?<!X) X,通过零宽度的负 lookbehind
(?>X) X,作为独立的非捕获组
--------------------------------------------------------------------------------
反斜线、转义和引用
反斜线字符 ('\') 用于引用转义构造,如上表所定义的,同时还用于引用其他将被解释为非转义构造的字符。因此,表达式 \\ 与单个反斜线匹配,而 \{ 与左括号匹配。
在不表示转义构造的任何字母字符前使用反斜线都是错误的;它们是为将来扩展正则表达式语言保留的。可以在非字母字符前使用反斜线,不管该字符是否非转义构造的一部分。
根据 Java Language Specification 的pip安装源码要求,Java 源代码的字符串中的反斜线被解释为 Unicode 转义或其他字符转义。因此必须在字符串字面值中使用两个反斜线,表示正则表达式受到保护,不被 Java 字节码编译器解释。例如,当解释为正则表达式时,字符串字面值 "\b" 与单个退格字符匹配,而 "\\b" 与单词边界匹配。字符串字面值 "\(hello\)" 是非法的,将导致编译时错误;要与字符串 (hello) 匹配,必须使用字符串字面值 "\\(hello\\)"。
字符类
字符类可以出现在其他字符类中,并且可以包含并集运算符(隐式)和交集运算符 (&&)。并集运算符表示至少包含其某个操作数类中所有字符的类。交集运算符表示包含同时位于其两个操作数类中所有字符的类。
字符类运算符的优先级如下所示,按从最高到最低的顺序排列:
1 字面值转义 \x
2 分组 [...]
3 范围 a-z
4 并集 [a-e][i-u]
5 交集 [a-z&&[aeiou]]
注意,元字符的不同集合实际上位于字符类的内部,而非字符类的伪装定位源码外部。例如,正则表达式 . 在字符类内部就失去了其特殊意义,而表达式 - 变成了形成元字符的范围。
行结束符
行结束符 是一个或两个字符的序列,标记输入字符序列的行结尾。以下代码被识别为行结束符:
新行(换行)符 ('\n')、
后面紧跟新行符的回车符 ("\r\n")、
单独的回车符 ('\r')、
下一行字符 ('\u')、
行分隔符 ('\u') 或
段落分隔符 ('\u)。
如果激活 UNIX_LINES 模式,则新行符是惟一识别的行结束符。
如果未指定 DOTALL 标志,则正则表达式 . 可以与任何字符(行结束符除外)匹配。
默认情况下,正则表达式 ^ 和 $ 忽略行结束符,仅分别与整个输入序列的开头和结尾匹配。如果激活 MULTILINE 模式,则 ^ 在输入的开头和行结束符之后(输入的结尾)才发生匹配。处于 MULTILINE 模式中时,$ 仅在行结束符之前或输入序列的结尾处匹配。
组和捕获
捕获组可以通过从左到右计算其开括号来编号。例如,在表达式 ((A)(B(C))) 中,存在四个这样的组:
1 ((A)(B(C)))
2 \A
3 (B(C))
4 (C)
组零始终代表整个表达式。
之所以这样命名捕获组是因为在匹配中,保存了与这些组匹配的输入序列的每个子序列。捕获的子序列稍后可以通过 Back 引用在表达式中使用,也可以在匹配操作完成后从匹配器检索。
与组关联的捕获输入始终是与组最近匹配的子序列。如果由于量化的缘故再次计算了组,则在第二次计算失败时将保留其以前捕获的值(如果有的话)例如,将字符串 "aba" 与表达式 (a(b)?)+ 相匹配,会将第二组设置为 "b"。在每个匹配的开头,所有捕获的输入都会被丢弃。
以 (?) 开头的组是纯的非捕获 组,它不捕获文本,也不针对组合计进行计数。
从数据自动生成正则表达式(附源码)
正则表达式,作为字符串匹配和处理的强大工具,几乎在所有编程语言中都有支持。其主要用途包括:匹配和查找、替换、数据验证等。对于有经验的开发者,从数据中提炼合适的正则表达式并非难事。然而,有没有可能让计算机自动生成这样的表达式呢?特别是当数据可能存在质量问题,包含错误或脏数据时,这一问题显得尤为重要。
在面对如下的药物批准文号数据时,很容易写出正则表达式:国药准字[BHZ]\d{ 8} 或 国药准字[A-Z]\d{ 8}。但自动生成这样的表达式是否可行呢?答案是肯定的。
在处理数据时,计算机必须考虑到脏数据的可能,比如数据不完整或格式错误。例如:“J 国药准字”或“国药准字”。这些问题需要在数据处理过程中进行识别和处理。
正则表达式的结构包括内容匹配符、数量限定符、位置限定符和逻辑或等元素,其中最底层的是原始字符,它们只能匹配自身。字符集合和元字符则涵盖了更广泛的字符集,如 \w、\d、\s 等,它们之间存在一定的包含关系。
字典树(Trie树)是一种用于统计、排序和保存大量字符串的高效数据结构,特别适用于文本词频统计。通过将数据插入字典树,可以生成正则表达式。首先,将所有数据分支组合为正则表达式的逻辑或形式,然后,根据子节点的数量和表达能力的层级,对字典树进行升级和合并,以提升正则表达式的泛化能力。
在升级合并操作中,如果节点的子节点数量超过阈值(例如3个),则提升节点的层级。如果节点的多个子节点值相同,进行合并,以简化表达式。同时,根据数据进入和终止的统计情况,对字典树进行剪枝操作,去除数据量少于平均值%的分支,以去除脏数据。
在生成正则表达式的过程中,还应考虑深度合并机制,如将重复的字符或元字符合并到其父节点,以简化表达式。此外,可以构建两棵字典树,一棵正序,另一棵逆序,以保留公共子串的特征,提高表达式的准确性。
整体算法流程包括升级、合并、剪枝和深度合并操作,直到字典树不再改变或节点升级到预设的最大层级。通过测试示例,可以验证生成的正则表达式的正确性和效率。
为了实现这一自动化过程,可以使用如 GitHub 上提供的完整代码库(github.com/mxnaxvex/Reg...)作为参考和实现依据。