字体/掌易码表/ZDic词典/SuperMemo/SugarMemo等制作工具pdbEditor09.01.11

osfans

先选择掌易码表 ，然后“添加词库”选择巨硬词库吧。

sh89

多谢指教，原来是这样…

emfox

原帖由 osfans 于 2008-11-3 17:45 发表

正则替换那里我写错了，现在已经更正不会丢失内容了，另外，乱码的判断还是有点问题。
分割我觉得设定一个记录数就行了吧？比如每个词典六万条。

* W( v* v( D8 b7 ~; L
嗯，简单可行。

不过我没看过 ZDic 的源码，应该没有对文件大小什么的限制吧？只有记录数限制的话，那么我回头有空就改改程序，来实现拆分。
) j* Z: [" b6 W2 s3 s, P8 G
[ 本帖最后由 emfox 于 2008-11-4 15:11 编辑 ]

osfans

看了一下，主要的限制就是第一条记录，就是保存索引词条的，那里有16K的限制，不能存太多。现在用中文维基是没有问题，看看用英文的到时有问题的话，我再改改zdic。

采花郎

请问，那个py文件修改了么？呵呵，我还是想试试英文版wiki的转换。

2G的内存吃不消

osfans

emfox说要改呢，等他看看。
你可以把xml拆成几块看看。

emfox

原帖由 采花郎 于 2008-11-4 18:39 发表
6 h1 ^1 p/ E( u: q/ v/ z请问，那个py文件修改了么？呵呵，我还是想试试英文版wiki的转换。

/ d- j& N7 S0 O+ h! ]3 T$ a2G的内存吃不消

9 @2 C: h( t& f: \你再试试吧，这回连索引都不做了，全部在 bbsdb 文件里处理，应该不会怎么消耗内存了。

) i4 P, [* u. \( @- Y- @! [" n; G" ^但是文件太大的问题还是没解决……
. P% }, O- F) |  S. A, _
[ 本帖最后由 emfox 于 2008-11-6 21:31 编辑 ]

采花郎

回楼上，还是失败，2G内存没能吃下它

emfox

原帖由 采花郎 于 2008-11-7 20:13 发表
0 o3 p8 x- }4 F- S7 Y3 R回楼上，还是失败，2G内存没能吃下它

4 ]2 `( D1 F0 ^# p* i8 b, X$ T
7 X" U# [7 j% H5 P& y% y% {& O4 b没理由啊……我这里内存占用一直没有超过 300K ....

不过也没有用，这个肯定已经超限了，我这边运行的结果是这样的，供参考：

" p8 d2 U; ^( a3 @# w0 [3 K1 P$ {~/wikipedia$ python ZDicTool_emfox.py enwiki.xml.bz2 enwiki.pdb
& ^: w1 t' d. ]5 Z+ |[21:35:53]Loading...
[21:35:53]Processing...
3 O; T' v+ r; b1 N6 E3 k- ~! \[20:49:03]Saving...
: \! q! N& n& _/ Q; {' g" Z. k( n% qZDicTool_emfox.py:201: DeprecationWarning: 'H' format requires 0 <= number <= 65535
  self.index=pack('>I2H8x',1,self.bnum,2)+self.lenSec+ self.index
* g) h3 t& a: d$ I9 |- iZDicTool_emfox.py:196: DeprecationWarning: 'H' format requires 0 <= number <= 65535
$ e4 X# _8 @, ?4 M4 U  self.pdbType,self.creatorID,0,0,self.bnum
ZDicTool_emfox.py:210: DeprecationWarning: struct integer overflow masking is deprecated
4 r! H7 X. ^% Q$ g5 o  B  towrite+=pack('>2L', offset, uid)
2 m3 t6 u; k; z# [8 o: C: w) {: M[20:52:01]Success! 23h16m8s passed.

* B# b) x) i9 v~/wikipedia$ ls -lh
total 9.4G
" U* P, O: M" o: l* ]& S6 W) s$ y-rw-r--r-- 1 emfox emfox 5.2G 2008-11-07 20:51 enwiki.pdb
-rw-r--r-- 1 emfox emfox 4.2G 2008-10-31 16:01 enwiki.xml.bz2
-rw------- 1 emfox emfox  11K 2008-11-06 21:35 ZDicTool_emfox.py

采花郎

原来你是这样的命令行？

+ l7 d5 Z4 I: c0 C我用的zdictool的那个可执行文件。
. O6 o# U3 S0 b6 v( D5 O
( G6 T+ D+ V* r% q  F- v9 e+ F再用你的办法试试看
, i! Y* T( W/ l& i5 z( K( O  s
: D/ A$ o2 V  j" e& F9 \* h你的是什么机器？居然要近24小时？
& I: t  r0 q. u, h1 }
我的机器是T8300 2.4G 3M。看看20小时能搞的定不
, C8 m) l; D- F
按照目前进行的情况来看，内存占用很不错，内存没有看到增加。
  R( G6 ]8 X3 I( G! h) e$ Y
不过似乎cpu占用率不是很高，只能使用单核，而且大概也就是35%的样子（100%是完全使用双核）
/ R/ U' P1 B6 |
[ 本帖最后由 采花郎 于 2008-11-9 15:56 编辑 ]

osfans

那个是emfox 自己改的，你看167楼。
2 H$ m% w- }% O" ?9 h
  P6 l" }9 s& i' U! ]( `: w英文wiki那个索引部分已经超过大小了，有些词可能就查不到了。

采花郎

按照emfox的方法运行。从昨天下午3点开始，一直到现在近7点，超过了24小时，才运行完毕db文件

现在已经开始生成pdb了。真是漫长。

奇怪的是，干嘛cpu占用一直都很低？要是能满负荷运行，应该不用这么长的时间

emfox

原帖由 采花郎 于 2008-11-10 19:10 发表
$ Y+ B% L$ q  y& E按照emfox的方法运行。从昨天下午3点开始，一直到现在近7点，超过了24小时，才运行完毕db文件

现在已经开始生成pdb了。真是漫长。

奇怪的是，干嘛cpu占用一直都很低？要是能满负荷运行，应该不用这么长的时间

+ @( O2 T2 S. i& U" [* b& T
) b4 B, M! R% F2 T8 O这程序主要就是面向数据，转换再转存一下，没有什么运算可言，想花 CPU 也花不了啊，因为原来全部在内存里搞，改成边转换边写硬盘，大量的 IO 自然会降低速度的，没办法。
4 n6 J! u) @. p) {+ Q. t我用的是一台 Xeon 带两个双核 2.8G 的 CPU 和 4G 内存，700G的 SCSI RAID5，我想你的机器应该也确实是要 24小时以上的，呵呵……
7 a  i) I9 A" I6 N  A; c& v
[ 本帖最后由 emfox 于 2008-11-11 15:50 编辑 ]

osfans

机器都这么牛啊？哇。不知道用C写，速度会不会快一些。

采花郎

靠，enfox的机器真是牛啊。

刚才回家，任务已经结束了，总共花了50小时零1分钟，真是太漫长了，整个过程只看到硬盘灯在不停地闪。cpu再强劲也没能派上用场。
/ W- K1 ^- U  M1 n
总算完成了，内存占用很小。

emfox

原帖由 采花郎 于 2008-11-11 20:37 发表
7 a9 C1 W. Z9 j# |8 F靠，enfox的机器真是牛啊。

刚才回家，任务已经结束了，总共花了50小时零1分钟，真是太漫长了，整个过程只看到硬盘灯在不停地闪。cpu再强劲也没能派上用场。
3 K$ q9 d; g" A4 {- Y1 v3 ?3 V4 Q
5 l. O  Y5 l" R0 }总算完成了，内存占用很小。

话说，这个能用么？ 我的卡只有 4G，没法试....

emfox

原帖由 osfans 于 2008-11-11 18:25 发表
机器都这么牛啊？哇。不知道用C写，速度会不会快一些。

# ?4 A) i& G- F* t. v" C$ `" }
我觉得可能会差不多，主要时间应该都是耗在读写硬盘上，IO 一直消耗时间，这个跟语言关系不大

emfox

前面的 ZDicTool_emfox.py 那个文件是根据 10月17日的版本改的，现在更新成根据11月2日的版本修改。

* V- y& i, t/ f' z, K& ~0 j, X9 P同时附上 diff 文件。
3 p& K9 s5 t# d5 Q: g6 V
5 \- i9 w/ A% t1 t" Mosfans 看一下，能不能合并进去？这样我就不用每个版本都改了。还有一个问题，你的11月2日的版本里 fromPDB 函数里
! w3 E  k, T- G/ h& [/ I9 D2 i self.lines = {} 这一行是否是多余的？如果我没有理解错的话，应该是合并 pdb 文件时用的吧。

采花郎

试着转换了部分搜狗的词库，有点点小问题请教osfans
6 i' E: A3 x8 K' F
) c+ o0 z1 q. Q' U' z7 G1 o, e) h1，转换的词库里面有大量的四字以上的词，把这样的词也做进来没事吧？输入的时候能正常跳出来吗？

2，词频排列问题。拼音字母的排序是否有一定的要求，我观察了部分已有pdb词库转换过来的txt，没发现什么规律

& {8 ^2 T* s+ V! |0 \3，我新做的词库难道要按照字母的排列顺序一个个的塞进原有的词库txt，然后再转换成pdb？

osfans

原帖由 emfox 于 2008-11-13 12:58 发表
前面的 ZDicTool_emfox.py 那个文件是根据 10月17日的版本改的，现在更新成根据11月2日的版本修改。

同时附上 diff 文件。
5 n" E* L& Z) U+ B+ {/ \
/ v: g% S' d! W" k3 P1 H% P$ H4 _- hosfans 看一下，能不能合并进去？这样我就不用每个版本都改了。还有一个问题，你的11 ...

# J; c2 a. _9 h" ?* C5 }7 Q4 e4 y$ E# _谢谢，有时间我合并进去。
因为时间较慢，但是占用内存小，不会出现内存错误，是不是作为一个参数供选择，更合适一些？或者自动根据原始文件大小，决定用哪种方式。

zhuce2008

hello   hello   hello

步疾风

我见你一次顶你一次

emfox

原帖由 osfans 于 2008-11-16 21:43 发表

% g+ j' k( h( @, _! N" K& o谢谢，有时间我合并进去。
因为时间较慢，但是占用内存小，不会出现内存错误，是不是作为一个参数供选择，更合适一些？或者自动根据原始文件大小，决定用哪种方式。

& m: D1 T( S( \) l% U! d# v
感谢合并~~ resizeBlock/B 函数我看情形再改改，看能不能进一步精简代码，呵呵

dracodoc

以前用zdic2.41，美国传统双解的音标是没有问题的
# B* a: X$ Z0 R3 x* m换到2.45后，音标显示不完全，重新解码并制作了新格式的词典，音标还是不对
2.45好像不再支持zdic内置字体了？那么音标怎么处理呢？美国传统的音标字体应该是GMX格式的

dracodoc

再尝试了一会儿，发现现在音标必须是单纯的括号且在第二行才能显示，美国传统的那种DJ[], KK[]必须改才行。
' ?4 H8 Q3 b) o% ~1 x等我改改试试

doox

不知修正了什么bug，希望越来越完善

doox

发现zdictool在分割超长词条时会发生乱码现象：
2 L2 V; I+ Z' n! y- w
如下：
$ l) J: P8 O3 q. U- L) n! Z
转换后简体维基文库：
9 v) J5 ]1 t1 h8 D) o9 ?
; M9 J, Q) L3 X1 c, m
4 X0 y. s; |  q
未转换维基文库：

+ q8 ]5 W. ~5 F) p
, J$ q- o9 f/ A, X' d
xml


可以看出，在xml源文件中，文本正常，但是转换完之后，会出现乱码，请考虑解决

osfans

原帖由 采花郎 于 2008-11-15 21:33 发表
' Q' _8 s/ ~. y# c+ k" \试着转换了部分搜狗的词库，有点点小问题请教osfans
. x7 k  y  O: \# G; k5 i
0 G5 k. g$ @: o, Q1，转换的词库里面有大量的四字以上的词，把这样的词也做进来没事吧？输入的时候能正常跳出来吗？
6 z( R$ k4 `* E1 r8 W! i- T
2，词频排列问题。拼音字母的排序是否有一定的要求，我观 ...

5 ]! A1 p/ p5 j+ }# C四字以上的词也支持，我五笔里面就有。
+ {1 n+ V- K& I1 y; ^排序没有什么要求吧，不过现在可能是按照字排列的，因为没有词频信息。
不需要塞进去，直接合并就可以，自定义词可能是放在最前面。
* K0 N7 D$ j1 y2 |( @
% f( X4 t  t* z: O# i  a[ 本帖最后由 osfans 于 2008-11-22 14:00 编辑 ]

采花郎

感谢osfans的解答，感谢osfans为大家做了这么多有益的工作，Palm有你才精彩。

等笔记本回来了就开工，届时有什么问题，希望还有机会请教你。

osfans

嗯，好的，到时再切磋。

dracodoc

可惜还是正文中的音标无法显示，希望以后的版本能解决
, L* [+ w6 c& y: g- F# [/ K
想要的可以去手掌印或者hi-pda看完整帖子
http://www.hi-pda.com/forum/view ... xtra=&page=2###
$ s0 V- s" [3 \+ P$ @% c, I
注意有国外服务器可以直接下载大文件
3 q5 [; l+ W1 V% B$ A+ E
[ 本帖最后由 dracodoc 于 2008-11-23 03:18 编辑 ]

osfans

赞一个。支持。

osfans

请参考下方代码：
) e8 l  s3 R* Z//STECURRENTFONT//为正文颜色，
/ ?6 k4 \9 h+ S) O//STELEFTINDENT=xx//为缩进。

1. 
   5 E+ N$ {! x# c8 e* O
2. consider         5. To show consideration for:\n//STEBLUEFONT////STELEFTINDENT=10//体贴关心：\nfailed to consider the feelings of others.\n未能照顾到他人的感情\n//STECURRENTFONT////STELEFTINDENT=0//6. To esteem; regard.\n//STEBLUEFONT////STELEFTINDENT=10//尊重；看重

复制代码

dracodoc

原帖由 osfans 于 2008-11-23 14:50 发表
请参考下方代码：
//STECURRENTFONT//为正文颜色，
+ y; O! f3 @! a6 k4 U9 {//STELEFTINDENT=xx//为缩进。
consider         5. To show consideration for:\n//STEBLUEFONT////STELEFTINDENT=10//体贴关心：\nfailed to consider the fe ...

* b$ e- r: _8 e
$ z4 [2 v" j# q+ b. `2 Q! Y1 [多谢！那我尝试一下

emfox

报告，显示信息又变成中文了……虽然没什么关系，但我在服务器上的 UTF-8 环境里就全是乱码...

osfans

哦，那我还改成英文的，把金山词霸的工具也给整合进去了。

emfox

报告 bug，似乎 <u> 标记的替代有问题，导致“省辖市”这一词条出现问题。

+ |. G' Q+ k: A3 z# k另外，建议不要用链接替代 <u> 标记，用一般的粗体加强就可以了，原因参看“省辖市”原条目的 <u> 标记使用。

osfans

什么问题啊？我看还好啊，
那就改成灰色吧，呵呵。

yqy1308517

真是万分感激,谢谢楼主！

doox

增加老版本的支持吧，毕竟有喜欢用老版本词典的，个人感觉好像比新版的查词快些
" |  E+ x6 v) f* W$ y
不需要太多变化，只要能把超长词条分成4K大小，生成TXT，其余的工作用KDIC的工具就可以了