OSDN Git Service

more use of newtokenlib
[luatex-ja/luatexja.git] / src / ltj-jfont.lua
1 --
2 -- luatexja/jfont.lua
3 --
4 luatexbase.provides_module({
5   name = 'luatexja.jfont',
6   date = '2015/05/03',
7   description = 'Loader for Japanese fonts',
8 })
9 module('luatexja.jfont', package.seeall)
10
11 luatexja.load_module('base');      local ltjb = luatexja.base
12 luatexja.load_module('charrange'); local ltjc = luatexja.charrange
13 luatexja.load_module('rmlgbm');    local ltjr = luatexja.rmlgbm
14 luatexja.load_module('direction'); local ltjd = luatexja.direction
15
16
17 local Dnode = node.direct or node
18
19 local setfield = (Dnode ~= node) and Dnode.setfield or function(n, i, c) n[i] = c end
20 local getid = (Dnode ~= node) and Dnode.getid or function(n) return n.id end
21
22 local nullfunc = function(n) return n end
23 local to_direct = (Dnode ~= node) and Dnode.todirect or nullfunc
24
25 local node_new = Dnode.new
26 local node_free = Dnode.free
27 local has_attr = Dnode.has_attribute
28 local set_attr = Dnode.set_attribute
29 local round = tex.round
30 local font_getfont = font.getfont
31
32 local attr_icflag = luatexbase.attributes['ltj@icflag']
33 local attr_curjfnt = luatexbase.attributes['ltj@curjfnt']
34 local attr_curtfnt = luatexbase.attributes['ltj@curtfnt']
35 local id_glyph = node.id('glyph')
36 local id_kern = node.id('kern')
37 local id_glue_spec = node.id('glue_spec')
38 local id_glue = node.id('glue')
39 local cat_lp = luatexbase.catcodetables['latex-package']
40 local FROM_JFM     = luatexja.icflag_table.FROM_JFM
41 local tokenlib = luatexja.token
42 ------------------------------------------------------------------------
43 -- LOADING JFM
44 ------------------------------------------------------------------------
45
46 metrics={} -- this table stores all metric informations
47 font_metric_table={} -- [font number] -> jfm_name, jfm_var, size
48
49 luatexbase.create_callback("luatexja.load_jfm", "data", function (ft, jn) return ft end)
50
51 local jfm_file_name, jfm_var
52 local defjfm_res
53 local jfm_dir, is_def_jfont
54
55 function define_jfm(t)
56    local real_char -- Does current character class have the 'real' character?
57    if t.dir~=jfm_dir then
58       defjfm_res= nil; return
59    elseif type(t.zw)~='number' or type(t.zh)~='number' then
60       defjfm_res= nil; return
61    end
62    t.char_type = {}; t.chars = {}
63    for i,v in pairs(t) do
64       if type(i) == 'number' then -- char_type
65          if not v.chars then
66             if i ~= 0 then defjfm_res= nil; return  end
67             real_char = true
68          else
69             real_char = false
70             for j,w in pairs(v.chars) do
71                if type(w) == 'number' and w~=-1 then
72                   real_char = true;
73                elseif type(w) == 'string' and utf.len(w)==1 then
74                   real_char = true; w = utf.byte(w)
75                elseif type(w) == 'string' and utf.len(w)==2 and utf.sub(w,2) == '*' then
76                   real_char = true; w = utf.byte(utf.sub(w,1,1))
77                end
78                if not t.chars[w] then
79                   t.chars[w] = i
80                else
81                   defjfm_res= nil; return
82                end
83             end
84             if type(v.align)~='string' then
85                v.align = 'left' -- left
86             end
87             if real_char then
88                if type(v.width)~='number' and v.width~='prop' then
89                   defjfm_res= nil; return
90                else
91                   if v.width=='prop' and jfm_dir=='tate' then
92                      v.width = 1.0
93                   end
94                   if type(v.height)~='number' then
95                      v.height = 0.0
96                   end
97                   if type(v.depth)~='number' then
98                      v.depth = 0.0
99                   end
100                   if type(v.italic)~='number' then
101                      v.italic = 0.0
102                   end
103                   if type(v.left)~='number' then
104                      v.left = 0.0
105                   end
106                   if type(v.down)~='number' then
107                      v.down = 0.0
108                   end
109                end
110             end
111             v.chars = nil
112          end
113          v.kern = v.kern or {}; v.glue = v.glue or {}
114          for j in pairs(v.glue) do
115             if v.kern[j] then defjfm_res= nil; return end
116          end
117          for j,x in pairs(v.kern) do
118             if type(x)=='number' then
119                v.kern[j] = {x, 0}
120             elseif type(x)=='table' then
121                v.kern[j] = {x[1], x[2] or 0}
122             end
123          end
124          t.char_type[i] = v
125          t[i] = nil
126       end
127    end
128    t = luatexbase.call_callback("luatexja.load_jfm", t, jfm_file_name)
129    t.size_cache = {}
130    defjfm_res = t
131 end
132
133 local update_jfm_cache
134 do
135    local function mult_table(old,scale) -- modified from table.fastcopy
136       if old then
137          local new = { }
138          for k,v in next, old do
139             if type(v) == "table" then
140                new[k] = mult_table(v,scale)
141             elseif type(v) == "number" then
142                new[k] = round(v*scale)
143             else
144                new[k] = v
145             end
146          end
147          return new
148       else return nil end
149    end
150
151    update_jfm_cache = function (j,sz)
152       if metrics[j].size_cache[sz] then return end
153       --local TEMP = node_new(id_kern)
154       local t = {}
155       metrics[j].size_cache[sz] = t
156       t.chars = metrics[j].chars
157       t.char_type = mult_table(metrics[j].char_type, sz)
158       for i,v in pairs(t.char_type) do
159          v.align = (v.align=='left') and 0 or
160             ((v.align=='right') and 1 or 0.5)
161          if type(i) == 'number' then -- char_type
162             for k,w in pairs(v.glue) do
163                local h = node_new(id_glue_spec)
164                v[k] = {true, h, (w[5] and w[5]/sz or 0), FROM_JFM + (w[4] and w[4]/sz or 0)}
165                setfield(h, 'width', w[1])
166                setfield(h, 'stretch', w[2])
167                setfield(h, 'shrink', w[3])
168                setfield(h, 'stretch_order', 0)
169                setfield(h, 'shrink_order', 0)
170             end
171             for k,w in pairs(v.kern) do
172                local g = node_new(id_kern)
173                setfield(g, 'kern', w[1])
174                setfield(g, 'subtype', 1)
175                set_attr(g, attr_icflag, FROM_JFM)
176                v[k] = {false, g, w[2]/sz}
177             end
178          end
179          v.glue, v.kern = nil, nil
180       end
181       t.kanjiskip = mult_table(metrics[j].kanjiskip, sz)
182       t.xkanjiskip = mult_table(metrics[j].xkanjiskip,sz)
183       t.zw = round(metrics[j].zw*sz)
184       t.zh = round(metrics[j].zh*sz)
185       t.size = sz
186       --node_free(TEMP)
187    end
188 end
189
190 luatexbase.create_callback("luatexja.find_char_class", "data",
191                            function (arg, fmtable, char)
192                               return 0
193                            end)
194 do
195    local start_time_measure = ltjb.start_time_measure
196    local stop_time_measure = ltjb.stop_time_measure
197    local fcc_temp = { chars_cbcache = {} }
198    setmetatable(
199       fcc_temp.chars_cbcache,
200       {
201          __index = function () return 0 end,
202       })
203    function find_char_class(c,m)
204       -- c: character code, m:
205       local r = (m or fcc_temp).chars_cbcache[c]
206       if not r then
207          r = m.chars[c] or
208             luatexbase.call_callback("luatexja.find_char_class", 0, m, c)
209          m.chars_cbcache[c or 0] = r
210       end
211       return r
212    end
213 end
214
215
216 ------------------------------------------------------------------------
217 -- LOADING JAPANESE FONTS
218 ------------------------------------------------------------------------
219
220 do
221    local cstemp
222    local global_flag -- true if \globaljfont, false if \jfont
223    local function load_jfont_metric()
224       if jfm_file_name=='' then
225          ltjb.package_error('luatexja',
226                             'no JFM specified',
227                             'To load and define a Japanese font, a JFM must be specified.'..
228                             "The JFM 'ujis' will be  used for now.")
229          jfm_file_name='ujis'
230       end
231       for j,v in ipairs(metrics) do
232          if v.name==jfm_file_name then return j end
233       end
234       luatexja.load_lua('jfm-' .. jfm_file_name .. '.lua')
235       if defjfm_res then
236          defjfm_res.name = jfm_file_name
237          table.insert(metrics, defjfm_res)
238          return #metrics
239       else
240          return nil
241       end
242    end
243
244 -- EXT
245    local utf8 = unicode.utf8
246    function jfontdefX(g, dir, csname)
247       jfm_dir, is_def_jfont = dir, true
248       cstemp = csname:sub( (utf8.byte(csname,1,1) == tex.escapechar) and 2 or 1, -1)
249       cstemp = cstemp:sub(1, ((cstemp:sub(-1,-1)==' ') and (cstemp:len()>=2)) and -2 or -1)
250       global_flag = g and '\\global' or ''
251       tex.sprint(cat_lp, '\\expandafter\\font\\csname ', 
252                  (cstemp==' ') and '\\space' or cstemp, '\\endcsname')
253    end
254
255    luatexbase.create_callback("luatexja.define_jfont", "data", function (ft, fn) return ft end)
256
257 -- EXT
258    local identifiers = fonts.hashes.identifiers
259    function jfontdefY()
260       local j = load_jfont_metric(jfm_dir)
261       local fn = font.id(cstemp)
262       local f = font_getfont(fn)
263       if not j then
264          ltjb.package_error('luatexja',
265                             "bad JFM `" .. jfm_file_name .. "'",
266                             'The JFM file you specified is not valid JFM file.\n'..
267                                'So defining Japanese font is cancelled.')
268          tex.sprint(cat_lp, global_flag, '\\expandafter\\let\\csname ', 
269                     (cstemp==' ') and '\\space' or cstemp,
270                        '\\endcsname=\\relax')
271          return
272       end
273       update_jfm_cache(j, f.size)
274       local ad = identifiers[fn].parameters
275       local sz = metrics[j].size_cache[f.size]
276       local fmtable = { jfm = j, size = f.size, var = jfm_var,
277                         zw = sz.zw, zh = sz.zh,
278                         ascent = ad.ascender,
279                         descent = ad.descender,
280                         chars = sz.chars, char_type = sz.char_type,
281                         kanjiskip = sz.kanjiskip, xkanjiskip = sz.xkanjiskip,
282                         chars_cbcache = {},
283       }
284
285       fmtable = luatexbase.call_callback("luatexja.define_jfont", fmtable, fn)
286       font_metric_table[fn]=fmtable
287       tex.sprint(cat_lp, global_flag, '\\protected\\expandafter\\def\\csname ',
288                     (cstemp==' ') and '\\space' or cstemp, '\\endcsname{\\ltj@cur'..
289                     (jfm_dir == 'yoko' and 'j' or 't') .. 'fnt', fn, '\\relax}')
290    end
291 end
292
293 do
294    local get_dir_count = ltjd.get_dir_count
295    local dir_tate = luatexja.dir_table.dir_tate
296    local tex_get_attr = tex.getattribute
297    -- PUBLIC function
298    function get_zw()
299       local a = font_metric_table[
300          tex_get_attr((get_dir_count()==dir_tate) and attr_curtfnt or attr_curjfnt)]
301       return a and a.zw or 0
302    end
303    function get_zh()
304       local a = font_metric_table[
305          tex_get_attr((get_dir_count()==dir_tate) and attr_curtfnt or attr_curjfnt)]
306       return a and a.zw or 0
307    end
308 end
309
310 do
311    -- extract jfm_file_name and jfm_var
312    -- normalize position of 'jfm=' and 'jfmvar=' keys
313    local function extract_metric(name)
314       jfm_file_name = ''; jfm_var = ''
315       local tmp, index = name:sub(1, 5), 1
316       if tmp == 'file:' or tmp == 'name:' or tmp == 'psft:' then
317          index = 6
318       end
319       local p = name:find(":", index); index = p and (p+1) or index
320       while index do
321          local l = name:len()+1
322          local q = name:find(";", index+1) or l
323          if name:sub(index, index+3)=='jfm=' and q>index+4 then
324             jfm_file_name = name:sub(index+4, q-1)
325             if l~=q then
326                name = name:sub(1,index-1) .. name:sub(q+1)
327             else
328                name = name:sub(1,index-1)
329                index = nil
330             end
331          elseif name:sub(index, index+6)=='jfmvar=' and q>index+6 then
332             jfm_var = name:sub(index+7, q-1)
333             if l~=q then
334                name = name:sub(1,index-1) .. name:sub(q+1)
335             else
336                name = name:sub(1,index-1)
337                index = nil
338             end
339          else
340             index = (l~=q) and (q+1) or nil
341          end
342       end
343       if jfm_file_name~='' then
344          local l = name:sub(-1)
345          name = name
346             .. ((l==':' or l==';') and '' or ';')
347             .. 'jfm=' .. jfm_file_name
348          if jfm_var~='' then
349             name = name .. 'jfmvar=' .. jfm_var
350          end
351       end
352       if jfm_dir == 'tate' then
353          if not name:match('vert') and not name:match('vrt2') then
354             name = name .. ';vert;vrt2'
355          end
356       end
357       return name
358    end
359
360    -- define_font callback
361    local otfl_fdr = fonts.definers.read
362    local ltjr_font_callback = ltjr.font_callback
363    function luatexja.font_callback(name, size, id)
364       local new_name = is_def_jfont and extract_metric(name) or name
365       is_def_jfont = false
366       local res =  ltjr_font_callback(new_name, size, id, otfl_fdr)
367       luatexbase.call_callback('luatexja.define_font', res, new_name, size, id)
368       -- this callback processes variation selector, so we execute it always
369       return res
370    end
371    luatexbase.create_callback('luatexja.define_font', 'simple', function (n) return n end)
372    luatexbase.add_to_callback('define_font',luatexja.font_callback,"luatexja.font_callback", 1)
373 end
374
375 ------------------------------------------------------------------------
376 -- LATEX INTERFACE
377 ------------------------------------------------------------------------
378 do
379    -- these function are called from ltj-latex.sty
380    local kyenc_list, ktenc_list = {}, {}
381    function add_kyenc_list(enc) kyenc_list[enc] = 'true ' end
382    function add_ktenc_list(enc) ktenc_list[enc] = 'true ' end
383    function is_kyenc(enc)
384       tex.sprint(cat_lp, '\\let\\ifin@\\if' .. (kyenc_list[enc] or 'false '))
385    end
386    function is_ktenc(enc)
387       tex.sprint(cat_lp, '\\let\\ifin@\\if' .. (ktenc_list[enc] or 'false '))
388    end
389    function is_kenc(enc)
390       tex.sprint(cat_lp, '\\let\\ifin@\\if'
391                  .. (kyenc_list[enc] or ktenc_list[enc] or 'false '))
392    end
393
394    local kfam_list, Nkfam_list = {}, {}
395    function add_kfam_list(enc, fam)
396       if not kfam_list[enc] then kfam_list[enc] = {} end
397       kfam_list[enc][fam] = 'true '
398    end
399    function add_Nkfam_list(enc, fam)
400       if not Nkfam_list[enc] then Nkfam_list[enc] = {} end
401       Nkfam_list[enc][fam] = 'true '
402    end
403    function is_kfam(enc, fam)
404       tex.sprint(cat_lp, '\\let\\ifin@\\if'
405                  .. (kfam_list[enc] and kfam_list[enc][fam] or 'false ')) end
406    function is_Nkfam(enc, fam)
407       tex.sprint(cat_lp, '\\let\\ifin@\\if'
408                  .. (Nkfam_list[enc] and Nkfam_list[enc][fam] or 'false ')) end
409
410    local ffam_list, Nffam_list = {}, {}
411    function add_ffam_list(enc, fam)
412       if not ffam_list[enc] then ffam_list[enc] = {} end
413       ffam_list[enc][fam] = 'true '
414    end
415    function add_Nffam_list(enc, fam)
416       if not Nffam_list[enc] then Nffam_list[enc] = {} end
417       Nffam_list[enc][fam] = 'true '
418    end
419    function is_ffam(enc, fam)
420       tex.sprint(cat_lp, '\\let\\ifin@\\if'
421                  .. (ffam_list[enc] and ffam_list[enc][fam] or 'false ')) end
422    function is_Nffam(enc, fam)
423       tex.sprint(cat_lp, '\\let\\ifin@\\if'
424                  .. (Nffam_list[enc] and Nffam_list[enc][fam] or 'false ')) end
425 end
426 ------------------------------------------------------------------------
427 -- ALTERNATE FONTS
428 ------------------------------------------------------------------------
429 alt_font_table = {}
430 local alt_font_table = alt_font_table
431 local attr_curaltfnt = {}
432 local ucs_out = 0x110000
433
434 ------ for TeX interface
435 -- EXT
436 function set_alt_font(b,e,ind,bfnt)
437    -- ind: 新フォント, bfnt: 基底フォント
438    if b>e then b, e = e, b end
439    if b*e<=0 then
440       ltjb.package_error('luatexja',
441                         'bad character range ([' .. b .. ',' .. e .. ']). ' ..
442                            'I take the intersection with [0x80, 0x10ffff].')
443       b, e = math.max(0x80,b),math.min(ucs_out-1,e)
444    elseif e<0 then -- b<e<0
445       -- do nothing
446    elseif b<0x80 or e>=ucs_out then
447       ltjb.package_warning('luatexja',
448                            'bad character range ([' .. b .. ',' .. e .. ']). ' ..
449                               'I take the intersection with [0x80, 0x10ffff].')
450       b, e = math.max(0x80,b), math.min(ucs_out-1,e)
451    end
452    if not alt_font_table[bfnt] then alt_font_table[bfnt]={} end
453    local t = alt_font_table[bfnt]
454    local ac = font_getfont(ind).characters
455    if bfnt==ind then ind = nil end -- ind == bfnt の場合はテーブルから削除
456    if e>=0 then -- character range
457       for i=b, e do
458          if ac[i]then  t[i]=ind end
459       end
460    else
461       b, e = -e, -b
462       local tx = font_metric_table[bfnt].chars
463       for i,v in pairs(tx) do
464          if b<=v and v<=e and ac[i] then t[i]=ind end
465       end
466    end
467 end
468
469 -- EXT
470 function clear_alt_font(bfnt)
471    if alt_font_table[bfnt] then
472       local t = alt_font_table[bfnt]
473       for i,_ in pairs(t) do t[i]=nil; end
474    end
475 end
476
477 ------ used in ltjp.suppress_hyphenate_ja callback
478 function replace_altfont(pf, pc)
479    local a = alt_font_table[pf]
480    return a and a[pc] or pf
481 end
482
483 ------ for LaTeX interface
484
485 local alt_font_table_latex = {}
486
487 -- EXT
488 function clear_alt_font_latex(bbase)
489    local t = alt_font_table_latex[bbase]
490    if t then
491       for j,v in pairs(t) do t[j] = nil end
492    end
493 end
494
495 -- EXT
496 function set_alt_font_latex(b,e,ind,bbase)
497    -- ind: Alt font の enc/fam/ser/shape, bbase: 基底フォントの enc/fam/ser/shape
498    if b>e then b, e = e, b end
499    if b*e<=0 then
500       ltjb.package_error('luatexja',
501                         'bad character range ([' .. b .. ',' .. e .. ']). ' ..
502                            'I take the intersection with [0x80, 0x10ffff].')
503       b, e = math.max(0x80,b),math.min(ucs_out-1,e)
504    elseif e<0 then -- b<e<0
505       -- do nothing
506    elseif b<0x80 or e>=ucs_out then
507       ltjb.package_warning('luatexja',
508                            'bad character range ([' .. b .. ',' .. e .. ']). ' ..
509                               'I take the intersection with [0x80, 0x10ffff].')
510       b, e = math.max(0x80,b), math.min(ucs_out-1,e)
511    end
512
513    if not alt_font_table_latex[bbase] then alt_font_table_latex[bbase]={} end
514    local t = alt_font_table_latex[bbase]
515    if not t[ind] then t[ind] = {} end
516    for i=b, e do
517       for j,v in pairs(t) do
518          if v[i] then -- remove old entry
519             if j~=ind then v[i]=nil end; break
520          end
521       end
522       t[ind][i]=true
523    end
524    -- remove the empty tables
525    for j,v in pairs(t) do
526       local flag_clear = true
527       for k,_ in pairs(v) do flag_clear = false; break end
528       if flag_clear then t[j]=nil end
529    end
530    if ind==bbase  then t[bbase] = nil end
531 end
532
533 -- ここから先は 新 \selectfont の内部でしか実行されない
534 do
535    local alt_font_base, alt_font_base_num
536    local aftl_base
537    -- EXT
538    function does_alt_set(bbase)
539       aftl_base = alt_font_table_latex[bbase]
540       tex.sprint(cat_lp, '\\if' .. (aftl_base and 'true' or 'false'))
541    end
542    -- EXT
543    function print_aftl_address()
544       tex.sprint(cat_lp, ';ltjaltfont' .. tostring(aftl_base):sub(8))
545    end
546
547 -- EXT
548    function output_alt_font_cmd(dir, bbase)
549       alt_font_base = bbase
550       if dir == 't' then
551          alt_font_base_num = tex.getattribute(attr_curtfnt)
552       else
553          alt_font_base_num = tex.getattribute(attr_curjfnt)
554       end
555       local t = alt_font_table[alt_font_base_num]
556       if t then
557          for i,_ in pairs(t) do t[i]=nil end
558       end
559       t = alt_font_table_latex[bbase]
560       if t then
561        for i,_ in pairs(t) do
562             tex.sprint(cat_lp, '\\ltj@pickup@altfont@aux' .. dir .. '{' .. i .. '}')
563          end
564       end
565    end
566
567 -- EXT
568    function pickup_alt_font_a(size_str)
569       local t = alt_font_table_latex[alt_font_base]
570       if t then
571          for i,v in pairs(t) do
572             tex.sprint(cat_lp, '\\expandafter\\ltj@pickup@altfont@copy'
573                           .. '\\csname ' .. i .. '/' .. size_str .. '\\endcsname{' .. i .. '}')
574          end
575       end
576    end
577
578    local function pickup_alt_font_class(class, afnt_num, afnt_chars)
579       local t  = alt_font_table[alt_font_base_num]
580       local tx = font_metric_table[alt_font_base_num].chars
581       for i,v in pairs(tx) do
582          if v==class and afnt_chars[i] then t[i]=afnt_num end
583       end
584    end
585
586 -- EXT
587    function pickup_alt_font_b(afnt_num, afnt_base)
588       local t = alt_font_table[alt_font_base_num]
589       local ac = font_getfont(afnt_num).characters
590       if not t then t = {}; alt_font_table[alt_font_base_num] = t end
591       for i,v in pairs(alt_font_table_latex[alt_font_base]) do
592          if i == afnt_base then
593             for j,_ in pairs(v) do
594                if j>=0 then
595                   if ac[j] then t[j]=afnt_num end
596                else  -- -n (n>=1) means that the character class n,
597                      -- which is defined in the JFM
598                   pickup_alt_font_class(-j, afnt_num, ac)
599                end
600             end
601             return
602          end
603       end
604    end
605
606 end
607 ------------------------------------------------------------------------
608 -- 終了時に各種ノードを破棄
609 ------------------------------------------------------------------------
610 do
611    function cleanup_size_cache()
612       --local gs, ke = 0, 0
613       for _,n in pairs(metrics) do
614          for i,t in pairs(n.size_cache) do
615             for _,v in pairs(t.char_type) do
616                for k,w in pairs(v) do
617                   if type(k)=='number' then
618                      --if w[1] then gs = gs + 1 else ke = ke + 1 end
619                      node_free(w[2])
620                   end
621                end
622             end
623             n.size_cache[i]=nil
624          end
625       end
626       --print('glue spec: ', gs, 'kern: ', ke)
627    end
628 end
629
630 ------------------------------------------------------------------------
631 -- 追加のフォント情報
632 ------------------------------------------------------------------------
633 font_extra_info = {}
634 local font_extra_info = font_extra_info -- key: fontnumber
635 local font_extra_basename = {} -- key: basename
636
637 -- IVS and vertical metrics
638 local prepare_fl_data
639 local supply_vkern_table
640 do
641    local fields = fontloader.fields
642    local function glyph_vmetric(glyph)
643       local flds = fields(glyph)
644       local vw, tsb, vk = nil, nil, nil
645       for _,i in ipairs(flds) do
646          if i=='vwidth' then vw = glyph.vwidth end
647          if i=='tsidebearing' then tsb = glyph.tsidebearing end
648          if i=='vkerns' then vk = glyph.vkerns end
649       end
650       return vw, tsb, vk
651    end
652
653    local sort = table.sort
654    local function add_fl_table(dest, tg, unitable, glyphmax, asc_des, units)
655       for i = 0, glyphmax-1 do
656          local gv = tg[i]
657          if gv then
658             if gv.altuni then
659                for _,at in pairs(gv.altuni) do
660                   local bu, vsel = at.unicode, at.variant
661                   if vsel then
662                      if vsel>=0xE0100 then vsel = vsel - 0xE0100 end
663                      dest = dest or {}; dest[bu] = dest[bu] or {}
664                      local uniq_flag = true
665                      for i,_ in pairs(dest[bu]) do
666                         if i==vs then uniq_flag = false; break end
667                      end
668                      if uniq_flag then
669                         dest[bu][vsel] = unitable[gv.name]
670                      end
671                   end
672                end
673             end
674             -- vertical metric
675             local vw, tsb, vk = glyph_vmetric(gv)
676             local gi = unitable[gv.name]
677             if gi and vw and vw~=asc_des then
678                -- We do not use tsidebearing, since (1) fontloader does not read VORG table
679                -- and (2) 'tsidebearing' doea not appear in the returned table by fontloader.fields.
680                -- Hence, we assume that vertical origin == ascender
681                -- (see capsule_glyph_tate in ltj-setwidth.lua)
682                dest = dest or {}; dest[gi] = dest[gi] or {}
683                dest[gi].vwidth = vw/units
684             end
685             -- vertical kern
686             if gi and vk then
687                dest = dest or {};
688                local dest_vk = dest.vkerns or {}; dest.vkerns = dest_vk
689                for _,v in pairs(vk) do
690                   if unitable[v.char] then
691                      local vl = v.lookup
692                      if type(vl)=='table' then
693                         for _,vlt in pairs(vl) do
694                            dest_vk[vlt] = dest_vk[vlt] or {}
695                            dest_vk[vlt][gi] = dest_vk[vlt][gi] or {}
696                            dest_vk[vlt][gi][unitable[v.char]] = v.off
697                         end
698                      else
699                         dest_vk[vl] = dest_vk[vl] or {}
700                         dest_vk[vl][gi] = dest_vk[vl][gi] or {}
701                         dest_vk[vl][gi][unitable[v.char]] = v.off
702                      end
703                   end
704                end
705             end
706          end
707       end
708       return dest
709    end
710    prepare_fl_data = function (dest, id)
711       local fl = fontloader.open(id.filename)
712       local unicodes = id.resources.unicodes
713       if fl.glyphs then
714          dest = add_fl_table(dest, fl.glyphs, id.resources.unicodes, fl.glyphmax,
715                              fl.ascent + fl.descent, fl.units_per_em)
716       end
717       if fl.subfonts then
718          for _,v in pairs(fl.subfonts) do
719             dest = add_fl_table(dest, v.glyphs, id.resources.unicodes, v.glyphmax,
720                                 fl.ascent + fl.descent, fl.units_per_em)
721          end
722       end
723       fontloader.close(fl); collectgarbage("collect")
724       return dest
725    end
726    -- supply vkern table
727    supply_vkern_table = function(id, bname)
728       local bx = font_extra_basename[bname].vkerns
729       local lookuphash =  id.resources.lookuphash
730       local desc = id.shared.rawdata.descriptions
731       if bx then
732          for i,v in pairs(bx) do
733             lookuphash[i] = lookuphash[i] or v
734             for j,w in pairs(v) do
735                desc[j].kerns = desc[j].kerns or {}
736                desc[j].kerns[i] = w
737             end
738          end
739       end
740    end
741 end
742
743 --
744 do
745    local cache_ver = 6
746    local checksum = file.checksum
747
748    local function prepare_extra_data_base(id)
749       if not id then return end
750       local bname = file.nameonly(id.filename or '')
751       if not font_extra_basename[bname] then
752          -- if the cache is present, read it
753          local newsum = checksum(id.filename) -- MD5 checksum of the fontfile
754          local v = "extra_" .. string.lower(file.nameonly(id.filename))
755          local dat = ltjb.load_cache(
756             v,
757             function (t) return (t.version~=cache_ver) or (t.chksum~=newsum) end
758          )
759          -- if the cache is not found or outdated, save the cache
760          if dat then
761             font_extra_basename[bname] = dat[1] or {}
762          else
763             local dat = nil
764             dat = prepare_fl_data(dat, id)
765             font_extra_basename[bname] = dat or {}
766             ltjb.save_cache( v,
767                              {
768                                 chksum = checksum(id.filename),
769                                 version = cache_ver,
770                                 dat,
771                              })
772          end
773          return bname
774       end
775    end
776    local function prepare_extra_data_font(id, res)
777       if type(res)=='table' and res.shared then
778          font_extra_info[id] = font_extra_basename[file.nameonly(res.filename)]
779       end
780    end
781     luatexbase.add_to_callback(
782        'luaotfload.patch_font',
783        function (tfmdata)
784           -- these function is executed one time per one fontfile
785           local bname = prepare_extra_data_base(tfmdata)
786           if bname then supply_vkern_table(tfmdata, bname) end
787           return tfmdata
788        end,
789        'ltj.prepare_extra_data', 1)
790    luatexbase.add_to_callback(
791       'luatexja.define_font',
792       function (res, name, size, id)
793          prepare_extra_data_font(id, res)
794       end,
795       'ltj.prepare_extra_data', 1)
796
797    local nulltable = {} -- dummy
798    ltjr.vert_addfunc = function (n) font_extra_info[n] = nulltable end
799
800    local identifiers = fonts.hashes.identifiers
801    for i=1,font.nextid()-1 do
802       if identifiers[i] then
803          prepare_extra_data_base(identifiers[i])
804          prepare_extra_data_font(i,identifiers[i])
805       end
806    end
807 end
808
809
810 ------------------------------------------------------------------------
811 -- calculate vadvance
812 ------------------------------------------------------------------------
813 do
814    local function acc_feature(table_vadv, table_vorg, subtables, ft,  already_vert)
815       for char_num,v in pairs(ft.shared.rawdata.descriptions) do
816          if v.slookups then
817             for sn, sv in pairs(v.slookups) do
818                if subtables[sn] and type(sv)=='table' then
819                   if sv[4]~=0 then
820                      table_vadv[char_num]
821                         = (table_vadv[char_num] or 0) + sv[4]
822                   end
823                   if sv[2]~=0 and not already_vert then
824                      table_vorg[char_num]
825                         = (table_vorg[char_num] or 0) + sv[2]
826                   end
827                end
828             end
829          end
830       end
831    end
832
833 luatexbase.add_to_callback(
834    "luatexja.define_jfont",
835    function (fmtable, fnum)
836       local vadv = {}; fmtable.v_advance = vadv
837       local vorg = {}; fmtable.v_origin = vorg
838       local ft = font_getfont(fnum)
839       local subtables = {}
840       if ft.specification then
841          for feat_name,v in pairs(ft.specification.features.normal) do
842             if v==true then
843                for _,i in pairs(ft.resources.sequences) do
844                   if i.order[1]== feat_name and i.type == 'gpos_single' then
845                      for _,st in pairs(i.subtables) do
846                         subtables[st] = true
847                      end
848                   end
849                end
850             end
851          end
852          acc_feature(vadv, vorg, subtables, ft,
853                      ft.specification.features.normal.vrt2 or ft.specification.features.normal.vert)
854          for i,v in pairs(vadv) do
855             vadv[i]=vadv[i]/ft.units_per_em*fmtable.size
856          end
857          for i,v in pairs(vorg) do
858             vorg[i]=vorg[i]/ft.units_per_em*fmtable.size
859          end
860       end
861       return fmtable
862    end, 1, 'ltj.v_advance'
863 )
864 end
865 ------------------------------------------------------------------------
866 -- MISC
867 ------------------------------------------------------------------------
868 do
869    local getfont = (Dnode ~= node) and Dnode.getfont or function(n) return n.font end
870    local getchar = (Dnode ~= node) and Dnode.getchar or function(n) return n.char end
871    local get_dir_count = ltjd.get_dir_count
872    local is_ucs_in_japanese_char = ltjc.is_ucs_in_japanese_char_direct
873    local ensure_tex_attr = ltjb.ensure_tex_attr
874    local node_write = Dnode.write
875    local font = font
876    local ITALIC       = luatexja.icflag_table.ITALIC
877    -- EXT: italic correction
878    function append_italic()
879       local p = to_direct(tex.nest[tex.nest.ptr].tail)
880       local TEMP = node_new(id_kern)
881       if p and getid(p)==id_glyph then
882          if is_ucs_in_japanese_char(p) then
883             local j = font_metric_table[
884                has_attr(p, (get_dir_count()==dir_tate) and attr_curtfnt or attr_curjfnt)
885                ]
886             local g = node_new(id_kern)
887             setfield(g, 'subtype', 1); set_attr(g, attr_icflag, ITALIC)
888             setfield(g, 'kern', j.char_type[find_char_class(getchar(p), j)].italic)
889             node_write(g); ensure_tex_attr(attr_icflag, 0)
890          else
891             local f = getfont(p)
892             local h = font_getfont(f) or font.fonts[f]
893             if h then
894                local g = node_new(id_kern)
895                setfield(g, 'subtype', 1); set_attr(g, attr_icflag, ITALIC)
896                setfield(g, 'kern', h.characters[getchar(p)].italic)
897                node_write(g); ensure_tex_attr(attr_icflag, 0)
898             end
899          end
900       end
901       node_free(TEMP)
902    end
903 end