OSDN Git Service

fig a bug in lltjext + array
[luatex-ja/luatexja.git] / src / ltj-jfont.lua
index 76ca9ff..df596b5 100644 (file)
@@ -3,7 +3,7 @@
 --
 luatexbase.provides_module({
   name = 'luatexja.jfont',
-  date = '2015/02/08',
+  date = '2017/05/05',
   description = 'Loader for Japanese fonts',
 })
 module('luatexja.jfont', package.seeall)
@@ -13,19 +13,14 @@ luatexja.load_module('charrange'); local ltjc = luatexja.charrange
 luatexja.load_module('rmlgbm');    local ltjr = luatexja.rmlgbm
 luatexja.load_module('direction'); local ltjd = luatexja.direction
 
+local setfield = node.direct.setfield
+local getid = node.direct.getid
+local to_direct = node.direct.todirect
 
-local Dnode = node.direct or node
-
-local setfield = (Dnode ~= node) and Dnode.setfield or function(n, i, c) n[i] = c end
-local getid = (Dnode ~= node) and Dnode.getid or function(n) return n.id end
-
-local nullfunc = function(n) return n end
-local to_direct = (Dnode ~= node) and Dnode.todirect or nullfunc
-
-local node_new = Dnode.new
-local node_free = Dnode.free
-local has_attr = Dnode.has_attribute
-local set_attr = Dnode.set_attribute
+local node_new = node.direct.new
+local node_free = node.direct.free
+local has_attr = node.direct.has_attribute
+local set_attr = node.direct.set_attribute
 local round = tex.round
 local font_getfont = font.getfont
 
@@ -34,11 +29,8 @@ local attr_curjfnt = luatexbase.attributes['ltj@curjfnt']
 local attr_curtfnt = luatexbase.attributes['ltj@curtfnt']
 local id_glyph = node.id('glyph')
 local id_kern = node.id('kern')
-local id_glue_spec = node.id('glue_spec')
-local id_glue = node.id('glue')
 local cat_lp = luatexbase.catcodetables['latex-package']
 local FROM_JFM     = luatexja.icflag_table.FROM_JFM
-
 ------------------------------------------------------------------------
 -- LOADING JFM
 ------------------------------------------------------------------------
@@ -48,9 +40,19 @@ font_metric_table={} -- [font number] -> jfm_name, jfm_var, size
 
 luatexbase.create_callback("luatexja.load_jfm", "data", function (ft, jn) return ft end)
 
-local jfm_file_name, jfm_var
+local jfm_file_name, jfm_var, jfm_ksp
 local defjfm_res
-local jfm_dir, is_def_jfont
+local jfm_dir, is_def_jfont, is_vert_enabled
+
+local function norm_val(a)
+   if (not a) or (a==0.) then
+      return nil
+   elseif a==true then
+      return 1
+   else
+      return a
+   end
+end
 
 function define_jfm(t)
    local real_char -- Does current character class have the 'real' character?
@@ -59,21 +61,19 @@ function define_jfm(t)
    elseif type(t.zw)~='number' or type(t.zh)~='number' then
       defjfm_res= nil; return
    end
+   t.version = (type(t.version)=='number') and t.version or 1
    t.char_type = {}; t.chars = {}
    for i,v in pairs(t) do
       if type(i) == 'number' then -- char_type
         if not v.chars then
            if i ~= 0 then defjfm_res= nil; return  end
-           real_char = true
         else
-           real_char = false
            for j,w in pairs(v.chars) do
               if type(w) == 'number' and w~=-1 then
-                 real_char = true;
               elseif type(w) == 'string' and utf.len(w)==1 then
-                 real_char = true; w = utf.byte(w)
+                 w = utf.byte(w)
               elseif type(w) == 'string' and utf.len(w)==2 and utf.sub(w,2) == '*' then
-                 real_char = true; w = utf.byte(utf.sub(w,1,1))
+                 w = utf.byte(utf.sub(w,1,1))
               end
               if not t.chars[w] then
                  t.chars[w] = i
@@ -81,44 +81,81 @@ function define_jfm(t)
                  defjfm_res= nil; return
               end
            end
-            if type(v.align)~='string' then
-               v.align = 'left' -- left
-            end
-           if real_char then
-              if type(v.width)~='number' and v.width~='prop' then
-                 defjfm_res= nil; return
-              else
-                 if v.width=='prop' and jfm_dir=='tate' then
-                    v.width = 1.0
-                 end
-                 if type(v.height)~='number' then
-                    v.height = 0.0
-                 end
-                 if type(v.depth)~='number' then
-                    v.depth = 0.0
-                 end
-                 if type(v.italic)~='number' then
-                    v.italic = 0.0
-                 end
-                 if type(v.left)~='number' then
-                    v.left = 0.0
-                 end
-                 if type(v.down)~='number' then
-                    v.down = 0.0
-                 end
+           v.chars = nil
+        end
+        if type(v.align)~='string' then
+           v.align = 'left' -- left
+        end
+        if type(v.width)~='number' then
+           v.width = nil
+        end
+        if type(v.height)~='number' then
+           v.height = (jfm_dir=='tate') and  0.0
+        end
+        if type(v.depth)~='number' then
+           v.depth =  (jfm_dir=='tate') and  0.0
+        end
+        if type(v.italic)~='number' then
+           v.italic = 0.0
+        end
+        if type(v.left)~='number' then
+           v.left = 0.0
+        end
+        if type(v.down)~='number' then
+           v.down = 0.0
+        end
+        if t.version>=2 then
+           if v.end_stretch then defjfm_res= nil; return end
+           if v.end_shrink  then defjfm_res= nil; return end
+           if v.end_adjust then
+              if type(v.end_adjust)~='table' then
+                 v.end_adjust = nil
+              elseif #(v.end_adjust)==0 then
+                 v.end_adjust = nil
+              else 
+                 table.sort(v.end_adjust)
               end
            end
-           v.chars = nil
+        else
+           v.end_adjust = nil
+           if v.end_stretch and v.end_stretch~=0.0 then 
+              v.end_adjust = (v.end_adjust or {}) 
+              v.end_adjust[#(v.end_adjust)+1] = v.end_stretch
+           end
+           if v.end_shrink and v.end_ahrink~=0.0 then 
+              v.end_adjust = (v.end_adjust or {}) 
+              v.end_adjust[#(v.end_adjust)+1] = -v.end_shrink
+           end
+           if v.end_adjust then v.end_adjust[#(v.end_adjust)+1] = 0.0 end
         end
         v.kern = v.kern or {}; v.glue = v.glue or {}
-        for j in pairs(v.glue) do
+        for j,x in pairs(v.glue) do
            if v.kern[j] then defjfm_res= nil; return end
+           x.ratio, x[5] = (x.ratio or (x[5] and 0.5*(1+x[5]) or 0.5)), nil
+           do
+              local xp
+              xp, x[4] = (x.priority or x[4]), nil
+              if type(xp)=='table' and t.version>=2 then
+                 if type(xp[1])~='number' or xp[1]<-4 or xp[1]>3 then defjfm_res=nil end  -- stretch
+                 if type(xp[2])~='number' or xp[2]<-4 or xp[2]>3 then defjfm_res=nil end  -- shrink
+                 xp = (xp[1]+4)*8+(xp[2]+4)
+              elseif xp and type(xp)~='number' then
+                 defjfm_res = nil
+              else
+                 xp = (xp or 0)*9+36   
+                 if xp<0 or xp>=64 then defjfm_res=nil end 
+              end
+              x.priority = xp
+           end
+           x.kanjiskip_natural = norm_val(x.kanjiskip_natural)
+           x.kanjiskip_stretch = norm_val(x.kanjiskip_stretch)
+           x.kanjiskip_shrink = norm_val(x.kanjiskip_shrink)
         end
         for j,x in pairs(v.kern) do
            if type(x)=='number' then
-               v.kern[j] = {x, 0}
+               v.kern[j] = {x, 0.5}
             elseif type(x)=='table' then
-               v.kern[j] = {x[1], x[2] or 0}
+               v.kern[j] = { x[1], (x.ratio or (x[2] and 0.5*(1+x[2]) or 0.5)) }
             end
         end
         t.char_type[i] = v
@@ -147,10 +184,8 @@ do
         return new
       else return nil end
    end
-
    update_jfm_cache = function (j,sz)
       if metrics[j].size_cache[sz] then return end
-      --local TEMP = node_new(id_kern)
       local t = {}
       metrics[j].size_cache[sz] = t
       t.chars = metrics[j].chars
@@ -160,20 +195,21 @@ do
            ((v.align=='right') and 1 or 0.5)
         if type(i) == 'number' then -- char_type
            for k,w in pairs(v.glue) do
-              local h = node_new(id_glue_spec)
-              v[k] = {true, h, (w[5] and w[5]/sz or 0), FROM_JFM + (w[4] and w[4]/sz or 0)}
-              setfield(h, 'width', w[1])
-              setfield(h, 'stretch', w[2])
-              setfield(h, 'shrink', w[3])
-              setfield(h, 'stretch_order', 0)
-              setfield(h, 'shrink_order', 0)
+              v[k] = {
+                 nil,
+                 ratio=w.ratio/sz,
+                 priority=FROM_JFM + w.priority/sz,
+                 width = w[1], stretch = w[2], shrink = w[3],
+                 kanjiskip_natural = w.kanjiskip_natural and w.kanjiskip_natural/sz,
+                 kanjiskip_stretch = w.kanjiskip_stretch and w.kanjiskip_stretch/sz,
+                 kanjiskip_shrink =  w.kanjiskip_shrink  and w.kanjiskip_shrink/sz,
+              }
            end
            for k,w in pairs(v.kern) do
-              local g = node_new(id_kern)
+              local g = node_new(id_kern, 1)
               setfield(g, 'kern', w[1])
-              setfield(g, 'subtype', 1)
               set_attr(g, attr_icflag, FROM_JFM)
-              v[k] = {false, g, w[2]/sz}
+              v[k] = {g, ratio=w[2]/sz}
            end
         end
         v.glue, v.kern = nil, nil
@@ -183,7 +219,6 @@ do
       t.zw = round(metrics[j].zw*sz)
       t.zh = round(metrics[j].zh*sz)
       t.size = sz
-      --node_free(TEMP)
    end
 end
 
@@ -242,12 +277,14 @@ do
    end
 
 -- EXT
-   function jfontdefX(g, dir)
+   local utf8 = unicode.utf8
+   function jfontdefX(g, dir, csname)
       jfm_dir, is_def_jfont = dir, true
-      local t = token.get_next()
-      cstemp=token.csname_name(t)
+      cstemp = csname:sub( (utf8.byte(csname,1,1) == tex.escapechar) and 2 or 1, -1)
+      cstemp = cstemp:sub(1, ((cstemp:sub(-1,-1)==' ') and (cstemp:len()>=2)) and -2 or -1)
       global_flag = g and '\\global' or ''
-      tex.sprint(cat_lp, '\\expandafter\\font\\csname ', cstemp, '\\endcsname')
+      tex.sprint(cat_lp, '\\expandafter\\font\\csname ',
+                (cstemp==' ') and '\\space' or cstemp, '\\endcsname')
    end
 
    luatexbase.create_callback("luatexja.define_jfont", "data", function (ft, fn) return ft end)
@@ -263,26 +300,30 @@ do
                            "bad JFM `" .. jfm_file_name .. "'",
                            'The JFM file you specified is not valid JFM file.\n'..
                               'So defining Japanese font is cancelled.')
-        tex.sprint(cat_lp, global_flag, '\\expandafter\\let\\csname ', cstemp,
+        tex.sprint(cat_lp, global_flag, '\\expandafter\\let\\csname ',
+                   (cstemp==' ') and '\\space' or cstemp,
                       '\\endcsname=\\relax')
         return
       end
+      if not f then return end
       update_jfm_cache(j, f.size)
       local ad = identifiers[fn].parameters
       local sz = metrics[j].size_cache[f.size]
       local fmtable = { jfm = j, size = f.size, var = jfm_var,
+                       with_kanjiskip = jfm_ksp,
                        zw = sz.zw, zh = sz.zh,
                        ascent = ad.ascender,
                        descent = ad.descender,
                        chars = sz.chars, char_type = sz.char_type,
                        kanjiskip = sz.kanjiskip, xkanjiskip = sz.xkanjiskip,
                         chars_cbcache = {},
+                       vert_activated = is_vert_enabled,
       }
 
       fmtable = luatexbase.call_callback("luatexja.define_jfont", fmtable, fn)
       font_metric_table[fn]=fmtable
       tex.sprint(cat_lp, global_flag, '\\protected\\expandafter\\def\\csname ',
-                   cstemp , '\\endcsname{\\ltj@cur'..
+                   (cstemp==' ') and '\\space' or cstemp, '\\endcsname{\\ltj@cur'..
                    (jfm_dir == 'yoko' and 'j' or 't') .. 'fnt', fn, '\\relax}')
    end
 end
@@ -308,7 +349,9 @@ do
    -- extract jfm_file_name and jfm_var
    -- normalize position of 'jfm=' and 'jfmvar=' keys
    local function extract_metric(name)
-      jfm_file_name = ''; jfm_var = ''
+      local is_braced = name:match('^{(.*)}$')
+       name= is_braced or name
+      jfm_file_name = ''; jfm_var = ''; jfm_ksp = true
       local tmp, index = name:sub(1, 5), 1
       if tmp == 'file:' or tmp == 'name:' or tmp == 'psft:' then
         index = 6
@@ -346,16 +389,22 @@ do
            name = name .. 'jfmvar=' .. jfm_var
         end
       end
+      for x in string.gmatch (name, "[:;]([+%%-]?)ltjks") do
+        jfm_ksp = not (x=='-')
+      end
       if jfm_dir == 'tate' then
+        is_vert_enabled = (not name:match('[:;]%-vert')) and (not  name:match('[:;]%-vrt2'))
          if not name:match('vert') and not name:match('vrt2') then
-            name = name .. ';vert;vrt2'
+            name = name .. ';+vert;+vrt2'
          end
+      else
+        is_vert_enabled = nil
       end
-      return name
+      return is_braced and ('{' .. name .. '}') or name
    end
 
    -- define_font callback
-   local otfl_fdr = fonts.definers.read
+   local otfl_fdr
    local ltjr_font_callback = ltjr.font_callback
    function luatexja.font_callback(name, size, id)
       local new_name = is_def_jfont and extract_metric(name) or name
@@ -366,6 +415,7 @@ do
       return res
    end
    luatexbase.create_callback('luatexja.define_font', 'simple', function (n) return n end)
+   otfl_fdr= luatexbase.remove_from_callback('define_font', 'luaotfload.define_font')
    luatexbase.add_to_callback('define_font',luatexja.font_callback,"luatexja.font_callback", 1)
 end
 
@@ -374,7 +424,8 @@ end
 ------------------------------------------------------------------------
 do
    -- these function are called from ltj-latex.sty
-   local kyenc_list, ktenc_list = {}, {}
+   local fenc_list, kyenc_list, ktenc_list = {}, {}, {}
+   function add_fenc_list(enc) fenc_list[enc] = 'true ' end
    function add_kyenc_list(enc) kyenc_list[enc] = 'true ' end
    function add_ktenc_list(enc) ktenc_list[enc] = 'true ' end
    function is_kyenc(enc)
@@ -389,36 +440,57 @@ do
    end
 
    local kfam_list, Nkfam_list = {}, {}
-   function add_kfam_list(enc, fam)
-      if not kfam_list[enc] then kfam_list[enc] = {} end
-      kfam_list[enc][fam] = 'true '
+   function add_kfam(fam)
+      kfam_list[fam]=true
    end
-   function add_Nkfam_list(enc, fam)
-      if not Nkfam_list[enc] then Nkfam_list[enc] = {} end
-      Nkfam_list[enc][fam] = 'true '
+   function search_kfam(fam, use_fd)
+      if kfam_list[fam] then
+        tex.sprint(cat_lp, '\\let\\ifin@\\iftrue '); return
+      elseif Nkfam_list[fam] then
+        tex.sprint(cat_lp, '\\let\\ifin@\\iffalse '); return
+      elseif use_fd then
+        for i,_ in pairs(kyenc_list) do
+           if kpse.find_file(string.lower(i)..fam..'.fd') then
+              tex.sprint(cat_lp, '\\let\\ifin@\\iftrue '); return
+           end
+        end
+        for i,_ in pairs(ktenc_list) do
+           if kpse.find_file(string.lower(i)..fam..'.fd') then
+              tex.sprint(cat_lp, '\\let\\ifin@\\iftrue '); return
+           end
+        end
+        Nkfam_list[fam]=true; tex.sprint(cat_lp, '\\let\\ifin@\\iffalse '); return
+      else
+        tex.sprint(cat_lp, '\\let\\ifin@\\iffalse '); return
+      end
    end
-   function is_kfam(enc, fam)
-      tex.sprint(cat_lp, '\\let\\ifin@\\if'
-                .. (kfam_list[enc] and kfam_list[enc][fam] or 'false ')) end
-   function is_Nkfam(enc, fam)
-      tex.sprint(cat_lp, '\\let\\ifin@\\if'
-                .. (Nkfam_list[enc] and Nkfam_list[enc][fam] or 'false ')) end
-
    local ffam_list, Nffam_list = {}, {}
-   function add_ffam_list(enc, fam)
-      if not ffam_list[enc] then ffam_list[enc] = {} end
-      ffam_list[enc][fam] = 'true '
+   function is_ffam(fam)
+      tex.sprint(cat_lp, '\\let\\ifin@\\if' .. (ffam_list[fam] or 'false '))
    end
-   function add_Nffam_list(enc, fam)
-      if not Nffam_list[enc] then Nffam_list[enc] = {} end
-      Nffam_list[enc][fam] = 'true '
+   function add_ffam(fam)
+      ffam_list[fam]='true '
    end
-   function is_ffam(enc, fam)
-      tex.sprint(cat_lp, '\\let\\ifin@\\if'
-                .. (ffam_list[enc] and ffam_list[enc][fam] or 'false ')) end
-   function is_Nffam(enc, fam)
-      tex.sprint(cat_lp, '\\let\\ifin@\\if'
-                .. (Nffam_list[enc] and Nffam_list[enc][fam] or 'false ')) end
+   function search_ffam_declared()
+     local s = ''
+     for i,_ in pairs(fenc_list) do
+       s = s .. '\\cdp@elt{' .. i .. '}'
+     end
+     tex.sprint(cat_lp, s)
+   end
+   function search_ffam_fd(fam)
+      if Nffam_list[fam] then
+        tex.sprint(cat_lp, '\\let\\ifin@\\iffalse '); return
+      else
+        for i,_ in pairs(fenc_list) do
+           if kpse.find_file(string.lower(i)..fam..'.fd') then
+              tex.sprint(cat_lp, '\\let\\ifin@\\iftrue '); return
+           end
+        end
+        Nffam_list[fam]=true; tex.sprint(cat_lp, '\\let\\ifin@\\iffalse '); return
+      end
+   end
+
 end
 ------------------------------------------------------------------------
 -- ALTERNATE FONTS
@@ -613,18 +685,29 @@ do
               for k,w in pairs(v) do
                  if type(k)=='number' then
                     --if w[1] then gs = gs + 1 else ke = ke + 1 end
-                    node_free(w[2])
+                    if w[1] then node_free(w[1]) end
                  end
               end
            end
            n.size_cache[i]=nil
         end
       end
-      --print('glue spec: ', gs, 'kern: ', ke)
    end
 end
 
 ------------------------------------------------------------------------
+-- VERT VARIANT TABLE
+------------------------------------------------------------------------
+local vert_form_table = {
+   [0x2013]=0xFE32, [0x2014]=0xFE31, [0x2025]=0xFE30,
+   [0xFF08]=0xFE35, [0xFF09]=0xFE36, [0xFF5B]=0xFE37, [0xFF5D]=0xFE38,
+   [0x3014]=0xFE39, [0x3015]=0xFE3A, [0x3010]=0xFE3B, [0x3011]=0xFE3C,
+   [0x300A]=0xFE3D, [0x300B]=0xFE3E, [0x3008]=0xFE3F, [0x3009]=0xFE40,
+   [0x300C]=0xFE41, [0x300D]=0xFE42, [0x300E]=0xFE43, [0x300F]=0xFE44,
+   [0xFF3B]=0xFE47, [0xFF3D]=0xFE48, [0xFF3F]=0xFE33,
+}
+
+------------------------------------------------------------------------
 -- 追加のフォント情報
 ------------------------------------------------------------------------
 font_extra_info = {}
@@ -648,8 +731,11 @@ do
    end
 
    local sort = table.sort
-   local function add_fl_table(dest, tg, unitable, glyphmax, asc_des, units)
-      for i = 0, glyphmax-1 do
+   local function add_fl_table(dest, glyphs, unitable, asc_des, units, id)
+      local glyphmin, glyphmax = glyphs.glyphmin, glyphs.glyphmax
+      if glyphmax < 0 then return dest end
+      local tg = glyphs.glyphs
+      for i = glyphmin, glyphmax do
         local gv = tg[i]
         if gv then
            if gv.altuni then
@@ -657,17 +743,30 @@ do
                  local bu, vsel = at.unicode, at.variant
                  if vsel then
                     if vsel>=0xE0100 then vsel = vsel - 0xE0100 end
-                    dest = dest or {}; dest[bu] = dest[bu] or {}
                     local uniq_flag = true
-                    for i,_ in pairs(dest[bu]) do
-                       if i==vs then uniq_flag = false; break end
-                    end
+                     if dest and dest[bu] then
+                       for i,_ in pairs(dest[bu]) do
+                          if i==vsel then uniq_flag = false; break end
+                       end
+                     end
                     if uniq_flag then
+                       dest = dest or {}; dest[bu] = dest[bu] or {}
                        dest[bu][vsel] = unitable[gv.name]
                     end
                  end
               end
            end
+           -- vertical form
+           local gi = unitable[gv.name]
+           if gi then
+              if unitable[gv.name .. '.vert'] then
+                 dest = dest or {}; dest[gi] = dest[gi] or {};
+                 dest[gi].vform = unitable[gv.name .. '.vert']
+              elseif id.characters[gi] and vert_form_table[gi] then
+                 dest = dest or {}; dest[gi] = dest[gi] or {};
+                 dest[gi].vform = vert_form_table[gi]
+              end
+           end
            -- vertical metric
            local vw, tsb, vk = glyph_vmetric(gv)
            local gi = unitable[gv.name]
@@ -705,27 +804,51 @@ do
       return dest
    end
    prepare_fl_data = function (dest, id)
-      local fl = fontloader.open(id.filename)
-      local unicodes = id.resources.unicodes
+      local t = fontloader.info(id.filename)
+      local fl
+      if t.filename then
+        fl = fontloader.open(id.filename)
+      else
+        fl = fontloader.open(id.filename, id.fullname)
+      end
+      local ind_to_uni, unicodes = {}, {}
+      for i,v in pairs(id.characters) do
+         ind_to_uni[v.index] = i
+      end
       if fl.glyphs then
-        dest = add_fl_table(dest, fl.glyphs, id.resources.unicodes, fl.glyphmax,
-                            fl.ascent + fl.descent, fl.units_per_em)
+        local tg, glyphmin, glyphmax = fl.glyphs, fl.glyphmin, fl.glyphmax
+         if 0 <= glyphmax then
+            for i = glyphmin, glyphmax do
+               if tg[i] and tg[i].name then unicodes[tg[i].name] = ind_to_uni[i] end
+           end
+        end
+        dest = add_fl_table(dest, fl, unicodes,
+                            fl.ascent + fl.descent, fl.units_per_em, id)
       end
       if fl.subfonts then
          for _,v in pairs(fl.subfonts) do
-            dest = add_fl_table(dest, v.glyphs, id.resources.unicodes, v.glyphmax,
-                               fl.ascent + fl.descent, fl.units_per_em)
+           local tg, glyphmin, glyphmax = v.glyphs, v.glyphmin, v.glyphmax
+            if 0 <= glyphmax then
+               for i = glyphmin, glyphmax do
+                  if tg[i] and tg[i].name then unicodes[tg[i].name] = ind_to_uni[i] end
+              end
+          end
+       end
+         for _,v in pairs(fl.subfonts) do
+            dest = add_fl_table(dest, v, unicodes,
+                               fl.ascent + fl.descent, fl.units_per_em, id)
          end
-      end
-      fontloader.close(fl); collectgarbage("collect")
-      return dest
+     end
+     if dest then dest.unicodes = unicodes end
+     fontloader.close(fl); collectgarbage("collect")
+     return dest
    end
    -- supply vkern table
    supply_vkern_table = function(id, bname)
       local bx = font_extra_basename[bname].vkerns
       local lookuphash =  id.resources.lookuphash
       local desc = id.shared.rawdata.descriptions
-      if bx then
+      if bx and lookuphash then
         for i,v in pairs(bx) do
            lookuphash[i] = lookuphash[i] or v
            for j,w in pairs(v) do
@@ -739,16 +862,16 @@ end
 
 --
 do
-   local cache_ver = 6
+   local cache_ver = 12
    local checksum = file.checksum
 
    local function prepare_extra_data_base(id)
-      if not id then return end
-      local bname = file.nameonly(id.filename or '')
+      if (not id) or (not id.filename) then return end
+      local bname = id.psname or file.nameonly(id.filename)
       if not font_extra_basename[bname] then
         -- if the cache is present, read it
         local newsum = checksum(id.filename) -- MD5 checksum of the fontfile
-        local v = "extra_" .. string.lower(file.nameonly(id.filename))
+        local v = "extra_" .. string.lower(bname)
         local dat = ltjb.load_cache(
            v,
            function (t) return (t.version~=cache_ver) or (t.chksum~=newsum) end
@@ -771,7 +894,7 @@ do
       end
    end
    local function prepare_extra_data_font(id, res)
-      if type(res)=='table' and res.shared then
+      if type(res)=='table' and res.shared and res.filename then
         font_extra_info[id] = font_extra_basename[file.nameonly(res.filename)]
       end
    end
@@ -836,9 +959,9 @@ luatexbase.add_to_callback(
       local subtables = {}
       if ft.specification then
         for feat_name,v in pairs(ft.specification.features.normal) do
-           if v==true then
+           if v==true and ft.resources then
               for _,i in pairs(ft.resources.sequences) do
-                 if i.order[1]== feat_name and i.type == 'gpos_single' then
+                 if i.order[1]== feat_name and i.type == 'gpos_single' and type(i.subtables)=='table' then
                     for _,st in pairs(i.subtables) do
                        subtables[st] = true
                     end
@@ -859,18 +982,57 @@ luatexbase.add_to_callback(
    end, 1, 'ltj.v_advance'
 )
 end
+
+------------------------------------------------------------------------
+-- supply tounicode entries
+------------------------------------------------------------------------
+do
+  local ltjr_prepare_cid_font = ltjr.prepare_cid_font
+  luatexbase.add_to_callback(
+     'luaotfload.patch_font',
+     function (tfmdata)
+       local cidinfo = tfmdata.cidinfo or tfmdata.resources.cidinfo
+       if cidinfo and cidinfo.registry and cidinfo.ordering then
+          local rd = ltjr_prepare_cid_font(cidinfo.registry, cidinfo.ordering)
+          if rd then
+             local ru, rc = rd.resources.unicodes, rd.characters
+             for i,v in pairs(tfmdata.characters) do
+                local w = ru["Japan1." .. tostring(v.index)]
+                if w then
+                   v.tounicode = v.tounicode or rc[w]. tounicode
+                end
+             end
+          end
+       end
+
+       return tfmdata
+     end,
+     'ltj.supply_tounicode', 1)
+end
+
+
 ------------------------------------------------------------------------
 -- MISC
 ------------------------------------------------------------------------
 do
-   local getfont = (Dnode ~= node) and Dnode.getfont or function(n) return n.font end
-   local getchar = (Dnode ~= node) and Dnode.getchar or function(n) return n.char end
+   local getfont = node.direct.getfont
+   local getchar = node.direct.getchar
    local get_dir_count = ltjd.get_dir_count
    local is_ucs_in_japanese_char = ltjc.is_ucs_in_japanese_char_direct
    local ensure_tex_attr = ltjb.ensure_tex_attr
-   local node_write = Dnode.write
+   local node_write = node.direct.write
    local font = font
-   local ITALIC       = luatexja.icflag_table.ITALIC
+   local new_ic_kern
+   if status.luatex_version>=89 then
+       new_ic_kern = function(g)  return node_new(id_kern,3) end
+   else
+       local ITALIC       = luatexja.icflag_table.ITALIC
+       new_ic_kern = function()
+         local g = node_new(id_kern, 1)
+         set_attr(g, attr_icflag, ITALIC)
+        return g
+       end
+   end
    -- EXT: italic correction
    function append_italic()
       local p = to_direct(tex.nest[tex.nest.ptr].tail)
@@ -880,21 +1042,22 @@ do
            local j = font_metric_table[
               has_attr(p, (get_dir_count()==dir_tate) and attr_curtfnt or attr_curjfnt)
               ]
-           local g = node_new(id_kern)
-           setfield(g, 'subtype', 1); set_attr(g, attr_icflag, ITALIC)
+           local g = new_ic_kern()
            setfield(g, 'kern', j.char_type[find_char_class(getchar(p), j)].italic)
            node_write(g); ensure_tex_attr(attr_icflag, 0)
         else
            local f = getfont(p)
            local h = font_getfont(f) or font.fonts[f]
            if h then
-              local g = node_new(id_kern)
-              setfield(g, 'subtype', 1); set_attr(g, attr_icflag, ITALIC)
-              setfield(g, 'kern', h.characters[getchar(p)].italic)
-              node_write(g); ensure_tex_attr(attr_icflag, 0)
+              local g = new_ic_kern()
+              if h.characters[getchar(p)] and h.characters[getchar(p)].italic then
+                 setfield(g, 'kern', h.characters[getchar(p)].italic)
+                 node_write(g); ensure_tex_attr(attr_icflag, 0)
+              end
            end
         end
       end
       node_free(TEMP)
    end
 end
+