OSDN Git Service

Bugfix: gi might be nil
[luatex-ja/luatexja.git] / src / ltj-jfont.lua
index afa2889..aa92ceb 100644 (file)
@@ -3,15 +3,16 @@
 --
 luatexbase.provides_module({
   name = 'luatexja.jfont',
-  date = '2014/02/01',
+  date = '2014/10/03',
   description = 'Loader for Japanese fonts',
 })
 module('luatexja.jfont', package.seeall)
 
 luatexja.load_module('base');      local ltjb = luatexja.base
 luatexja.load_module('charrange'); local ltjc = luatexja.charrange
+luatexja.load_module('rmlgbm');    local ltjr = luatexja.rmlgbm
+luatexja.load_module('direction'); local ltjd = luatexja.direction
 
-local mem_leak_glue, mem_leak_gs, mem_leak_kern = 0, 0, 0
 
 local Dnode = node.direct or node
 
@@ -33,6 +34,7 @@ local font_getfont = font.getfont
 
 local attr_icflag = luatexbase.attributes['ltj@icflag']
 local attr_curjfnt = luatexbase.attributes['ltj@curjfnt']
+local attr_curtfnt = luatexbase.attributes['ltj@curtfnt']
 local id_glyph = node.id('glyph')
 local id_kern = node.id('kern')
 local id_glue_spec = node.id('glue_spec')
@@ -52,7 +54,7 @@ luatexbase.create_callback("luatexja.load_jfm", "data", function (ft, jn) return
 
 local jfm_file_name, jfm_var
 local defjfm_res
-local jfm_dir
+local jfm_dir, is_def_jfont
 
 function define_jfm(t)
    local real_char -- Does current character class have the 'real' character?
@@ -70,17 +72,12 @@ function define_jfm(t)
         else
            real_char = false
            for j,w in pairs(v.chars) do
-              if type(w) == 'number' then
+              if type(w) == 'number' and w~=-1 then
                  real_char = true;
               elseif type(w) == 'string' and utf.len(w)==1 then
                  real_char = true; w = utf.byte(w)
               elseif type(w) == 'string' and utf.len(w)==2 and utf.sub(w,2) == '*' then
                  real_char = true; w = utf.byte(utf.sub(w,1,1))
-                  if not t.chars[-w] then
-                     t.chars[-w] = i
-                  else
-                     defjfm_res= nil; return
-                  end
               end
               if not t.chars[w] then
                  t.chars[w] = i
@@ -92,10 +89,12 @@ function define_jfm(t)
                v.align = 'left' -- left
             end
            if real_char then
-              if not (type(v.width)=='number'
-                      or (jfm_dir=='yoko' and v.width~='prop')) then
+              if type(v.width)~='number' and v.width~='prop' then
                  defjfm_res= nil; return
               else
+                 if v.width=='prop' and jfm_dir=='tate' then
+                    v.width = 1.0
+                 end
                  if type(v.height)~='number' then
                     v.height = 0.0
                  end
@@ -137,6 +136,11 @@ end
 
 local update_jfm_cache
 do
+   local node_copy = Dnode.copy
+   local kern_skel = node_new(id_kern)
+   set_attr(kern_skel, attr_icflag, FROM_JFM)
+   setfield(kern_skel, 'subtype', 1)
+
    local function mult_table(old,scale) -- modified from table.fastcopy
       if old then
         local new = { }
@@ -173,10 +177,8 @@ do
               setfield(h, 'shrink_order', 0)
            end
            for k,w in pairs(v.kern) do
-              local g = node_new(id_kern)
+              local g = node_copy(kern_skel)
               setfield(g, 'kern', w[1])
-              setfield(g, 'subtype', 1)
-              set_attr(g, attr_icflag, FROM_JFM)
               v[k] = {false, g, w[2]/sz}
            end
         end
@@ -186,6 +188,7 @@ do
       t.xkanjiskip = mult_table(metrics[j].xkanjiskip,sz)
       t.zw = round(metrics[j].zw*sz)
       t.zh = round(metrics[j].zh*sz)
+      t.size = sz
    end
 end
 
@@ -193,12 +196,25 @@ luatexbase.create_callback("luatexja.find_char_class", "data",
                           function (arg, fmtable, char)
                              return 0
                           end)
-
-function find_char_class(c,m)
--- c: character code, m:
-   if not m then return 0 end
-   return m.chars[c] or
-      luatexbase.call_callback("luatexja.find_char_class", 0, m, c)
+do
+   local start_time_measure = ltjb.start_time_measure
+   local stop_time_measure = ltjb.stop_time_measure
+   local fcc_temp = { chars_cbcache = {} }
+   setmetatable(
+      fcc_temp.chars_cbcache,
+      {
+         __index = function () return 0 end,
+      })
+   function find_char_class(c,m)
+      -- c: character code, m:
+      local r = (m or fcc_temp).chars_cbcache[c]
+      if not r then
+         r = m.chars[c] or
+            luatexbase.call_callback("luatexja.find_char_class", 0, m, c)
+         m.chars_cbcache[c or 0] = r
+      end
+      return r
+   end
 end
 
 
@@ -231,20 +247,20 @@ do
    end
 
 -- EXT
-   function jfontdefX(g)
+   function jfontdefX(g, dir)
+      jfm_dir, is_def_jfont = dir, true
       local t = token.get_next()
       cstemp=token.csname_name(t)
       global_flag = g and '\\global' or ''
-      tex.sprint(cat_lp, '\\expandafter\\font\\csname ' .. cstemp .. '\\endcsname')
+      tex.sprint(cat_lp, '\\expandafter\\font\\csname ', cstemp, '\\endcsname')
    end
 
    luatexbase.create_callback("luatexja.define_jfont", "data", function (ft, fn) return ft end)
 
 -- EXT
    local identifiers = fonts.hashes.identifiers
-   function jfontdefY(dir)
-      jfm_dir = dir
-      local j = load_jfont_metric(dir)
+   function jfontdefY()
+      local j = load_jfont_metric(jfm_dir)
       local fn = font.id(cstemp)
       local f = font_getfont(fn)
       if not j then
@@ -252,8 +268,8 @@ do
                            "bad JFM `" .. jfm_file_name .. "'",
                            'The JFM file you specified is not valid JFM file.\n'..
                               'So defining Japanese font is cancelled.')
-        tex.sprint(cat_lp, global_flag .. '\\expandafter\\let\\csname ' ..cstemp
-                      .. '\\endcsname=\\relax')
+        tex.sprint(cat_lp, global_flag, '\\expandafter\\let\\csname ', cstemp,
+                      '\\endcsname=\\relax')
         return
       end
       update_jfm_cache(j, f.size)
@@ -265,62 +281,97 @@ do
                        descent = ad.descender,
                        chars = sz.chars, char_type = sz.char_type,
                        kanjiskip = sz.kanjiskip, xkanjiskip = sz.xkanjiskip,
+                        chars_cbcache = {},
       }
 
       fmtable = luatexbase.call_callback("luatexja.define_jfont", fmtable, fn)
       font_metric_table[fn]=fmtable
-      tex.sprint(cat_lp, global_flag .. '\\protected\\expandafter\\def\\csname '
-                   .. cstemp  .. '\\endcsname{\\ltj@cur'
-                   .. (dir == 'yoko' and 'j' or 't') .. 'fnt=' .. fn .. '\\relax}')
+      tex.sprint(cat_lp, global_flag, '\\protected\\expandafter\\def\\csname ',
+                   cstemp , '\\endcsname{\\ltj@cur'..
+                   (jfm_dir == 'yoko' and 'j' or 't') .. 'fnt', fn, '\\relax}')
    end
 end
 
 do
+   local get_dir_count = ltjd.get_dir_count
+   local dir_tate = luatexja.dir_table.dir_tate
+   local tex_get_attr = tex.getattribute
    -- PUBLIC function
    function get_zw()
-      local a = font_metric_table[tex.attribute[attr_curjfnt]]
+      local a = font_metric_table[
+        tex_get_attr((get_dir_count()==dir_tate) and attr_curtfnt or attr_curjfnt)]
       return a and a.zw or 0
    end
    function get_zh()
-      local a = font_metric_table[tex.attribute[attr_curjfnt]]
+      local a = font_metric_table[
+        tex_get_attr((get_dir_count()==dir_tate) and attr_curtfnt or attr_curjfnt)]
       return a and a.zw or 0
    end
 end
 
 do
    -- extract jfm_file_name and jfm_var
+   -- normalize position of 'jfm=' and 'jfmvar=' keys
    local function extract_metric(name)
-      local basename=name
-      local tmp = utf.sub(basename, 1, 5)
       jfm_file_name = ''; jfm_var = ''
+      local tmp, index = name:sub(1, 5), 1
       if tmp == 'file:' or tmp == 'name:' or tmp == 'psft:' then
-        basename = utf.sub(basename, 6)
+        index = 6
       end
-      local p = utf.find(basename, ":")
-      if p then
-        basename = utf.sub(basename, p+1)
-      else return
+      local p = name:find(":", index); index = p and (p+1) or index
+      while index do
+        local l = name:len()+1
+        local q = name:find(";", index+1) or l
+        if name:sub(index, index+3)=='jfm=' and q>index+4 then
+           jfm_file_name = name:sub(index+4, q-1)
+           if l~=q then
+              name = name:sub(1,index-1) .. name:sub(q+1)
+           else
+              name = name:sub(1,index-1)
+              index = nil
+           end
+        elseif name:sub(index, index+6)=='jfmvar=' and q>index+6 then
+           jfm_var = name:sub(index+7, q-1)
+           if l~=q then
+              name = name:sub(1,index-1) .. name:sub(q+1)
+           else
+              name = name:sub(1,index-1)
+              index = nil
+           end
+        else
+           index = (l~=q) and (q+1) or nil
+        end
       end
-      -- now basename contains 'features' only.
-      p=1
-      while p do
-        local q = utf.find(basename, ";", p+1) or utf.len(basename)+1
-        if utf.sub(basename, p, p+3)=='jfm=' and q>p+4 then
-           jfm_file_name = utf.sub(basename, p+4, q-1)
-        elseif utf.sub(basename, p, p+6)=='jfmvar=' and q>p+6 then
-           jfm_var = utf.sub(basename, p+7, q-1)
+      if jfm_file_name~='' then
+        local l = name:sub(-1)
+        name = name
+           .. ((l==':' or l==';') and '' or ';')
+           .. 'jfm=' .. jfm_file_name
+        if jfm_var~='' then
+           name = name .. 'jfmvar=' .. jfm_var
         end
-        if utf.len(basename)+1==q then p = nil else p = q + 1 end
       end
-      return
+      if jfm_dir == 'tate' then
+         if not name:match('vert') and not name:match('vrt2') then
+            name = name .. ';vert;vrt2'
+         end
+      end
+      return name
    end
 
-   -- replace fonts.define.read()
-   luatexbase.add_to_callback('luatexja.define_font',
-                             function (res, name)
-                                extract_metric(name)
-                             end,
-                             'extract_jfm_name', 1)
+   -- define_font callback
+   local otfl_fdr = fonts.definers.read
+   local ltjr_font_callback = ltjr.font_callback
+   function luatexja.font_callback(name, size, id)
+      local new_name = is_def_jfont and extract_metric(name) or name
+      is_def_jfont = false
+      local res =  ltjr_font_callback(new_name, size, id, otfl_fdr)
+      luatexbase.call_callback('luatexja.define_font', res, new_name, size, id)
+      -- this callback processes variation selector, so we execute it always
+      return res
+   end
+   luatexbase.create_callback('luatexja.define_font', 'simple', function (n) return n end)
+   luatexbase.add_to_callback('define_font',luatexja.font_callback,"luatexja.font_callback", 1)
 end
 
 ------------------------------------------------------------------------
@@ -496,17 +547,21 @@ do
    end
 
 -- EXT
-   function output_alt_font_cmd(bbase)
+   function output_alt_font_cmd(dir, bbase)
       alt_font_base = bbase
-      alt_font_base_num = tex.getattribute(attr_curjfnt)
+      if dir == 't' then
+        alt_font_base_num = tex.getattribute(attr_curtfnt)
+      else
+        alt_font_base_num = tex.getattribute(attr_curjfnt)
+      end
       local t = alt_font_table[alt_font_base_num]
       if t then
          for i,_ in pairs(t) do t[i]=nil end
       end
       t = alt_font_table_latex[bbase]
       if t then
-         for i,_ in pairs(t) do
-            tex.sprint(cat_lp, '\\ltj@pickup@altfont@aux{' .. i .. '}')
+       for i,_ in pairs(t) do
+            tex.sprint(cat_lp, '\\ltj@pickup@altfont@aux' .. dir .. '{' .. i .. '}')
          end
       end
    end
@@ -552,34 +607,305 @@ do
 
 end
 
+------------------------------------------------------------------------
+-- 追加のフォント情報
+------------------------------------------------------------------------
+font_extra_info = {}
+local font_extra_info = font_extra_info -- key: fontnumber
+local font_extra_basename = {} -- key: basename
+
+-- IVS and vertical metrics
+local prepare_fl_data
+local supply_vkern_table
+do
+   local fields = fontloader.fields
+   local function glyph_vmetric(glyph)
+      local flds = fields(glyph)
+      local vw, tsb, vk = nil, nil, nil
+      for _,i in ipairs(flds) do
+        if i=='vwidth' then vw = glyph.vwidth end
+        if i=='tsidebearing' then tsb = glyph.tsidebearing end
+        if i=='vkerns' then vk = glyph.vkerns end
+      end
+      return vw, tsb, vk
+   end
+
+   local sort = table.sort
+   local function add_fl_table(dest, tg, unitable, glyphmax, asc_des, units)
+      for i = 0, glyphmax-1 do
+        local gv = tg[i]
+        if gv then
+           if gv.altuni then
+              for _,at in pairs(gv.altuni) do
+                 local bu, vsel = at.unicode, at.variant
+                 if vsel then
+                    if vsel>=0xE0100 then vsel = vsel - 0xE0100 end
+                    dest = dest or {}; dest[bu] = dest[bu] or {}
+                    local uniq_flag = true
+                    for i,_ in pairs(dest[bu]) do
+                       if i==vs then uniq_flag = false; break end
+                    end
+                    if uniq_flag then
+                       dest[bu][vsel] = unitable[gv.name]
+                    end
+                 end
+              end
+           end
+           -- vertical metric
+           local vw, tsb, vk = glyph_vmetric(gv)
+           local gi = unitable[gv.name]
+           if gi and vw and vw~=asc_des then
+              -- We do not use tsidebearing, since (1) fontloader does not read VORG table
+              -- and (2) 'tsidebearing' doea not appear in the returned table by fontloader.fields.
+              -- Hence, we assume that vertical origin == ascender
+              -- (see capsule_glyph_tate in ltj-setwidth.lua)
+              dest = dest or {}; dest[gi] = dest[gi] or {}
+              dest[gi].vwidth = vw/units
+           end
+           -- vertical kern
+           if gi and vk then
+              dest = dest or {};
+              local dest_vk = dest.vkerns or {}; dest.vkerns = dest_vk
+              for _,v in pairs(vk) do
+                 local vl = v.lookup
+                 if type(vl)=='table' then
+                    for _,vlt in pairs(vl) do
+                       dest_vk[vlt] = dest_vk[vlt] or {}
+                       dest_vk[vlt][gi] = dest_vk[vlt][gi] or {}
+                       dest_vk[vlt][gi][unitable[v.char]] = v.off
+                    end
+                 else
+                    dest_vk[vl] = dest_vk[vl] or {}
+                    dest_vk[vl][gi] = dest_vk[vl][gi] or {}
+                    dest_vk[vl][gi][unitable[v.char]] = v.off
+                 end
+              end
+           end
+        end
+      end
+      return dest
+   end
+   prepare_fl_data = function (dest, id)
+      local fl = fontloader.open(id.filename)
+      local unicodes = id.resources.unicodes
+      if fl.glyphs then
+        dest = add_fl_table(dest, fl.glyphs, id.resources.unicodes, fl.glyphmax,
+                            fl.ascent + fl.descent, fl.units_per_em)
+      end
+      if fl.subfonts then
+         for _,v in pairs(fl.subfonts) do
+            dest = add_fl_table(dest, v.glyphs, id.resources.unicodes, v.glyphmax,
+                               fl.ascent + fl.descent, fl.units_per_em)
+         end
+      end
+      fontloader.close(fl); collectgarbage("collect")
+      return dest
+   end
+   -- supply vkern table
+   supply_vkern_table = function(id, bname)
+      local bx = font_extra_basename[bname].vkerns
+      local lookuphash =  id.resources.lookuphash
+      local desc = id.shared.rawdata.descriptions
+      if bx then
+        for i,v in pairs(bx) do
+           lookuphash[i] = lookuphash[i] or v
+           for j,w in pairs(v) do
+              desc[j].kerns = desc[j].kerns or {}
+              desc[j].kerns[i] = w
+           end
+        end
+      end
+   end
+end
+
+-- 縦書き用字形への変換テーブル
+local prepare_vert_data
+do
+   -- local function add_feature_table(tname, src, dest)
+   --    for i,v in pairs(src) do
+   --       if type(v.slookups)=='table' then
+   --          local s = v.slookups[tname]
+   --          if s  then
+   --             dest = dest or {}
+   --             dest[i] = dest[i]  or {}
+   --             dest[i].vert = dest[i].vert or s
+   --          end
+   --       end
+   --    end
+   --    return dest
+   -- end
+   -- prepare_vert_data = function (dest, id)
+   --    local a = id.resources.sequences
+   --    if a then
+   --       local s = id.shared.rawdata.descriptions
+   --       for i,v in pairs(a) do
+   --          if v.features.vert or v.features.vrt2 then
+   --             dest= add_feature_table(v.subtables[1], s, dest)
+   --          end
+   --       end
+   --    end
+   --    return dest
+   -- end
+   -- -- 縦書き用字形への変換
+   -- function get_vert_glyph(n, chr)
+   --    local fn = font_extra_info[n]
+   --    return (fn and fn[chr] and fn[chr].vert) or chr
+   -- end
+end
+
+--
+do
+   local cache_ver = 6
+   local checksum = file.checksum
+
+   local function prepare_extra_data_base(id)
+      if not id then return end
+      local bname = file.nameonly(id.filename or '')
+      if not font_extra_basename[bname] then
+        -- if the cache is present, read it
+        local newsum = checksum(id.filename) -- MD5 checksum of the fontfile
+        local v = "extra_" .. string.lower(file.nameonly(id.filename))
+        local dat = ltjb.load_cache(
+           v,
+           function (t) return (t.version~=cache_ver) or (t.chksum~=newsum) end
+        )
+        -- if the cache is not found or outdated, save the cache
+        if dat then
+           font_extra_basename[bname] = dat[1] or {}
+        else
+           local dat = nil
+           dat = prepare_fl_data(dat, id)
+           font_extra_basename[bname] = dat or {}
+           ltjb.save_cache( v,
+                            {
+                               chksum = checksum(id.filename),
+                               version = cache_ver,
+                               dat,
+                            })
+        end
+        return bname
+      end
+   end
+   local function prepare_extra_data_font(id, res)
+      if type(res)=='table' and res.shared then
+        font_extra_info[id] = font_extra_basename[file.nameonly(res.filename)]
+      end
+   end
+    luatexbase.add_to_callback(
+       'luaotfload.patch_font',
+       function (tfmdata)
+         -- these function is executed one time per one fontfile
+          local bname = prepare_extra_data_base(tfmdata)
+          if bname then supply_vkern_table(tfmdata, bname) end
+         return tfmdata
+       end,
+       'ltj.prepare_extra_data', 1)
+   luatexbase.add_to_callback(
+      'luatexja.define_font',
+      function (res, name, size, id)
+        prepare_extra_data_font(id, res)
+      end,
+      'ltj.prepare_extra_data', 1)
+
+   local nulltable = {} -- dummy
+   ltjr.vert_addfunc = function (n) font_extra_info[n] = nulltable end
+
+   local identifiers = fonts.hashes.identifiers
+   for i=1,font.nextid()-1 do
+      if identifiers[i] then
+        prepare_extra_data_base(identifiers[i])
+        prepare_extra_data_font(i,identifiers[i])
+      end
+   end
+end
+
 
 ------------------------------------------------------------------------
--- MISC
+-- calculate vadvance
 ------------------------------------------------------------------------
+do
+   local function acc_feature(table_vadv, table_vorg, subtables, ft,  already_vert)
+      for char_num,v in pairs(ft.shared.rawdata.descriptions) do
+        if v.slookups then
+           for sn, sv in pairs(v.slookups) do
+              if subtables[sn] and type(sv)=='table' then
+                 if sv[4]~=0 then
+                    table_vadv[char_num]
+                       = (table_vadv[char_num] or 0) + sv[4]
+                 end
+                 if sv[2]~=0 and not already_vert then
+                    table_vorg[char_num]
+                       = (table_vorg[char_num] or 0) + sv[2]
+                 end
+              end
+           end
+        end
+      end
+   end
 
-local is_ucs_in_japanese_char = ltjc.is_ucs_in_japanese_char_direct
--- EXT: italic correction
-function append_italic()
-   local p = to_direct(tex.nest[tex.nest.ptr].tail)
-   if p and getid(p)==id_glyph then
-      local f = getfont(p)
-      local g = node_new(id_kern)
-      setfield(g, 'subtype', 1)
-      set_attr(g, attr_icflag, ITALIC)
-      if is_ucs_in_japanese_char(p) then
-        f = has_attr(p, attr_curjfnt)
-        local j = font_metric_table[f]
-        setfield(g, 'kern', j.char_type[find_char_class(getchar(p), j)].italic)
-      else
-        local h = font_getfont(f)
-        if h then
-           setfield(g, 'kern', h.characters[getchar(p)].italic)
+luatexbase.add_to_callback(
+   "luatexja.define_jfont",
+   function (fmtable, fnum)
+      local vadv = {}; fmtable.v_advance = vadv
+      local vorg = {}; fmtable.v_origin = vorg
+      local ft = font_getfont(fnum)
+      local subtables = {}
+      if ft.specification then
+        for feat_name,v in pairs(ft.specification.features.normal) do
+           if v==true then
+              for _,i in pairs(ft.resources.sequences) do
+                 if i.order[1]== feat_name and i.type == 'gpos_single' then
+                    for _,st in pairs(i.subtables) do
+                       subtables[st] = true
+                    end
+                 end
+              end
+           end
+        end
+        acc_feature(vadv, vorg, subtables, ft,
+                    ft.specification.features.normal.vrt2 or ft.specification.features.normal.vert)
+        for i,v in pairs(vadv) do
+           vadv[i]=vadv[i]/ft.units_per_em*fmtable.size
+        end
+        for i,v in pairs(vorg) do
+           vorg[i]=vorg[i]/ft.units_per_em*fmtable.size
+        end
+      end
+      return fmtable
+   end, 1, 'ltj.v_advance'
+)
+end
+------------------------------------------------------------------------
+-- MISC
+------------------------------------------------------------------------
+do
+   local get_dir_count = ltjd.get_dir_count
+   local is_ucs_in_japanese_char = ltjc.is_ucs_in_japanese_char_direct
+   local ensure_tex_attr = ltjb.ensure_tex_attr
+   local font = font
+   -- EXT: italic correction
+   function append_italic()
+      local p = to_direct(tex.nest[tex.nest.ptr].tail)
+      if p and getid(p)==id_glyph then
+        local f = getfont(p)
+        local g = node_new(id_kern)
+        setfield(g, 'subtype', 1)
+        set_attr(g, attr_icflag, ITALIC)
+        if is_ucs_in_japanese_char(p) then
+           f = has_attr(p, (get_dir_count()==dir_tate) and attr_curtfnt or attr_curjfnt)
+           local j = font_metric_table[f]
+           setfield(g, 'kern', j.char_type[find_char_class(getchar(p), j)].italic)
         else
-           tex.attribute[attr_icflag] = 0
-           return node_free(g)
+           local h = font_getfont(f) or font.fonts[f]
+           if h then
+              setfield(g, 'kern', h.characters[getchar(p)].italic)
+           else
+              ensure_tex_attr(attr_icflag, 0)
+              return node_free(g)
+           end
         end
+        node_write(g)
+        ensure_tex_attr(attr_icflag, 0)
       end
-      node_write(g)
-      tex.attribute[attr_icflag] = 0
    end
 end