<div dir="ltr">But in Japan, we did not rewrite <span style="font-size:14px">JIS X 4061 on the basis of</span> <span style="font-size:14px">ISO 14651.</span><div><span style="font-size:14px">I do not know if China has created their tailoring of 14651.  I do not think </span></div><div><span style="font-size:14px">that MS Excel relies on 14651.</span></div><div><span style="font-size:14px"><br></span></div><div><span style="font-size:14px">I agree that 14651 is good for future projects.  But I do not </span></div><div><span style="font-size:14px">think that it is practically possible to document what MS Excel <br></span></div><div><span style="font-size:14px">does using 14651.</span></div><div><span style="font-size:14px"><br></span></div><div><span style="font-size:14px">Regards,</span></div><div><span style="font-size:14px">Makoto</span></div></div><div class="gmail_extra"><br><div class="gmail_quote">2017-07-19 18:00 GMT+09:00  <span dir="ltr"><<a href="mailto:keld@keldix.com" target="_blank">keld@keldix.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Dear Makato-san<br>
<br>
I have asked a sorting expert, who is the editor of 14651, and he says that<br>
for Japanese and Chinese, there surely is a need for tailoring the sorting template<br>
in 14651. I also know that for my own language, Danish, a tailoring of 14651<br>
is required.<br>
<br>
A number of tailoring is already available for this, for many languages,<br>
and also in use in the marketplace, and readily available as open source specifications.<br>
It is many hundreds of specifications. I can come back with more information.<br>
But in the first place I can refer to the glibc specifications and the CLDR collections<br>
of sorting specifications. They both build on the ISO 14651 template.<br>
<br>
So I think a normative reference to ISO 14651 is very relevant, as this is what is done<br>
in the marketplace, and then also a mention of glibc and CLDR sorting could be mentioned<br>
in the bibliography.<br>
<br>
Best regards<br>
keld<br>
<div><div class="h5"><br>
On Tue, Jul 18, 2017 at 09:43:00PM +0900, MURATA Makoto wrote:<br>
> ISO/IEC 14651 defines a reference comparison method and a common<br>
> template table for ordering text data.  It is necessary to tailor the<br>
> common template table for a given language's ordering.  For example,<br>
> the order of CJK ideographic characters is based on UCS code points,<br>
> and thus look meaningless to human CJK users.<br>
><br>
> Meanwhile, Japanese standard (JIS X 4061:1996) defines ordering of<br>
> Japanese text.  JIS X 4061 is NOT based on ISO/IEC 14651.  Its<br>
> ordering is based on code points in JIS X 0208 and X0201 (which is<br>
> roughly equal to US-ASCII).  This ordernig makes sense for Japanese<br>
> users, since code points in these standards are based on the Japanese<br>
> alphabetical order of the kana transcription of each Kanji.<br>
><br>
> I do not believe that referencing ISO/IEC 14651 from OOXML is useful,<br>
> unless we provide our own variation of the common template table.<br>
> This variation should cover ordering in JIS X 0208.  I suppose that it<br>
> should also cover orderings in mailing China, Taiwan, HongKong, and<br>
> and many areas.  It might be technically possible to document do so,<br>
> but I do not think that it is practically possible.<br>
><br>
> Regards,<br>
> Makoto<br>
><br>
> 2016-12-21 6:37 GMT+09:00 Francis Cave <<a href="mailto:francis@franciscave.com">francis@franciscave.com</a>>:<br>
><br>
> ><br>
> > Hi Keld<br>
> ><br>
> > Thanks for your suggestions. We could certainly consider passing these on<br>
> > to<br>
> > the DR submitter as a possible approach to implementing the sort method for<br>
> > special characters. Whether or not they would match how existing<br>
> > implementers have tackled this issue is for those implementers to say,<br>
> > should they choose to do so.<br>
> ><br>
> > Kind regards,<br>
> ><br>
> > Francis<br>
> ><br>
> ><br>
> ><br>
> > -----Original Message-----<br>
> > From: <a href="mailto:keld@keldix.com">keld@keldix.com</a> [mailto:<a href="mailto:keld@keldix.com">keld@keldix.com</a>]<br>
> > Sent: 20 December 2016 19:24<br>
> > To: Francis Cave <<a href="mailto:francis@franciscave.com">francis@franciscave.com</a>><br>
> > Cc: 'MURATA Makoto' <<a href="mailto:eb2m-mrt@asahi-net.or.jp">eb2m-mrt@asahi-net.or.jp</a>>; 'SC 34 WG4'<br>
> > <<a href="mailto:e-SC34-WG4@ecma-international.org">e-SC34-WG4@ecma-<wbr>international.org</a>><br>
> > Subject: Re: DR-16-0018: WML: need sort method for special characters [for<br>
> > today's call]<br>
> ><br>
> > Hi Francis<br>
> ><br>
> > I understand that there are 3 valid values for sortMethod, Strokes, PinYin<br>
> > and none.<br>
> > The DR asks for what sorting to use for special characters.<br>
> > I propose to use the one defined by the null tailoring of ISO 14651.<br>
> ><br>
> > As strings can have all UCS charcters in it, the ordering just mentioned<br>
> > fits that bill nicely as it is defined on all UCS characters. ISO 14651<br>
> > also<br>
> > addresses other codesets than UCS, if that is relevant.<br>
> ><br>
> > It would make a difference on the first accent, all other characters<br>
> > considered equivalent, corresponding to the expected ordering in English<br>
> > and<br>
> > many other languages.<br>
> ><br>
> > Maybe one could use extLst to further describe the sorting method. I would<br>
> > advise to use normal internationalisation mechanisms, such as given by a<br>
> > locale, as this is a well-known concept, and readily available in most<br>
> > operating systems. This is not a new feature, so there is no need to have<br>
> > an<br>
> > amendment or revision of the standard, it could be handled by a DR with<br>
> > some<br>
> > guidance on how to do it.<br>
> ><br>
> > Some suggested advice could be: if the extList is empty, then the<br>
> > associated<br>
> > locale of the current environment should be used.<br>
> > Hereby I mean the language  setting for the text in question, it could be<br>
> > an<br>
> > English part of a Spanish document.<br>
> ><br>
> > extLst could also be a name, in that case it should be the name of an<br>
> > implementation-defined locale of the operating system, of which the sorting<br>
> > spec is to be used.<br>
> ><br>
> > I don't know if a new DR is needed or this could be part of the answer to<br>
> > DR-16-0018.<br>
> ><br>
> > Best regards<br>
> > keld<br>
> ><br>
> > On Tue, Dec 20, 2016 at 04:09:41PM -0000, Francis Cave wrote:<br>
> > ><br>
> > > HI Keld<br>
> > ><br>
> > > My main concern is whether the sort method, if specified, affects what<br>
> > > the user sees when they open a document. Suppose that, for the sake of<br>
> > > argument, the default sort method of implementation A sorts accented<br>
> > > text according to the "normal" approach (first accent difference<br>
> > > determines the order), while implementation B sorts accented text<br>
> > > according to the "French" approach (last accent difference determines<br>
> > > the order). Suppose a spreadsheet is created by implementation A and<br>
> > > has an auto-filter applied that sorts according to its default sort<br>
> > > method.  If this spreadsheet is subsequently opened by implementation<br>
> > > B, will it appear the same as if it was re-opened by implementation A,<br>
> > > or will implementation B's default sort method be automatically<br>
> > > applied? My guess is that generally the latter will be the case, but this<br>
> > is obviously implementation-dependent.<br>
> > ><br>
> > > I suspect that this is a case where implementations must be free to<br>
> > > choose alternative approaches that aren't fully interoperable. Both<br>
> > > implementations A and B in my example will have had good reasons for<br>
> > > choosing different sort methods, e.g. based upon market demands.<br>
> > ><br>
> > > It might be nice if the sort method were spelt out in the document,<br>
> > > but this would definitely be a new feature. For now, in response to DR<br>
> > > 16-0018, I think we should simply ensure that the specification is<br>
> > > consistent with the schema and is clear about what are meant by the<br>
> > > existing values of ST_SortMethod, i.e. 'none', 'pinYin' and 'stroke'.<br>
> > ><br>
> > > Interestingly, I note that the content model of sortState includes the<br>
> > > application-defined extension element extLst, which could be used to<br>
> > > specify the sort state in more detail, using MCE. So, in theory, it<br>
> > > would be possible to define an extension to OOXML without having to<br>
> > > amend the base standard. However, I'm not sure that there'd be sufficient<br>
> > demand for this.<br>
> > ><br>
> > > Kind regards,<br>
> > ><br>
> > > Francis<br>
> > ><br>
> > ><br>
> > ><br>
> > > -----Original Message-----<br>
> > > From: <a href="mailto:keld@keldix.com">keld@keldix.com</a> [mailto:<a href="mailto:keld@keldix.com">keld@keldix.com</a>]<br>
> > > Sent: 20 December 2016 09:37<br>
> > > To: Francis Cave <<a href="mailto:francis@franciscave.com">francis@franciscave.com</a>><br>
> > > Cc: 'MURATA Makoto' <<a href="mailto:eb2m-mrt@asahi-net.or.jp">eb2m-mrt@asahi-net.or.jp</a>>; 'SC 34 WG4'<br>
> > > <<a href="mailto:e-SC34-WG4@ecma-international.org">e-SC34-WG4@ecma-<wbr>international.org</a>><br>
> > > Subject: Re: DR-16-0018: WML: need sort method for special characters<br>
> > > [for today's call]<br>
> > ><br>
> > > Hi Francis<br>
> > ><br>
> > > Yes, I understand that new requirements need an amendment or revision.<br>
> > ><br>
> > > However, this is not what I recommend as the immediate solution to<br>
> > > sorting special characters. I just propose to use the ISO 14651/UTS#10<br>
> > > kind of default spec.<br>
> > > And no locale choice.<br>
> > ><br>
> > > Best regards<br>
> > > keld<br>
> > ><br>
> > > On Mon, Dec 19, 2016 at 05:27:25PM -0000, Francis Cave wrote:<br>
> > > ><br>
> > > > Try again...<br>
> > > ><br>
> > > > In the first paragraph, for "cannot be done" read "can only be done".<br>
> > > > Clearly a serious finger malfunction...<br>
> > > ><br>
> > > > Francis<br>
> > > ><br>
> > > ><br>
> > > ><br>
> > > > -----Original Message-----<br>
> > > > From: Francis Cave [mailto:<a href="mailto:francis@franciscave.com">francis@franciscave.<wbr>com</a>]<br>
> > > > Sent: 19 December 2016 16:41<br>
> > > > To: <a href="mailto:keld@keldix.com">keld@keldix.com</a>; 'MURATA Makoto' <<a href="mailto:eb2m-mrt@asahi-net.or.jp">eb2m-mrt@asahi-net.or.jp</a>><br>
> > > > Cc: 'SC 34 WG4' <<a href="mailto:e-SC34-WG4@ecma-international.org">e-SC34-WG4@ecma-<wbr>international.org</a>><br>
> > > > Subject: RE: DR-16-0018: WML: need sort method for special<br>
> > > > characters [for today's call]<br>
> > > ><br>
> > > ><br>
> > > > In the first paragraph or "cannot be done" ready "can only be done".<br>
> > > Sorry!<br>
> > > ><br>
> > > > Francis<br>
> > > ><br>
> > > ><br>
> > > ><br>
> > > > -----Original Message-----<br>
> > > > From: Francis Cave [mailto:<a href="mailto:francis@franciscave.com">francis@franciscave.<wbr>com</a>]<br>
> > > > Sent: 19 December 2016 16:33<br>
> > > > To: <a href="mailto:keld@keldix.com">keld@keldix.com</a>; 'MURATA Makoto' <<a href="mailto:eb2m-mrt@asahi-net.or.jp">eb2m-mrt@asahi-net.or.jp</a>><br>
> > > > Cc: 'SC 34 WG4' <<a href="mailto:e-SC34-WG4@ecma-international.org">e-SC34-WG4@ecma-<wbr>international.org</a>><br>
> > > > Subject: RE: DR-16-0018: WML: need sort method for special<br>
> > > > characters [for today's call]<br>
> > > ><br>
> > > ><br>
> > > > Keld<br>
> > > ><br>
> > > > You may or may not be correct in your view that there is a user<br>
> > > > requirement that fields be sortable according to the current locale.<br>
> > > > However, if there is such a user requirement, it isn't currently met<br>
> > > > by OOXML or by implementations. Support for specifying the current<br>
> > > > locale as the sort method would involve an extension to OOXML and as<br>
> > > > such cannot be done by amendment or revision of the standard, not by<br>
> > > > Technical Corrigendum, so this is a big deal. Although this might be<br>
> > > > a relatively simple change, e.g. by changing ST_SortMethod to allow<br>
> > > > any string (§18.18.73 of ISO/IEC 29500-1:2016), it could not be made<br>
> > > > mandatory for implementations to support these new values without<br>
> > > > breaking existing implementations, and if they do not already do so,<br>
> > > > that suggests that there hasn't be much market pressure that would<br>
> > > persuade them to implement the enhancement.<br>
> > > ><br>
> > > > I note that ODF doesn't appear to have this feature either (although<br>
</div></div>> > > > it has a similar feature ??? §19.865 text:sort-algorithm ??? for sorting<br>
<div class="HOEnZb"><div class="h5">> > > > text,<br>
> > > e.g.<br>
> > > > bibliographies), and in §19.685 table:order there is the following<br>
> > note:<br>
> > > ><br>
> > > >     Note: Sorting is locale and implementation-dependent.<br>
> > > ><br>
> > > > It is hard to avoid the conclusion that demand for this feature is<br>
> > > > very limited, at least in office document applications.<br>
> > > ><br>
> > > > Francis<br>
> > > ><br>
> > > ><br>
> > > ><br>
> > > > -----Original Message-----<br>
> > > > From: <a href="mailto:keld@keldix.com">keld@keldix.com</a> [mailto:<a href="mailto:keld@keldix.com">keld@keldix.com</a>]<br>
> > > > Sent: 18 December 2016 20:19<br>
> > > > To: MURATA Makoto <<a href="mailto:eb2m-mrt@asahi-net.or.jp">eb2m-mrt@asahi-net.or.jp</a>><br>
> > > > Cc: SC 34 WG4 <<a href="mailto:e-SC34-WG4@ecma-international.org">e-SC34-WG4@ecma-<wbr>international.org</a>><br>
> > > > Subject: Re: DR-16-0018: WML: need sort method for special<br>
> > > > characters [for today's call]<br>
> > > ><br>
> > > > I am not aware of the reason why this is so.<br>
> > > ><br>
> > > > But anyway, why not then use the 14651 tailorable ordering in its<br>
> > > > template form, which is equivalent to UTS#10 - as the universal<br>
> > > > sorting in<br>
> > > OOXML?<br>
> > > ><br>
> > > > I would think it was a user requirement that fields are sortable<br>
> > > > according to the current locale, eg a list of names.<br>
> > > ><br>
> > > > Having the sorting order not being changeable creates troubles for<br>
> > > > users too.<br>
> > > ><br>
> > > > best regards<br>
> > > > keld<br>
> > > ><br>
> > > ><br>
> > > > On Mon, Dec 19, 2016 at 04:48:21AM +0900, MURATA Makoto wrote:<br>
> > > > > The sort order of Excel cannot be changed without causing troubles<br>
> > > > > to users.<br>
> > > > ><br>
> > > > > Regards,<br>
> > > > > Makoto<br>
> > > > ><br>
> > > > > 2016-12-08 3:17 GMT+09:00 Keld Simonsen <<a href="mailto:keld@keldix.com">keld@keldix.com</a>>:<br>
> > > > ><br>
> > > > > > I propose that you use the locale of the current process, and<br>
> > > > > > the implied sorting sequence for special cheracters there, Or at<br>
> > > > > > least the sorting specified in ISO/IEC<br>
> > > > > > 14651<br>
> > > > > > or the equivalent Unicode specifcation.<br>
> > > > > ><br>
> > > > > > best regards<br>
> > > > > > keld Simonsen<br>
> > > > > ><br>
> > > > ><br>
> > > > ><br>
> > > > ><br>
> > > > > --<br>
> > > > ><br>
> > > > > Praying for the victims of the Japan Tohoku earthquake<br>
> > > > ><br>
> > > > > Makoto<br>
> > > ><br>
> > > ><br>
> > > ><br>
> > > ><br>
> > > ><br>
> > ><br>
> ><br>
> ><br>
> ><br>
><br>
><br>
> --<br>
><br>
> Praying for the victims of the Japan Tohoku earthquake<br>
><br>
> Makoto<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><br>Praying for the victims of the Japan Tohoku earthquake<br><br>Makoto</div>
</div>