<div dir="ltr"><div>ISO/IEC 14651 defines a reference comparison method and a common</div><div>template table for ordering text data.  It is necessary to tailor the</div><div>common template table for a given language's ordering.  For example,</div><div>the order of CJK ideographic characters is based on UCS code points,</div><div>and thus look meaningless to human CJK users.</div><div><br></div><div>Meanwhile, Japanese standard (JIS X 4061:1996) defines ordering of</div><div>Japanese text.  JIS X 4061 is NOT based on ISO/IEC 14651.  Its</div><div>ordering is based on code points in JIS X 0208 and X0201 (which is</div><div>roughly equal to US-ASCII).  This ordernig makes sense for Japanese</div><div>users, since code points in these standards are based on the Japanese</div><div>alphabetical order of the kana transcription of each Kanji.</div><div><br></div><div>I do not believe that referencing ISO/IEC 14651 from OOXML is useful,</div><div>unless we provide our own variation of the common template table.</div><div>This variation should cover ordering in JIS X 0208.  I suppose that it</div><div>should also cover orderings in mailing China, Taiwan, HongKong, and </div><div>and many areas.  It might be technically possible to document do so, </div><div>but I do not think that it is practically possible.</div><div><br></div><div>Regards,</div><div>Makoto</div></div><div class="gmail_extra"><br><div class="gmail_quote">2016-12-21 6:37 GMT+09:00 Francis Cave <span dir="ltr"><<a href="mailto:francis@franciscave.com" target="_blank">francis@franciscave.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
Hi Keld<br>
<br>
Thanks for your suggestions. We could certainly consider passing these on to<br>
the DR submitter as a possible approach to implementing the sort method for<br>
special characters. Whether or not they would match how existing<br>
implementers have tackled this issue is for those implementers to say,<br>
should they choose to do so.<br>
<span class="im HOEnZb"><br>
Kind regards,<br>
<br>
Francis<br>
<br>
<br>
<br>
-----Original Message-----<br>
From: <a href="mailto:keld@keldix.com">keld@keldix.com</a> [mailto:<a href="mailto:keld@keldix.com">keld@keldix.com</a>]<br>
</span><div class="HOEnZb"><div class="h5">Sent: 20 December 2016 19:24<br>
To: Francis Cave <<a href="mailto:francis@franciscave.com">francis@franciscave.com</a>><br>
Cc: 'MURATA Makoto' <<a href="mailto:eb2m-mrt@asahi-net.or.jp">eb2m-mrt@asahi-net.or.jp</a>>; 'SC 34 WG4'<br>
<<a href="mailto:e-SC34-WG4@ecma-international.org">e-SC34-WG4@ecma-<wbr>international.org</a>><br>
Subject: Re: DR-16-0018: WML: need sort method for special characters [for<br>
today's call]<br>
<br>
Hi Francis<br>
<br>
I understand that there are 3 valid values for sortMethod, Strokes, PinYin<br>
and none.<br>
The DR asks for what sorting to use for special characters.<br>
I propose to use the one defined by the null tailoring of ISO 14651.<br>
<br>
As strings can have all UCS charcters in it, the ordering just mentioned<br>
fits that bill nicely as it is defined on all UCS characters. ISO 14651 also<br>
addresses other codesets than UCS, if that is relevant.<br>
<br>
It would make a difference on the first accent, all other characters<br>
considered equivalent, corresponding to the expected ordering in English and<br>
many other languages.<br>
<br>
Maybe one could use extLst to further describe the sorting method. I would<br>
advise to use normal internationalisation mechanisms, such as given by a<br>
locale, as this is a well-known concept, and readily available in most<br>
operating systems. This is not a new feature, so there is no need to have an<br>
amendment or revision of the standard, it could be handled by a DR with some<br>
guidance on how to do it.<br>
<br>
Some suggested advice could be: if the extList is empty, then the associated<br>
locale of the current environment should be used.<br>
Hereby I mean the language  setting for the text in question, it could be an<br>
English part of a Spanish document.<br>
<br>
extLst could also be a name, in that case it should be the name of an<br>
implementation-defined locale of the operating system, of which the sorting<br>
spec is to be used.<br>
<br>
I don't know if a new DR is needed or this could be part of the answer to<br>
DR-16-0018.<br>
<br>
Best regards<br>
keld<br>
<br>
On Tue, Dec 20, 2016 at 04:09:41PM -0000, Francis Cave wrote:<br>
><br>
> HI Keld<br>
><br>
> My main concern is whether the sort method, if specified, affects what<br>
> the user sees when they open a document. Suppose that, for the sake of<br>
> argument, the default sort method of implementation A sorts accented<br>
> text according to the "normal" approach (first accent difference<br>
> determines the order), while implementation B sorts accented text<br>
> according to the "French" approach (last accent difference determines<br>
> the order). Suppose a spreadsheet is created by implementation A and<br>
> has an auto-filter applied that sorts according to its default sort<br>
> method.  If this spreadsheet is subsequently opened by implementation<br>
> B, will it appear the same as if it was re-opened by implementation A,<br>
> or will implementation B's default sort method be automatically<br>
> applied? My guess is that generally the latter will be the case, but this<br>
is obviously implementation-dependent.<br>
><br>
> I suspect that this is a case where implementations must be free to<br>
> choose alternative approaches that aren't fully interoperable. Both<br>
> implementations A and B in my example will have had good reasons for<br>
> choosing different sort methods, e.g. based upon market demands.<br>
><br>
> It might be nice if the sort method were spelt out in the document,<br>
> but this would definitely be a new feature. For now, in response to DR<br>
> 16-0018, I think we should simply ensure that the specification is<br>
> consistent with the schema and is clear about what are meant by the<br>
> existing values of ST_SortMethod, i.e. 'none', 'pinYin' and 'stroke'.<br>
><br>
> Interestingly, I note that the content model of sortState includes the<br>
> application-defined extension element extLst, which could be used to<br>
> specify the sort state in more detail, using MCE. So, in theory, it<br>
> would be possible to define an extension to OOXML without having to<br>
> amend the base standard. However, I'm not sure that there'd be sufficient<br>
demand for this.<br>
><br>
> Kind regards,<br>
><br>
> Francis<br>
><br>
><br>
><br>
> -----Original Message-----<br>
> From: <a href="mailto:keld@keldix.com">keld@keldix.com</a> [mailto:<a href="mailto:keld@keldix.com">keld@keldix.com</a>]<br>
> Sent: 20 December 2016 09:37<br>
> To: Francis Cave <<a href="mailto:francis@franciscave.com">francis@franciscave.com</a>><br>
> Cc: 'MURATA Makoto' <<a href="mailto:eb2m-mrt@asahi-net.or.jp">eb2m-mrt@asahi-net.or.jp</a>>; 'SC 34 WG4'<br>
> <<a href="mailto:e-SC34-WG4@ecma-international.org">e-SC34-WG4@ecma-<wbr>international.org</a>><br>
> Subject: Re: DR-16-0018: WML: need sort method for special characters<br>
> [for today's call]<br>
><br>
> Hi Francis<br>
><br>
> Yes, I understand that new requirements need an amendment or revision.<br>
><br>
> However, this is not what I recommend as the immediate solution to<br>
> sorting special characters. I just propose to use the ISO 14651/UTS#10<br>
> kind of default spec.<br>
> And no locale choice.<br>
><br>
> Best regards<br>
> keld<br>
><br>
> On Mon, Dec 19, 2016 at 05:27:25PM -0000, Francis Cave wrote:<br>
> ><br>
> > Try again...<br>
> ><br>
> > In the first paragraph, for "cannot be done" read "can only be done".<br>
> > Clearly a serious finger malfunction...<br>
> ><br>
> > Francis<br>
> ><br>
> ><br>
> ><br>
> > -----Original Message-----<br>
> > From: Francis Cave [mailto:<a href="mailto:francis@franciscave.com">francis@franciscave.<wbr>com</a>]<br>
> > Sent: 19 December 2016 16:41<br>
> > To: <a href="mailto:keld@keldix.com">keld@keldix.com</a>; 'MURATA Makoto' <<a href="mailto:eb2m-mrt@asahi-net.or.jp">eb2m-mrt@asahi-net.or.jp</a>><br>
> > Cc: 'SC 34 WG4' <<a href="mailto:e-SC34-WG4@ecma-international.org">e-SC34-WG4@ecma-<wbr>international.org</a>><br>
> > Subject: RE: DR-16-0018: WML: need sort method for special<br>
> > characters [for today's call]<br>
> ><br>
> ><br>
> > In the first paragraph or "cannot be done" ready "can only be done".<br>
> Sorry!<br>
> ><br>
> > Francis<br>
> ><br>
> ><br>
> ><br>
> > -----Original Message-----<br>
> > From: Francis Cave [mailto:<a href="mailto:francis@franciscave.com">francis@franciscave.<wbr>com</a>]<br>
> > Sent: 19 December 2016 16:33<br>
> > To: <a href="mailto:keld@keldix.com">keld@keldix.com</a>; 'MURATA Makoto' <<a href="mailto:eb2m-mrt@asahi-net.or.jp">eb2m-mrt@asahi-net.or.jp</a>><br>
> > Cc: 'SC 34 WG4' <<a href="mailto:e-SC34-WG4@ecma-international.org">e-SC34-WG4@ecma-<wbr>international.org</a>><br>
> > Subject: RE: DR-16-0018: WML: need sort method for special<br>
> > characters [for today's call]<br>
> ><br>
> ><br>
> > Keld<br>
> ><br>
> > You may or may not be correct in your view that there is a user<br>
> > requirement that fields be sortable according to the current locale.<br>
> > However, if there is such a user requirement, it isn't currently met<br>
> > by OOXML or by implementations. Support for specifying the current<br>
> > locale as the sort method would involve an extension to OOXML and as<br>
> > such cannot be done by amendment or revision of the standard, not by<br>
> > Technical Corrigendum, so this is a big deal. Although this might be<br>
> > a relatively simple change, e.g. by changing ST_SortMethod to allow<br>
> > any string (§18.18.73 of ISO/IEC 29500-1:2016), it could not be made<br>
> > mandatory for implementations to support these new values without<br>
> > breaking existing implementations, and if they do not already do so,<br>
> > that suggests that there hasn't be much market pressure that would<br>
> persuade them to implement the enhancement.<br>
> ><br>
> > I note that ODF doesn't appear to have this feature either (although<br>
> > it has a similar feature – §19.865 text:sort-algorithm – for sorting<br>
> > text,<br>
> e.g.<br>
> > bibliographies), and in §19.685 table:order there is the following note:<br>
> ><br>
> >     Note: Sorting is locale and implementation-dependent.<br>
> ><br>
> > It is hard to avoid the conclusion that demand for this feature is<br>
> > very limited, at least in office document applications.<br>
> ><br>
> > Francis<br>
> ><br>
> ><br>
> ><br>
> > -----Original Message-----<br>
> > From: <a href="mailto:keld@keldix.com">keld@keldix.com</a> [mailto:<a href="mailto:keld@keldix.com">keld@keldix.com</a>]<br>
> > Sent: 18 December 2016 20:19<br>
> > To: MURATA Makoto <<a href="mailto:eb2m-mrt@asahi-net.or.jp">eb2m-mrt@asahi-net.or.jp</a>><br>
> > Cc: SC 34 WG4 <<a href="mailto:e-SC34-WG4@ecma-international.org">e-SC34-WG4@ecma-<wbr>international.org</a>><br>
> > Subject: Re: DR-16-0018: WML: need sort method for special<br>
> > characters [for today's call]<br>
> ><br>
> > I am not aware of the reason why this is so.<br>
> ><br>
> > But anyway, why not then use the 14651 tailorable ordering in its<br>
> > template form, which is equivalent to UTS#10 - as the universal<br>
> > sorting in<br>
> OOXML?<br>
> ><br>
> > I would think it was a user requirement that fields are sortable<br>
> > according to the current locale, eg a list of names.<br>
> ><br>
> > Having the sorting order not being changeable creates troubles for<br>
> > users too.<br>
> ><br>
> > best regards<br>
> > keld<br>
> ><br>
> ><br>
> > On Mon, Dec 19, 2016 at 04:48:21AM +0900, MURATA Makoto wrote:<br>
> > > The sort order of Excel cannot be changed without causing troubles<br>
> > > to users.<br>
> > ><br>
> > > Regards,<br>
> > > Makoto<br>
> > ><br>
> > > 2016-12-08 3:17 GMT+09:00 Keld Simonsen <<a href="mailto:keld@keldix.com">keld@keldix.com</a>>:<br>
> > ><br>
> > > > I propose that you use the locale of the current process, and<br>
> > > > the implied sorting sequence for special cheracters there, Or at<br>
> > > > least the sorting specified in ISO/IEC<br>
> > > > 14651<br>
> > > > or the equivalent Unicode specifcation.<br>
> > > ><br>
> > > > best regards<br>
> > > > keld Simonsen<br>
> > > ><br>
> > ><br>
> > ><br>
> > ><br>
> > > --<br>
> > ><br>
> > > Praying for the victims of the Japan Tohoku earthquake<br>
> > ><br>
> > > Makoto<br>
> ><br>
> ><br>
> ><br>
> ><br>
> ><br>
><br>
<br>
<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><br>Praying for the victims of the Japan Tohoku earthquake<br><br>Makoto</div>
</div>