16

Я хотел бы сделать MySQL полнотекстового поиска работы с японским и китайским текстом, а также с любым другим языком. Проблема в том, что эти языки и, возможно, другие обычно не имеют пробела между словами. Поиск не полезен, когда вы должны ввести то же предложение, что и в тексте.

Я не могу просто поставить пробел между каждым персонажем, потому что английский тоже должен работать. Я хотел бы решить эту проблему с PHP или MySQL.

Могу ли я настроить MySQL для распознавания символов, которые должны быть их собственными индексами? Есть ли модуль PHP, который может распознавать эти символы, чтобы я мог просто выбросить пробелы вокруг индекса?

Частичное решение:

$string_with_spaces = preg_replace("/[".json_decode(""\u4e00"")."-".json_decode(""\uface"")."]/", " $0 ", $string_without_spaces);

Это делает класс символов из, по крайней мере, некоторые из персонажей мне нужно лечить специально. Я должен, вероятно, упомянуть, допустимо пропустить индексированный текст.

Кто-нибудь знает все диапазоны символов, которые мне нужно будет вставлять в пробе?

Кроме того, должен быть лучший, переносимый способ представления этих символов в PHP? Исходный код в Literal Unicode не идеален; Я не узнаю всех персонажей; они могут не отображаться на всех машинах, которые я должен использовать.

3

Другие современные языки, которые не используют пробелы между словами тайский, Лао, кхмерский (камбоджийский), и бирманский (Мьянма). На вьетнамском языке существует связанная с этим проблема, что пробелы используются между всеми слогами, за исключением иностранных слов. - hippietrail 18 дек. 10 2010-12-18 12:48:10

• 2 ответа

Сортировка:

Активность

15

Слово нарушение для языков, упомянутых требуют лингвистического подхода , например, тот, который использует словарь наряду с пониманием основного правил, вытекающих .

Я слышал об относительно успешных приложениях полнотекстового поиска, которые просто разделяют каждый отдельный символ как отдельное слово на китайском языке, просто применяя ту же «токенизацию» критериев поиска, предоставляемых конечными пользователями. Затем поисковая система обеспечивает лучший рейтинг для документов, которые снабжают символы-слова в том же порядке, что и критерии поиска. Я не уверен, что это может быть распространено на такие языки, как японский, поскольку наборы символов Хиракана и Катаганы делают текст более похожим на европейские языки с коротким алфавитом.

EDIT :
Ресурсы
Это слово ломать проблемы, а также связанные с ними вопросы, так нетривиальной , что целые книги написаны об этом. См. Например, CJKV Information Processing (CJKV означает китайский, японский, корейский и вьетнамский языки, вы также можете использовать ключевое слово CJK, поскольку во многих текстах вьетнамский язык не обсуждается). См. Также Word Breaking in Japanese is hard для одного пейджера на эту тему.
Понятно, что большинство материалов, охватывающих эту тему, написано на одном из основных языков на родном языке и поэтому ограничено для людей без относительной владения этими языками. По этой причине, а также чтобы помочь вам проверить систему поиска, как только вы начнете внедрять логику прерывания слова, вам следует обратиться за помощью к носителю или двум носителям.

Различные идеи
Ваша идея идентифицирующих признаков, которые систематически подразумевают слово разорвать (скажем, цитаты, круглые скобки, дефис, как символы и такие) хорошо, и это, вероятно, один эвристический используется некоторыми из профессиональные разрывы слов. Тем не менее, вы должны искать авторитетный источник для такого списка, а не собирать его с нуля, основываясь на анекдотических выводах.
Родственная идея заключается в том, чтобы разбить слова на Kana-к-кандзи переходы (но я предполагаю, что не наоборот), и, возможно, в хирагане-к-катакан или наоборот переходов.
Несвязанный со сломанным правильным, индекс может [-или не может- ;-)] извлекать выгоду из систематического преобразования каждого, скажем, характера хираганы, в соответствующий характер катакана. Просто необразованная идея! Я не знаю достаточно о японском языке, чтобы знать, поможет ли это; интуитивно, это было бы слабо связано с систематической конверсией подчеркнутых букв и, таким образом, в соответствующее не акцентированное письмо, как это практикуется на нескольких европейских языках.

Возможно, идея, о которой я упоминал ранее, систематически индексировать индивидуальный характер (и ранжировать результаты поиска на основе их приближения по критерию поиска) может быть слегка изменена, например, сохраняя последовательные символы каны вместе, а затем некоторые другие правила... и создать несовершенную, но достаточно практичную поисковую систему.

Не разочаровывайтесь, если это не так... Как указано, это далеко не тривиально, и это может сэкономить вам время и деньги в долгосрочной перспективе, сделав паузу и прочитав книгу или две. Еще одна причина, чтобы попытаться узнать больше о «теории» и передового опыта, является то, что в данный момент вы, кажется, сосредоточены на слова нарушения , но в ближайшее время, поисковая система также может извлечь выгоду из вытекающих сознательность ; действительно, эти два вопроса, по крайней мере, связаны с лингвистикой, и могут быть полезны при обработке в тандеме.

Удачи вам в этом неприятном, но достойном стремлении.

0

@Joe: Добро пожаловать. У меня, похоже, интерес к лингвистике и НЛП, но очень, очень мало знаний, характерных для языков CJK. Прочитайте мое редактирование, добавив несколько ключевых слов и онлайн-ссылок, которые могут помочь вашему поиску.Удачи:-) - mjv 22 окт. 09

Китайский язык является одним из старейших письменных языков мира. Его история насчитывает, по крайней мере, 3 тыс. лет. Надписи на нем были обнаружены на черепаховых панцирях времен династии Шан (1766-1123 до н. э.).

История китайской письменности

Китайская грамота моложе, чем шумерская или египетская, но нет доказательств того, что изобретение письма в Поднебесной было каким-либо образом стимулировано письменностью Ближнего Востока. Самыми ранними образцами китайских иероглифов являются гадальные тексты на костях и панцирях. Они состоят из вопроса прорицателю и ответа на него. Эта ранняя письменность показывает, что на заре своего развития она основывалась на пиктограммах. Например, слово «корова» изображалось головой животного, а «идти» - рисунком стопы.

С течением времени, однако, китайское письмо претерпело много изменений, и уже ко времени (206 до н. э. - 220 н. э.) оно потеряло большую часть своей изобразительности. Современные иероглифы сформировались в течение III и IV веков н. э. Удивительно, но после этого они почти не изменялись. В дополнение к стандартным формам существует также несколько рукописных. Наиболее распространены цаошу и синшу. Первый вид очень сложно читать людям, не имеющим специальной подготовки. Синшу является своего рода компромиссом между высокой скоростью цаошу и стандартной письменностью. Эта форма широко используется в современном Китае.

Сколько в китайском языке иероглифов?

Чтобы представить каждую морфему словаря, китайцы используют одиночные отличительные символы. Подавляющее большинство знаков являются письменными версиями произносимых звуков, которые имеют смысловое значение. Хотя система письма с течением времени изменялась по причине революций и политических катаклизмов, ее принципы, наряду с символами, остались в основном теми же.

Китайские слова-иероглифы первоначально изображали людей, животных или предметы, но на протяжении веков становились все более стилизованными и перестали походить на то, что они представляли. Хотя их существует около 56 тыс., подавляющее большинство из них типичному читателю неизвестны - ему для грамотности необходимо знать лишь 3000 из них. Пожалуй, эта цифра достовернее всего отвечает на вопрос, сколько в китайском языке иероглифов.

Упрощенные логограммы

Проблема обучения тысячам символов в 1956 году привела к тому, что написание китайских иероглифов было упрощено. В результате около 2000 логограмм стало проще читать и писать. Также их преподают в классах севернокитайского языка за рубежом. Эти символы более простые, то есть имеют меньше графических элементов, чем традиционные.

Упрощенные иероглифы существовали на протяжении сотен лет, но официально были включены в письменность лишь после основания КНР в 1950-х годах, чтобы повысить грамотность населения. Упрощенные логограммы использует народная ежедневная газета «Жэньминь жибао», они применяются в субтитрах новостей и видео. Однако люди, которые грамотно пишут, могут не знать традиционного варианта.

Данная система является стандартной в КНР (за исключением Гонконга) и Сингапуре, а традиционный китайский продолжает оставаться стандартом для Гонконга, Тайваня, Макао, Малайзии, Кореи, Японии и других стран.

Фонетическое письмо

Говорящие на кантонском создали свою систему фонетических знаков. Эти символы используются в дополнение к традиционным китайским иероглифам, например, в комиксах или развлекательных разделах газет и журналов. Часто эти иероглифы невозможно найти в словаре. Неофициальные логограммы применяются для передачи

Пиньинь

В попытке сделать китайский язык более понятным для Запада Китай разработал систему «пиньинь». Для передачи слов в ней используется В 1977 г. власти КНР сделали официальный запрос в Организацию Объединенных Наций для наименования географических мест Китая с использованием системы пиньинь. Пиньинь применяют те, кто больше знаком с латинским алфавитом и учится говорить на китайском языке.

Знаки препинания - неотъемлемая часть любого языка. Обычная запятая может кардинально изменить значение предложения: достаточно вспомнить историю с «Казнить нельзя помиловать». А работа переводчиков и редакторов предполагает, что они свободно ориентируются как минимум в двух пунктуационных системах.

Идея этого поста родилась, когда мы обсуждали перевод статьи. В исходном материале знак процента отделялся пробелом от числа, и это бросилось в глаза - в русском тексте в таком случае пробел не используется (хотя, всё же утверждение спорное - специалисты так и не пришли к единому мнению по этому вопросу). Тогда мы решили, что об этом нужно рассказать. Специалисты отдела многоязычной локализации опросили наших зарубежных коллег и подготовили материал, которым теперь делимся с вами. Надеемся, он окажется полезным.

В начале и в конце

Давайте посмотрим, как обстоят дела с расстановкой знаков препинания в предложении: точек, запятых, двоеточий, точек с запятой, вопросительных и восклицательных знаков.

Про русский язык, надеемся, все помнят - знаки препинания, которые отделяют предложения друг от друга, ставятся только в конце, и точка. Если требуется добавить экспрессии (особенно в личной переписке), используются сочетания знаков - «!!!», «?!» и тому подобное. В английском, немецком, итальянском, французском канадском, арабском и португальском бразильском языках точки, многоточия и их «товарищи» живут по таким же правилам.

Другие правила во французском: перед двоеточием, точкой с запятой, восклицательным и вопросительным знаками ставятся неразрывные пробелы.

Испанский язык - единственный в нашей подборке, в котором знаки препинания обрамляют предложения: в начале фразы дублируются вопросительные и восклицательные знаки в «слегка» перевернутом виде - «¿» и «¡».

Самый необычный с точки зрения европейца подход к знакам препинания у китайцев. Их точка выглядит как 。, запятая - как ，, восклицательный знак - ！, а вопросительный -？. В предложении они ведут себя подобно русским собратьям, единственное отличие - китайцы не ставят пробелы, поскольку все пунктуационные символы двухбайтовые. Набранный на клавиатуре иероглиф в два раза шире любой буквы латинского алфавита. Поэтому и знаки препинания обычно занимают такое же пространство, что и иероглиф. С этой особенностью столкнулись те, кто работал в старых IME под управлением DOS, когда неправильно введенный иероглиф убирался двумя нажатиями Backspace. В основном пробелы используются при отделении слов и знаков из других языков, например, английского.

Милые черты

В русском языке используются либо дефис, либо тире. Дефис - короткий, необходим для переноса и соединения составных слов. Тире значительно длиннее; оно служит для разделения смысловых частей: разных предложений, двух частей одного предложения, в диалогах и т.д. Вспомнить все тонкости употребления этих знаков можно, заглянув в учебник русского языка.

На похожих условиях дефисы и тире существуют в английском, немецком, французском и португальском бразильском языках. При этом в американском английском тире отделяется с двух сторон пробелами, а в британском обычно нет:

The lecture – which is the third on this topic this month – will include speakers from different countries. (American English)

The zoo had a great many cats-lions, panthers, tigers, jaguars and cheetahs-which made choosing a favourite very difficult. (British English)

В испанском, итальянском и арабском дефисы и тире выглядят одинаково: «-». Китайцы вообще не используют дефисы - у них есть только тире. Хотя по соседству с буквами из латинского алфавита могут стоять и дефисы, и длинные, и средние тире. Дефис - короткий, необходим для переноса и соединения составных слов. Тире значительно длиннее; оно служит для разделения смысловых частей

Парный вид письма

Кавычки существуют во всех языках, но выглядят, как и национальные костюмы, по-разному. В русском языке живут как традиционные «ёлочки», пришедшие из французского, так и немецкие „лапки“, которые используются во фразе внутри кавычек и при письме от руки. В испанском, португальском бразильском, итальянском и арабском ставятся “двойные” кавычки.

Англичане используют ‘одинарные’ и “двойные” кавычки: первые - для оформления заголовков, вторые - при цитировании. Точки и запятые находятся внутри кавычек. Во французском тексте обитают «ёлочки», с одним отличием от русского: между началом цитируемого текста и открытой кавычкой ставится неразрывной пробел, как и между концом фразы и закрывающей кавычкой.

В китайском языке уживаются три вида кавычек, которые служат для разных целей. Вот в 《такие》заключают названия книг, фильмов и других авторских произведений. Для всех остальных случаев китайцы используют「такие」. Кавычки из европейской традиции (будь то «ёлочки», „лапки“, ‘одиночные’ или “двойные”) можно встретить только в переводах или в соседстве с фразами из европейских языков. В традиционном китайском языке они не получили популярности.

Кавычки существуют во всех языках, но выглядят, как и национальные костюмы, по-разному.

Символизм

Проценты и промилле тоже не отличаются особой стандартностью. В немецком, французском и испанском языках нужно отделять эти знаки неразрывными пробелами. А в русском, английском, итальянском, арабском и португальском бразильском писать сразу после числа. Хотя с русским, как мы помним, ситуация неоднозначна.

Градусы и дюймы обычно располагаются после числа без всяких пробелов.

Интересный факт: когда французы пишут большие числа, они разделяют пробелами блоки из трёх цифр - например: 987 654 321,12.

У китайцев есть свои символы для обозначения градусов (度) и процентов (百分比 и 百分之). Однако наравне с ними используются и привычные ° и % без пробелов перед ними.

Устанавливаем диалог

Оформление диалогов также разнится от языка к языку. В русском перед каждой репликой мы ставим длинное тире. Носители португальского бразильского поступают аналогично.

В английском языке используются “двойные” и ‘одинарные’ кавычки, например:

‘Here is a million pounds,’ said Marina, handing Simon a suitcase.

Marina continued: ‘I spoke with Ivan and he said, “Simon is asking for ten million, but that is too much.”’

В немецком языке диалоги также оформляются с помощью традиционных кавычек - „лапок“. Французы ставят «ёлочки», а так же короткие тире в тех случаях, когда меняется автор реплики. Части диалога отбиваются короткими тире и в испанском языке.

В итальянском и арабском для диалогов используются двойные прямые кавычки.

Китайцы обычно помещают в свои диалоги только「кавычки」 или их английский “аналог”.

Большая или маленькая

В английском, французском, испанском, португальском бразильском и итальянском языках всё просто и привычно для носителей русского - прописные буквы используются в начале предложений, для аббревиатур и имён собственных.

Немецкий язык гораздо веселее. С большой буквы пишутся существительные, имена и названия, вежливая форма обращения (Sie) во всех падежных формах (Ihr, Ihre, Ihrer, Ihres, Ihrem, Ihren). Прописную букву получают прилагательные, причастия и инфинитивы, которые используются в предложении как имена существительные в сочетании с определенным (das Gute) или неопределенным (ein Lächeln) артиклем, предлогом (in Blau), местоимением (dein Stottern), числительным (nichts Aufregendes) или прилагательным в склоняемой форме (lautes Sprechen). Всего-навсего:-)

В арабском алфавите не различаются строчные и прописные, зато большинство букв имеет по два, три или четыре различных написания: для начала, середины и конца слова, а иногда и для отдельно стоящей буквы вне слова. Похожая ситуация сложилась в китайском языке - вряд ли удастся выделить строчные или заглавные иероглифы. И если китайским авторам нужно выделить какую-то часть текста, то её подчеркивают или используют полужирное начертание.

Любой, кто работал с проектом из Китая или запускал там кампанию, знает, что местное представление о дизайне отличается от западного. За примерами далеко ходить не нужно — если вы работаете на международный бренд в Поднебесной или создаете какой-то продукт, который продается там, то посмотрите через Baidu.com или QQ.com, как ваша марка представлена в китайском online-пространстве.

Самое сильное различие заключается в том, что их сайты выглядят очень перегруженными. Много текстов, ссылок и даже анимации, которые, кажется, спроектированы так, чтобы страницу было невозможно читать.

Может быть, это и выглядит как цифровой хаос, однако китайские сайты создаются именно такими по нескольким причинам. Если вы планируете запустить свой бизнес в Китае, советуем вам узнать некоторые особенности местного веб-опыта.

Китайский язык совсем другой

Для начала перечислим несколько фактов, которые стоит знать:

1. В китайском языке нет заглавных букв. Западные читатели приучены выявлять большие буквы в тексте, чтобы найти начало и конец предложения. Именно поэтому китайские сайты могут выглядеть набором однотипных символов

2. Нет пробелов между символами. Западные языки используют пространство, чтобы отделить слова — этого в китайском тоже нет. Здесь длинная строка символов совершенно нормальна, в то время как западных пользователей она приводит в замешательство

3. Вы вдеили подбоыне тесткы? В принципе, все понятно, не так ли? Слова с перепутанными местами буквами легко читать, если первая и последняя буква находятся на своем месте и если они не написаны полностью в обратном порядке. Из-за этого люди скользят по тексту глазами, а не читают каждое слово. Но так как они не могут так же пробегать глазами по китайским текстам, (предполагается, что символы им незнакомы), строки таких символов кажутся им особенно хаотичными.

4. Китайские иероглифы гораздо более «плотные», чем латинские буквы или буквы кириллицы — 10 черточек в одном символе в среднем против одной или двух. Из-за этого опять же китайский текст выглядит «перегруженным» для западного пользователя.

Следующая особенность, которая приводит в недоумение — типичный китайский сайт выглядит как одна большая ссылка. На сайте Sohu.com буквально каждый символ является частью ссылки.

Есть две теории на этот счет. Первая заключается в том, что китайские иероглифы трудно печатать на клавиатуре с алфавитной раскладкой, поэтому вместо того, чтобы использовать поисковое окно, пользователи предпочитают кликать на ссылки.

Это довольно разумно, так как набор текста китайскими иероглифами включает либо рисование символов, либо использование западных букв для транскрипции пиньинь.

После того, как иероглиф написан или напечатана его транскрипция, появляются варианты символов, среди которых пользователю нужно выбрать правильный. Похоже, что делать это снова и снова для поиска достаточно тяжело.

Но есть еще одна теория. И с учетом популярности поискового сервиса Baidu, который предлагает китайский эквивалент поиску Google, есть причины в нее верить. По этой теории многие китайцы до сих пор пользуются низкоскоростным интернетом. А статистические данные исследования компании Akamai подтверждают это.

Процент онлайн-популяции в зависимости от страны и скорости Интернета: ниже 4 Мбайт/сек, выше 4 Мбайт/сек, ниже 10 Мбайт/сек, выше 10 Мбайт/сек

Как видно, две трети китайцев пользуются интернетом, скорость соединения которого ниже 4 Мб/с — это значительно ниже средней скорости в мире и почти неслыханно для западных стран.

В итоге, с такой относительно медленной скоростью интернета, разумно загружать одну страницу с большим количеством ссылок, а затем открывать их в новых вкладках. Это позволяет пользователям просматривать страницы параллельно вместо мучительно долгой загрузки страниц по очереди. Те, кто помнит интернет-соединение по телефонной линии, поймут, о чем идет речь.

И, наконец, на китайских сайтах используется множество мигающих текстов и баннеров.

Причина, по-видимому, кроется в том, что привлечь внимание, используя различные шрифты, в китайском намного сложнее, нежели в западных текстах. И у этого есть целый ряд причин, включая:

1. Имеется всего несколько шрифтов для китайских иероглифов
2. Курсив не существует, а выделение жирным обычно не используется
3. Минимальный размер шрифта — 12 пикселей

Более того (здесь мы обратимся к культурной составляющей), похоже, что китайцев мигающая графика просто заботит меньше, чем жителей Запада. В итоге, то, что нам кажется перегруженным, нормально для них.

И, кроме того, с учетом появления всплывающих окон на западных сайтах, китайские ресурсы уже не выглядят настолько отличающимися от них, как было раньше.

В заключение

В продолжении разговора о сложной китайской письменности давайте посмотрим, почему английский так прост. Представьте задачу, которая встает перед средним взрослым китайцем, решившим выучить английский. Что ему потребуется, чтобы справиться с письменностью? Всего 26 букв (конечно, строчные и заглавные, и рукописный шрифт, и несколько вариантов написаний. И еще кавычки, апострофы, тире, скобки и т.д. – но это все есть и у самих китайцев). Как мы пишем эти буквы? Слева направо. По горизонтали. С пробелами между словами. Если пока оставить в стороне орфографию, то сколько времени нужно китайцу, чтобы освоить английскую письменность? День или два.

А теперь обратная ситуация: американский студент, который решил учить китайский. Что потребуется ему? Алфавита нет, хотя, конечно, есть повторяющиеся элементы, из которых состоят иероглифы. А сколько таких элементов? Лучше не спрашивайте. Как и для многих других вопросов о китайском языке, четкого утешительного ответа нет. Это зависит от того, как вы определяете слово «элемент» (черта? Ключ?) и от других подробностей. Достаточно будет сказать, что их много, значительно больше, чем 26. А сочетание этих элементов? Слева от других элементов, справа от них, сверху, вокруг, внутри – возможно практически все. А во время своего перемещения в пространстве элементы меняются: сплющиваются, растягиваются, сжимаются, сокращаются, искажаются – чтобы поместиться в выделенное им пространство. Можно сказать, что у элементов китайской письменности два измерения, тогда как у алфавитной письменности – всего одно.

Даже если мы не будем вспоминать о красоте написания, сколько потребуется европейцу или американцу времени на освоение китайской письменности, чтобы, увидев новый иероглиф, они знали, как его можно хотя бы написать, чтобы результат их работы был хотя бы похож на прототип? И опять на этот вопрос сложно ответить. По моим оценкам – несколько месяцев упорной работы требуется на освоение основ. Если у человека плохо с рисованием – то год или больше. А в это время их китайские соперники, изучающие английский, уже перешли к рукописным шрифтам. И у них осталось время на то, чтобы прочитать «Моби Дик» или еще что-нибудь.

Конечно, алфавит упрощает жизнь. Мои знакомые китайцы, изучавшие английский несколько лет, могут писать рукописным шрифтом так, что их почерк нельзя отличить от почерка среднего американца. И в то же время единицы американцев способны написать иероглиф, который не будет походить на неуклюжую работу третьеклассника-китайца. Даже если бы в китайском не было больше ничего сложного, одна только необходимость писать иероглифы сделала бы его одним из сложнейших языков мира.