918d168ae7
The logic has not been changed, only renaming, splitting and moving modules on a per-function basis. Existing code will be left in place for the time being to avoid breaking the training code, which is not subject to refactoring this time.
162 lines
5.7 KiB
Python
162 lines
5.7 KiB
Python
import re
|
||
import unicodedata
|
||
from num2words import num2words
|
||
|
||
from style_bert_vits2.text_processing.symbols import PUNCTUATIONS
|
||
|
||
|
||
def normalize_text(text: str) -> str:
|
||
"""
|
||
日本語のテキストを正規化する。
|
||
結果は、ちょうど次の文字のみからなる：
|
||
- ひらがな
|
||
- カタカナ（全角長音記号「ー」が入る！）
|
||
- 漢字
|
||
- 半角アルファベット（大文字と小文字）
|
||
- ギリシャ文字
|
||
- `.` （句点`。`や`…`の一部や改行等）
|
||
- `,` （読点`、`や`:`等）
|
||
- `?` （疑問符`？`）
|
||
- `!` （感嘆符`！`）
|
||
- `'` （`「`や`」`等）
|
||
- `-` （`―`（ダッシュ、長音記号ではない）や`-`等）
|
||
|
||
注意点:
|
||
- 三点リーダー`…`は`...`に変換される（`なるほど…。` → `なるほど....`）
|
||
- 数字は漢字に変換される（`1,100円` → `千百円`、`52.34` → `五十二点三四`）
|
||
- 読点や疑問符等の位置・個数等は保持される（`??あ、、！！！` → `??あ,,!!!`）
|
||
|
||
Args:
|
||
text (str): 正規化するテキスト
|
||
|
||
Returns:
|
||
str: 正規化されたテキスト
|
||
"""
|
||
|
||
res = unicodedata.normalize("NFKC", text) # ここでアルファベットは半角になる
|
||
res = __convert_numbers_to_words(res) # 「100円」→「百円」等
|
||
# 「～」と「~」も長音記号として扱う
|
||
res = res.replace("~", "ー")
|
||
res = res.replace("～", "ー")
|
||
|
||
res = replace_punctuation(res) # 句読点等正規化、読めない文字を削除
|
||
|
||
# 結合文字の濁点・半濁点を削除
|
||
# 通常の「ば」等はそのままのこされる、「あ゛」は上で「あ゙」になりここで「あ」になる
|
||
res = res.replace("\u3099", "") # 結合文字の濁点を削除、る゙ → る
|
||
res = res.replace("\u309A", "") # 結合文字の半濁点を削除、な゚ → な
|
||
return res
|
||
|
||
|
||
def __convert_numbers_to_words(text: str) -> str:
|
||
"""
|
||
記号や数字を日本語の文字表現に変換する。
|
||
|
||
Args:
|
||
text (str): 変換するテキスト
|
||
|
||
Returns:
|
||
str: 変換されたテキスト
|
||
"""
|
||
|
||
NUMBER_WITH_SEPARATOR_PATTERN = re.compile("[0-9]{1,3}(,[0-9]{3})+")
|
||
CURRENCY_MAP = {"$": "ドル", "¥": "円", "£": "ポンド", "€": "ユーロ"}
|
||
CURRENCY_PATTERN = re.compile(r"([$¥£€])([0-9.]*[0-9])")
|
||
NUMBER_PATTERN = re.compile(r"[0-9]+(\.[0-9]+)?")
|
||
|
||
res = NUMBER_WITH_SEPARATOR_PATTERN.sub(lambda m: m[0].replace(",", ""), text)
|
||
res = CURRENCY_PATTERN.sub(lambda m: m[2] + CURRENCY_MAP.get(m[1], m[1]), res)
|
||
res = NUMBER_PATTERN.sub(lambda m: num2words(m[0], lang="ja"), res)
|
||
|
||
return res
|
||
|
||
|
||
def replace_punctuation(text: str) -> str:
|
||
"""
|
||
句読点等を「.」「,」「!」「?」「'」「-」に正規化し、OpenJTalk で読みが取得できるもののみ残す：
|
||
漢字・平仮名・カタカナ、アルファベット、ギリシャ文字
|
||
|
||
Args:
|
||
text (str): 正規化するテキスト
|
||
|
||
Returns:
|
||
str: 正規化されたテキスト
|
||
"""
|
||
|
||
# 記号類の正規化変換マップ
|
||
REPLACE_MAP = {
|
||
"：": ",",
|
||
"；": ",",
|
||
"，": ",",
|
||
"。": ".",
|
||
"！": "!",
|
||
"？": "?",
|
||
"\n": ".",
|
||
"．": ".",
|
||
"…": "...",
|
||
"···": "...",
|
||
"・・・": "...",
|
||
"·": ",",
|
||
"・": ",",
|
||
"、": ",",
|
||
"$": ".",
|
||
"“": "'",
|
||
"”": "'",
|
||
'"': "'",
|
||
"‘": "'",
|
||
"’": "'",
|
||
"（": "'",
|
||
"）": "'",
|
||
"(": "'",
|
||
")": "'",
|
||
"《": "'",
|
||
"》": "'",
|
||
"【": "'",
|
||
"】": "'",
|
||
"[": "'",
|
||
"]": "'",
|
||
# NFKC 正規化後のハイフン・ダッシュの変種を全て通常半角ハイフン - \u002d に変換
|
||
"\u02d7": "\u002d", # ˗, Modifier Letter Minus Sign
|
||
"\u2010": "\u002d", # ‐, Hyphen,
|
||
# "\u2011": "\u002d", # ‑, Non-Breaking Hyphen, NFKC により \u2010 に変換される
|
||
"\u2012": "\u002d", # ‒, Figure Dash
|
||
"\u2013": "\u002d", # –, En Dash
|
||
"\u2014": "\u002d", # —, Em Dash
|
||
"\u2015": "\u002d", # ―, Horizontal Bar
|
||
"\u2043": "\u002d", # ⁃, Hyphen Bullet
|
||
"\u2212": "\u002d", # −, Minus Sign
|
||
"\u23af": "\u002d", # ⎯, Horizontal Line Extension
|
||
"\u23e4": "\u002d", # ⏤, Straightness
|
||
"\u2500": "\u002d", # ─, Box Drawings Light Horizontal
|
||
"\u2501": "\u002d", # ━, Box Drawings Heavy Horizontal
|
||
"\u2e3a": "\u002d", # ⸺, Two-Em Dash
|
||
"\u2e3b": "\u002d", # ⸻, Three-Em Dash
|
||
# "～": "-", # これは長音記号「ー」として扱うよう変更
|
||
# "~": "-", # これも長音記号「ー」として扱うよう変更
|
||
"「": "'",
|
||
"」": "'",
|
||
}
|
||
|
||
pattern = re.compile("|".join(re.escape(p) for p in REPLACE_MAP.keys()))
|
||
|
||
# 句読点を辞書で置換
|
||
replaced_text = pattern.sub(lambda x: REPLACE_MAP[x.group()], text)
|
||
|
||
replaced_text = re.sub(
|
||
# ↓ ひらがな、カタカナ、漢字
|
||
r"[^\u3040-\u309F\u30A0-\u30FF\u4E00-\u9FFF\u3400-\u4DBF\u3005"
|
||
# ↓ 半角アルファベット（大文字と小文字）
|
||
+ r"\u0041-\u005A\u0061-\u007A"
|
||
# ↓ 全角アルファベット（大文字と小文字）
|
||
+ r"\uFF21-\uFF3A\uFF41-\uFF5A"
|
||
# ↓ ギリシャ文字
|
||
+ r"\u0370-\u03FF\u1F00-\u1FFF"
|
||
# ↓ "!", "?", "…", ",", ".", "'", "-", 但し`…`はすでに`...`に変換されている
|
||
+ "".join(PUNCTUATIONS) + r"]+",
|
||
# 上述以外の文字を削除
|
||
"",
|
||
replaced_text,
|
||
)
|
||
|
||
return replaced_text
|