2024-08-31

spacyで人名削除

# !pip install spacy
# !python -m spacy download ja_core_news_lg
import spacy

nlp = spacy.load("ja_core_news_lg", enable=['tagger'])

def remove_personal_name_with_spacy(text):
    doc = nlp(text)
    result = []
    for token in doc:
      if token.tag_ in ["名詞-固有名詞-人名-姓", "名詞-固有名詞-人名-名"]: 
        result.append("●●")
      else:
        result.append(token.text)
    return "".join(result)

text = """私の名前は荒川花音です。あなたは安海愛さんですね？"""

result = remove_personal_name_with_spacy(text)

print(result)

私の名前は●●●●です。あなたは●●●●さんですね？

2024-08-26

自然言語処理の向こう側

BERT、BERTopicなどで、現在存在するデータについてクラスタ分けを簡単にすることができるが、（自分の中で）いくつか課題あり

分割されたクラスタ集団に対して適切な名前をつけることが難しい、データの中だけでは名前を付けられないので生成AIを使うのが良いか。以下のBERTopic結果画像の場合、写真とかイラストのクラスタ集団だと思うのだけれど、そういった名前付けするにも機械学習が必要ありそう。

BERTでは新しく発生したトピックについて検知するのが難しいのではないかという問題。例えば、過去の問い合わせ内容に対しては世界情勢（いつ、何が発生したか）ともっとプライベートな出来事（社内のサービスメンテナンス時刻、障害発生時刻）を紐付けて機械学習をして紐付けすれば良い？リアルタイムの問い合わせに対してはさらに別のアプローチが必要

2022-12-29

Ubuntu22.04でYJITのRuby3.2をビルドする

# 必要ライブラリインストール
sudo apt install -y build-essential libssl-dev zlib1g-dev libyaml-dev rustc

# rbenvインストール
git clone https://github.com/rbenv/rbenv.git ~/.rbenv
echo 'export PATH="~/.rbenv/bin:$PATH"' >> ~/.bashrc
echo 'eval "$(~/.rbenv/bin/rbenv init -)"' >> ~/.bashrc
source ~/.bashrc
git clone https://github.com/rbenv/ruby-build.git "$(rbenv root)"/plugins/ruby-build

# Ruby3.2(YJIT)インストール
RUBY_CONFIGURE_OPTS=--enable-yjit rbenv install -v 3.2.0