直近やりたいこと

Gemini AdvancedのGemsでいい感じのプロンプト研究 pandas研究 React Nativeでアプリ作り 技術要素を整理する方法について模索(いちいち図にするのめんどい、いい感じのプレゼン資料からコピペできるやつほしい、Google Mapみたいに拡大縮小したい) 情報処…

Sudachiを使って形態素解析(名詞抽出)

spacy+GiNZAだと100秒かかったのがsudachiだと10秒で終わる、しかも名詞自動抽出の精度もなかなか。 #!wget https://www.rondhuit.com/download/ldcc-20140209.tar.gz #!tar -zxvf ldcc-20140209.tar.gz #!pip install sudachipy sudachidict_core # 大量デ…

pandas多量データに対して人名抽出

速度を計測 なぜかnlp.pipeの効果があまりなかった・・・ nlp.pipeは結構メモリを消費するので使用する際は注意 人名抽出だけならnlpの enable=['tagger'] オプションで高速化できる ■enable=['tagger']あり nlpの並列化 nlp.pipeのbatch数 秒数(約7500デー…

MeCabで名詞抽出

vibratoがビルドできない場合はMeCabそのまま使ったほうが手軽 #!pip install mecab-python3 #!pip install setuptools #!pip install ipadic # 大量データセットの用意は前回記事参照 import pandas as pd import glob # データを読み込むディレクトリを指…

大量日本語データセットを用意してvibratoで形態素解析するサンプル

大量日本語データセット準備(ライブドアニュース) #!wget https://www.rondhuit.com/download/ldcc-20140209.tar.gz #!tar -zxvf ldcc-20140209.tar.gz #!pip install pandas import pandas as pd import glob # データを読み込むディレクトリを指定 data_…

spacyで人名削除

# !pip install spacy # !python -m spacy download ja_core_news_lg import spacy nlp = spacy.load("ja_core_news_lg", enable=['tagger']) def remove_personal_name_with_spacy(text): doc = nlp(text) result = [] for token in doc: if token.tag_ in …

自然言語処理の向こう側

BERT、BERTopicなどで、現在存在するデータについてクラスタ分けを簡単にすることができるが、(自分の中で)いくつか課題あり 分割されたクラスタ集団に対して適切な名前をつけることが難しい、データの中だけでは名前を付けられないので生成AIを使うのが良…

Ubuntu22.04でYJITのRuby3.2をビルドする

# 必要ライブラリインストール sudo apt install -y build-essential libssl-dev zlib1g-dev libyaml-dev rustc # rbenvインストール git clone https://github.com/rbenv/rbenv.git ~/.rbenv echo 'export PATH="~/.rbenv/bin:$PATH"' >> ~/.bashrc echo 'e…

勢いで生きる

瞬間を生きる 刹那の見切り 脊髄反射で答える 感情をさらけ出す 何も考えない 純真無垢 無知の知 自然体 右にならえ 失敗上等

メモ帳

HTTPヘッダインジェクション 改行コード2つが入っている。 %0d%0a 「具体的に述べよ」→ちゃんと読む ちゃんと読む。1から読む。無駄な記載が無い。注記を必ず読む 誘導 マルウェアの特徴をおさえる ネットワークの名前をおさえる 包含関係をおさえる。例)○○…

打ち合わせで心掛けていること

反応する ・何かありますか?→特にないですねぇ〜↑!ッ ・よくわからないけどよいと思います! ・一理ありますねぇ〜 ・(高速うなずき)

ここだけの話

マツケンサンバがダサいと呟くだけで荒れるのに、安倍晋三をいくら誹謗中傷しても荒れない原理がよくわかってない

自分のことを悪く言うようにプロパガンダした

誰か私を貶めて失脚させてくれないか 悪いのは全て私だ

こんなリーダーは嫌だ

真面目 ちょっとアウトローで気さくな方が良い

自分の頭で考えよう

あるプロジェクト内でYahoo知恵袋みたいに他社から質問を受ける立場になってしまったけれど、 ほとんどが自分でソースを読んでみて、自分で頑張って地道にデバッグしてみて、で解決できるのに皆諦めてしまっている。 コスパを優先しているのはわかるけどもプ…

楽しもうや

そんな仕事にマジになっちゃってどうするの 全て適当に力を抜いて自然体でやろう

会社に何か期待するのが間違っている

社会保険と税金をなんとかしてくれる業者だと思った方が気が楽 そこに働き甲斐とか生きがいとか評価とか求めるから頭がおかしくなる

承認欲求を捨てろ

上司に部下に同僚にどう思われようが関係ない 自分のやりたいことをやりたいようにやろう パッションで生きよう お前は今ろくに生きてないっ・・・!

他人の人生を生きていないか

周りの評価ばかり気にしていないか イタコだよもうそれ

近況

家ですんごい悩んでいたけど、散歩してCoCo壱のスタミナポークレバーカレーを食べたら全て忘れた

どうしたら幸せになれるのか?

自分だけ幸せになろうとするから幸せになれないよ派 VS 1人1人が幸せになればみんな幸せになるよ派 ファイッ!私は地球がハビタブルゾーンにあってグレートフィルターを超えて生物が誕生したことだけで飯が上手い派

近況

ある宗教が毎日2つの宗教に分裂して、その子宗教も毎日2つに分裂するとき、あなたはどの宗教に所属するか?答え:世界中の人に宗教が行き渡るので自分の名前が宗教になる

人生はジャスト・ア・ゲーム

人類およびほとんどの生物は絶滅する運命にある。 太陽系ないしこの宇宙はいずれ死を迎えるからだ。 宇宙の終焉 - Wikipedia どんなに長生きできるようになっても物理的な身体が存在し続けるのは無理なのは明らかだ。もしかするとクローン技術で別の身体で生…

Ubuntuのdo-release-upgradeができない場合

何度やっても「No new release found.」となる場合の話。 lsb_release -v コマンドが動作するか確かめる。 「No LSB modules are available」となる場合、sudo apt-get install lsb-coreを実行してインストールする。

Ubuntu16.04に更新して再起動したら「Failed to start Raise network interfaces.」となる場合

eth0のネットワークインターフェースの名前が変わっていた。 ip a コマンドで確認。ネットワーク名がeno001みたいな場合、/etc/network/interfacesのeth0の部分をeno001に変更してネットワーク再起動する。

sbtのキャッシュフォルダ

~/.ivy2/cacheでなくなっててハマったので…。時代遅れですみません。 https://github.com/coursier/sbt-coursier がsbt1.0以降にマージされたので、 https://get-coursier.io/docs/cache にあるように Linuxだと ~/.cache/coursier/v1 の下に依存関係のjarフ…

人前に立つことを苦痛に感じたくない

誰もあなたのことはそんなに見ていないし覚えていない 人生は宇宙の歴史に比べたら小さすぎる

もう今年の半分が終わってしまったけど今どんな気持ち?

諸行無常の響きあり。 何時になったら過去に行けるのか? 常々、過去に行けたら無限にやり直せるし未来に行けたら先延ばしできると思ってるから、まだ何もしていない。 ずっと空っぽだけど人間の器を広げ続けてんのよ。 人生は線ではなく点になっていくと思…

sbtのメモ

Ubuntu 19.10、sbt 1.3.12 Maven Central Repositoryにリリースしたときのメモ 注:sbt-pgp プラグイン 2.0になって、正攻法の使い方でパッとできなかったので、以前までの方法でやっています。すみません。前提:SonatypeのJIRAには登録してリリース時にMav…

Amazon WorkspacesをUbuntuから使う際の注意

初期設定ではLinuxとWebブラウザからのアクセスが許可されていないので、Amazon ADの設定から許可するようにする。