自然言語処理【日本語WordCloud】ExcelデータからPython/Pandasで頻出キーワードを可視化する
以前英語のWordCloudを作成しましたが、今回は日本語の形態素解析ができるMecabライブラリを使って、以下のエクセルデータから日本語用のWordCloudを作成してみたいと思います。 英語ワードクラウドを作...
自然言語処理
自然言語処理【WordCloud】ExcelデータからPython/Pandasで頻出キーワードを可視化する
Excelにあるこのようなテキストデータを1列ごとに取得してWordcloudを作成してみます。 ライブラリのインストール まずはじめにデータ操作のために使うpandasライブラ...
PythonPython/SeleniumでGoogle翻訳結果をExcelに自動入力
エクセル上の日本語文章を英語に翻訳し、翻訳結果を自動反映させて保存したい場合のサンプルプログラムです。A列に翻訳元となる日本語文章があらかじめ入力されていて、B列に翻訳結果となる英語文章が入力されていく想定です。 ...
BigQueryBigQueryのTIMESTAMPをUTCからJSTにしSTRING変換する
BigQueryにTIMESTAMP型をロードすると、 2022-07-01 09:00:00 UTC という形式で格納され、UTCがデフォルトの状態になっています。このようなTIMESTAMP型をJST(日本時間)に...
Django【Django】リダイレクト先への引数の渡し方_ListViewの場合
DjangoのViews.pyで、とある処理をした後に別のページ(関数)にリダイレクトさせることがあると思います。 上画像のように「チェックボタン」「削除ボタン」がクリックされた際に動く処理があり、最後に同ページ...
Django【DjangoのListView】複数のモデルを一つのテンプレートビューに表示する
今回このような簡易的なTodoリストを作成してみました。(今後それぞれのデータ右横には「削除」ボタン「Done」ボタン、項目ごとにデータ「追加」ボタンを設定したりといろいろいじっていく予定です) ディレクトリ構成...
Python【Selenium/gspread】Pythonでスクレイピングした内容をスプレッドシートに反映する
以前仕事で使用したSeleniumというライブラリですが、今回使い方を思い出すためと、Googleスプレッドシートに反映するという新しい工程を加えることを目的とし、その内容を備忘録がてら残しておきたいと思います。 ...
DjangoAWS EC2にDjangoアプリのデプロイ②〜Gunicorn、Nginx設定でアプリ自動起動
前回EC2のインスタンス作成からgitを通したアプリフォルダのデプロイまで行いました。 今回はその続きからで、Gunicorn、Nginxの設定をして自動的にアプリとサーバーが起動するようにしていきたいと思い...
DjangoAWS EC2にDjangoアプリのデプロイ① 〜インスタンス作成からマイグレーション動作確認
Djangoで自身の学習用に画像認識アプリを作成してみました。画像分類モデル作成→学習させたモデルをwebに組み込むという流れを掴むためだけに他の方の記事を参考にしながら付け焼き刃で作ったのでかなり簡素な内容になってますが、こ...
機械学習Tensorflow2.1以降をconda仮想環境にインストールする(Mac)
Kerasのサンプルコードを使うため、仮想環境にTensorflowをインストールしてみた。 conda create -n tf tensorflow conda activate tf Anaconda公式をみ...
PythonPython/SeleniumでGoogle翻訳結果をExcelに自動入力
エクセル上の日本語文章を英語に翻訳し、翻訳結果を自動反映させて保存したい場合のサンプルプログラムです。A列に翻訳元となる日本語文章があらかじめ入力されていて、B列に翻訳結果となる英語文章が入力されていく想定です。 ...
Python【Selenium/gspread】Pythonでスクレイピングした内容をスプレッドシートに反映する
以前仕事で使用したSeleniumというライブラリですが、今回使い方を思い出すためと、Googleスプレッドシートに反映するという新しい工程を加えることを目的とし、その内容を備忘録がてら残しておきたいと思います。 ...
GAS【GAS/PhantomJsCloud】JavaScriptでできた動的サイトのWebスクレイピング
ぱらげです。Google Apps Script(GAS)のParserを使って以下のページをスクレイピングしようとします。 デベロッパーツール上では、通常のHTMLページのように見えますが、この情報を「UrlF...
GAS【GAS】タグ内に固有のIDが割り振られている場合のデータ抽出方法(Parser.data)
ぱらげです。Google Apps Script(GAS)でWEBスクレイピングをする時はParserを使うのが主流になっているようですが、これで最初に戸惑ったのがいわゆる「getElementById」などタグのid名やcl...
GAS【GAS】sliceやsubstrなどで文字列抽出がうまくできない時に確認すること
ぱらげです。Google Apps Script(GAS)で文字列の一部を切り出したいのに、sliceやsubstrメソッドを使ってうまくできない場合、まず以下の点について確認してみてください。 型が文字列になっているか...
ExcelVBA【ExcelVBA】ループ中に配列の要素数を動的に増やして値を格納する
ぱらげです。 ループ中に「○○の場合のみ、○○(値)を配列に格納する」のような条件式を設定したくなることがよくあります。配列となる変数はあらかじめ要素数を指定する必要があるのですが、この場合だと必要な分だけ要素数を拡張して、そこに値...
ExcelVBA【ExcelVBA】指定セル範囲内の値をそのまま高速に配列に入れる
ぱらげです。 上記のように指定のセル範囲にある値をそのまま配列に入れたくなることって多々ありますよね。通常だとこの場合、A1～A5までをループさせて1セルずつ格納していく方法を思いつきますが、一気に配列に入れる方...
自然言語処理【日本語WordCloud】ExcelデータからPython/Pandasで頻出キーワードを可視化する
以前英語のWordCloudを作成しましたが、今回は日本語の形態素解析ができるMecabライブラリを使って、以下のエクセルデータから日本語用のWordCloudを作成してみたいと思います。 英語ワードクラウドを作...
自然言語処理【WordCloud】ExcelデータからPython/Pandasで頻出キーワードを可視化する
Excelにあるこのようなテキストデータを1列ごとに取得してWordcloudを作成してみます。 ライブラリのインストール まずはじめにデータ操作のために使うpandasライブラ...
機械学習Tensorflow2.1以降をconda仮想環境にインストールする(Mac)
Kerasのサンプルコードを使うため、仮想環境にTensorflowをインストールしてみた。 conda create -n tf tensorflow conda activate tf Anaconda公式をみ...
機械学習Tensorflowインストールエラーで結局MacにAnaconda再インストールしてうまくいった話
Tensorflowがインストールできない Keras公式サイトからライブラリを使う場合はTensorflowが必要みたいなので早速インストール。はじめに sudo conda install tensorflow ...
自然言語処理【ゼロから作るDeepLearning②】カウントベース手法で単語の類義語を取得する
ぱらげです。コーパス(テキストデータ)を使って、「ゼロから作るDeepLearning②」を参考にしながらカウントベースで指定した単語の類義語を取得してみたいと思います。 コーパスの前処理方法については以下の記事をご覧ください。...
自然言語処理【PythonとMeCabで簡単実装】日本語コーパス(テキストデータ)の前処理方法
ぱらげです。自然言語処理を行うにあたって、コンピュータに「単語の意味」を理解させるために、コーパス(テキストデータ)内の単語と単語を分割する「前処理」をします。英語文章ではあらかじめスペースによって単語同士が分かれていますが、...