みなさん、今日も元気にNotion使っていますか！
今回はNotionライトユーザの私が、社内記事をNotionへ一括で自動移行しようとしたらAPIの仕様のおかげで結構大変だった話をさせてください…

Amazon Comprehendとは

本記事では、Amazon Comprehendについて紹介していきます。
Amazon Comprehendとは、AWSで展開している自然言語解析ツールになります。
できる事としては、以下の機能を持ってます。(今回は日本語対応できている機能のみ使います。)

始めに

最近、M2 Macbook Airを入手したBudoこと荻本です。
この記事では、教師なし学習であるK-meansやその発展形のアルゴリズムについて調査を行ったので、いくつかの手法を紹介したいと思います。

K-meansとは

教師なし学習の手法の一つです。
非階層クラスタリング手法であり、以下のような工程となります。

最初に

自然言語処理を行うにあたって文を単語毎に分け品詞を特定する形態素解析という処理があります。  
この処理を行うことによりテキスト上で意味を持つ単語とそうでない単語を分けることができ、その結果を集計することがテキストマイニングの第一ステップと言えます。  
日本語のみであれば、MeCabを利用する事で形態素解析が可能ですがシステムに組み込むとなると多言語対応が求められる事もあります。  
その際に精度が良く、多言語対応可能なPythonライブラリを紹介したいと思います。  
その名も「spaCy」です。

事前準備

今回は、Serverless Frameworkを利用することやAWS CLIを利用してイメージ登録を行う為、事前に検証用のIAMユーザーを作成しております。
作成したユーザープロファイルは登録済みの状態です。

SnowVillageで実演したNLP詳細解説

本記事は、2021/08/04(水)に登壇させていただいたSnowVillage生放送でのNLPパートの詳細解説記事になります。
生放送内では尺の都合上、紹介できなかった前処理やTF-IDFの解説を中心に紹介します。

SnowVillageとは...?
隔週水曜日にSnowflakeに関する情報発信を行っているアツいYoutubeチャンネルです。
Snowflakeはアメリカ・シリコンバレー 生まれのクラウド専用のデータコラボレーション基盤(Data Cloud)。日本では2020年から本格的に展開が進み、クラウドデータウェアハウス(DWH)やクラウドデータ基盤としての活用が始まっています。
以下、登壇時の動画を記載しますので、是非とも視聴していただけると幸いです。

DataRobotとは

DataRobotとは機械学習モデル作成を自動化するAIプラットフォームです。
データの分析・モデル構築・システムへのデプロイまでを素早く行え、機械学習ソリューションにありがちな問題であるモデルの判定結果における要因解釈について、わかりやすく可視化も行えることが特徴です。
ここからは、実際の予測モデルを作成する流れを通して、各機能を紹介いたします。

Watson Discovery News 日本語版が本日リリースされました！