初めに

案件において、DataRobotを扱う際にDataRobot内の機能としてSHAPが提供されていました。

1. はじめに

以前、DataRobot、AWS SageMaker Canvas、Google Teachable Machine という３種のAutoMLツールについて学習したので、本記事ではそれらの機能などを比較したいと思います。

AWS SageMaker Canvas は AWS が提供する AutoMLツールです。本記事では、AWS SageMaker Canvas を使用してモデルを構築する方法に解説します。

Google Teachable Machine は、機械学習モデルを作成するための便利なツールです。本記事では、Google Teachable Machine の基本的な使い方を解説します。

みなさん、今日も元気にNotion使っていますか！
今回はNotionライトユーザの私が、社内記事をNotionへ一括で自動移行しようとしたらAPIの仕様のおかげで結構大変だった話をさせてください…

Amazon Comprehendとは

本記事では、Amazon Comprehendについて紹介していきます。
Amazon Comprehendとは、AWSで展開している自然言語解析ツールになります。
できる事としては、以下の機能を持ってます。(今回は日本語対応できている機能のみ使います。)

始めに

最近、M2 Macbook Airを入手したBudoこと荻本です。
この記事では、教師なし学習であるK-meansやその発展形のアルゴリズムについて調査を行ったので、いくつかの手法を紹介したいと思います。

K-meansとは

教師なし学習の手法の一つです。
非階層クラスタリング手法であり、以下のような工程となります。

最初に

自然言語処理を行うにあたって文を単語毎に分け品詞を特定する形態素解析という処理があります。  
この処理を行うことによりテキスト上で意味を持つ単語とそうでない単語を分けることができ、その結果を集計することがテキストマイニングの第一ステップと言えます。  
日本語のみであれば、MeCabを利用する事で形態素解析が可能ですがシステムに組み込むとなると多言語対応が求められる事もあります。  
その際に精度が良く、多言語対応可能なPythonライブラリを紹介したいと思います。  
その名も「spaCy」です。

事前準備

今回は、Serverless Frameworkを利用することやAWS CLIを利用してイメージ登録を行う為、事前に検証用のIAMユーザーを作成しております。
作成したユーザープロファイルは登録済みの状態です。

SnowVillageで実演したNLP詳細解説

本記事は、2021/08/04(水)に登壇させていただいたSnowVillage生放送でのNLPパートの詳細解説記事になります。
生放送内では尺の都合上、紹介できなかった前処理やTF-IDFの解説を中心に紹介します。

SnowVillageとは...?
隔週水曜日にSnowflakeに関する情報発信を行っているアツいYoutubeチャンネルです。
Snowflakeはアメリカ・シリコンバレー 生まれのクラウド専用のデータコラボレーション基盤(Data Cloud)。日本では2020年から本格的に展開が進み、クラウドデータウェアハウス(DWH)やクラウドデータ基盤としての活用が始まっています。
以下、登壇時の動画を記載しますので、是非とも視聴していただけると幸いです。