ヤマムギ

growing hard days.

*

Developers Summit 2018 「自然言語処理・機械学習を活用したファクトチェック業務の支援」を聞きました

      2018/02/21

以下は、思ったことや気になったことをメモしていますので、必ずしも登壇者の発表内容やご意見ではないことを、ご承知おきください。

スピーカーはスマートニュースの小宮さん

「フェイクニュース」と「ファクトチェック」とは

まず、「フェイクニュース」と「ファクトチェック」についての説明からでした。


フェイクニュースとは、意図的に虚偽の言説を含んだ情報。意図的でないものはフェイクニュースではない。


ファクトチェックとは公表されている言説に対して事実として正確かを検証すること。
フェイクニュースだけでなく色々なものが対象で、報道機関のニュース、webメディア発信、SNSの一般人の発言も。
「正しい/間違い」だけをチェックするのではなく、対象は何か、事実化誤りか、不正確か、ミスリーディングか、裏付けは何かなどをチェックする。

発信情報から探索情報(検索、フィルタリング、機械的に補足、1日1万以上)、端緒情報(人手のよるスクリーニング、探索情報1,000件あたり数件)を経てファクトチェック記事(予備調査、裏付け)を公開するまでが一連の手順。

探索情報の中から端緒情報を探し出すのは量的に辛い。

ファクトチェック支援システム検証

ファクトチェック支援システムの検証をしたのでここからはその話。


発信媒体はインターネットに限定、データソースはTwitter。

入力を探索情報にして、出力は端緒情報の可能性数値。
なので正例は端緒情報である、誤例は端緒情報でない、となる。
ファクトチェッカーはこの可能性数値が高い情報からスクリーニングする。


前処理で、ツイートからノイズとなる情報(タイトル、ハッシュタグなど)を除去する。


分かち書きしてEmbeddingして予測するという流れ。

構成

オライリーの「仕事ではじめる機械学習」がおすすめの書籍。


GUIは探索結果を表示、
CollectorはTwitter APIでツイートを収集、
Learnerは学習用データセットをもとにモデルを構築する。
Predictorはモデルに基づいて端緒情報である確率を予測する。


Docker / Kurbernetesを利用してプロビジョニング、デプロイしている。

ファクトチェック・イニシアティブ活動は参加、支援出来るらしい。


最後までお読みいただきましてありがとうございました!

「AWS認定資格試験テキスト&問題集 AWS認定ソリューションアーキテクト - プロフェッショナル 改訂第2版」という本を書きました。

「AWS認定資格試験テキスト AWS認定クラウドプラクティショナー 改訂第3版」という本を書きました。

「ポケットスタディ AWS認定 デベロッパーアソシエイト [DVA-C02対応] 」という本を書きました。

「要点整理から攻略するAWS認定ソリューションアーキテクト-アソシエイト」という本を書きました。

「AWSではじめるLinux入門ガイド」という本を書きました。

 - study

ad

ad

  関連記事

Java SE 7 Silver対策勉強をしながらメモ 2015/2/11

練習問題4日目。 とりあえずひと通り終了。 317問中288問正解、90.85% …

「DevLOVE関西 ShareWisサービス開発の現場」に行ってきました

DevLOVE関西とは 「DevLOVE関西は素振りの場、現場は実践の場」 いつ …

「gusuku Meetup OSAKA Vol.1」に参加させていただきました

前回のkinotne Cafeの懇親会でふと言った「gusuku Meetupっ …

Java SE 7 Silver模擬テストの結果気になる問題をメモ 2015/2/13

違う種類の模擬テスト1回目。 90問中77問正解。 正解率85%。 まだまだ不安 …

「JP_Stripes Tokyo Vol.7 Stripe at Doorkeeper and MakeLeaps」で受付をしました

全編英語でJP_Stripes(Stripeの勉強会)の開催がありまして、受付を …

Developers Summit 2024「AI時代のソフトウェアテストの現在と未来」を見ました

Launchable, Inc. Co-CEO 川口 耕介さん 和田 卓人 さん …

ひと味違った南国の熱量を感じた高知の午後 ~「コミュニティリーダーズサミット in 高知 2018」に行ってきました~

「コミュニティリーダーズサミット in 高知 2018」という、イカしたイベント …

LINEとAWSとTwilioとkintoneでBOTを作ってみるハンズオン (6) Twilioからの電話受付と登録処理

作るところ 電話がかかってきてTwilioで受け付けてStepFunctions …

JAWS DAYS 2018で初めてのランチタイムセッションをやってみました

日本のAWSユーザーグループはJAWS-UGと言います。 JAWS-UGでは年に …

Innovation EGG 第7回 『クラウドネィティブ化する世界』に行ってきました

Innovation EGG 第7回 『クラウドネィティブ化する世界』に行ってき …