ヤマムギ

growing hard days.

*

Developers Summit 2018 「自然言語処理・機械学習を活用したファクトチェック業務の支援」を聞きました

      2018/02/21


以下は、思ったことや気になったことをメモしていますので、必ずしも登壇者の発表内容やご意見ではないことを、ご承知おきください。

スピーカーはスマートニュースの小宮さん

「フェイクニュース」と「ファクトチェック」とは

まず、「フェイクニュース」と「ファクトチェック」についての説明からでした。


フェイクニュースとは、意図的に虚偽の言説を含んだ情報。意図的でないものはフェイクニュースではない。


ファクトチェックとは公表されている言説に対して事実として正確かを検証すること。
フェイクニュースだけでなく色々なものが対象で、報道機関のニュース、webメディア発信、SNSの一般人の発言も。
「正しい/間違い」だけをチェックするのではなく、対象は何か、事実化誤りか、不正確か、ミスリーディングか、裏付けは何かなどをチェックする。

発信情報から探索情報(検索、フィルタリング、機械的に補足、1日1万以上)、端緒情報(人手のよるスクリーニング、探索情報1,000件あたり数件)を経てファクトチェック記事(予備調査、裏付け)を公開するまでが一連の手順。

探索情報の中から端緒情報を探し出すのは量的に辛い。

ファクトチェック支援システム検証

ファクトチェック支援システムの検証をしたのでここからはその話。


発信媒体はインターネットに限定、データソースはTwitter。

入力を探索情報にして、出力は端緒情報の可能性数値。
なので正例は端緒情報である、誤例は端緒情報でない、となる。
ファクトチェッカーはこの可能性数値が高い情報からスクリーニングする。


前処理で、ツイートからノイズとなる情報(タイトル、ハッシュタグなど)を除去する。


分かち書きしてEmbeddingして予測するという流れ。

構成

オライリーの「仕事ではじめる機械学習」がおすすめの書籍。


GUIは探索結果を表示、
CollectorはTwitter APIでツイートを収集、
Learnerは学習用データセットをもとにモデルを構築する。
Predictorはモデルに基づいて端緒情報である確率を予測する。


Docker / Kurbernetesを利用してプロビジョニング、デプロイしている。

ファクトチェック・イニシアティブ活動は参加、支援出来るらしい。


最後までお読みいただきましてありがとうございました!

【PR】 「AWS認定試験対策 AWS クラウドプラクティショナー」という本を書きました。

【PR】 「AWSではじめるLinux入門ガイド」という本を書きました。

 - study

ad

ad

  関連記事

JAWS-UG Osaka 第14回勉強会 「DIY」 〜自社内システムを作る側からの物申す〜に参加、運営、登壇しました

先日、JAWS-UG Osaka 第14回勉強会 「DIY」 〜自社内システムを …

走った!しゃべった!呑んだ!JAWS DAYS 2016 re:cap 〜JAWS-UG大阪&関西女子会 特別合同企画〜

先日のJAWS DAYS 2016 re:cap 〜JAWS-UG大阪&関西女子 …

AWS Cloud Roadshow 2016 Osaka Night Event ミッドナイトJAWS

AWS Cloud Roadshow Osaka 2016のナイトイベントでミッ …

Java SE 7 Silver対策勉強をしながらメモ 2015/2/5

本日は例外。 いつものごとくマークダウンで記載したのでそのままJetpack M …

Java SE 7 Silver受験直前 練習問題総確認 2015/2/14

カーリング中継見ながら、iTunesシャッフルでかけながら、練習問題。 集中って …

実録 JAWS DAYS 2016 ~スタッフ,RoadTrip,懇親会LTで参加しまして~

2016/3/12 参加してまいりましたJAWSDAYS2016 スタッフとして …

DevLOVE関西 「サイボウズ開発の現場」に行ってきました

DevLOVE関西 「サイボウズ開発の現場」に行ってきました 所感 「KAIZE …

「JAWS-UG名古屋 re:Inventに行ったつもりのLT大会&忘年会」でLTしてきました

大阪から東京へ自転車で向かう初日に名古屋でJAWS-UGでLT大会に参加しようと …

「第14回RxTStudy(Redmine勉強会)」に行ってきました

土曜日の真っ昼間に半分以上が初参加者さんで80席が満席。 それだけRedmine …

Innovation EGG 第6回 『IoT 今と未来』に参加してきました

雨を心配していましたが、曇り空ながら雨はやんで、180名強の方が参加されたInn …