お久しぶりです。１ヶ月に１回は更新するつもりが一回ダレるとなかなかどうして熱量が湧いてこない。ちまちまメモという名の下書きでも残しておくべきかなあ 今まで自分がキカイガクシュウで遊んでいたのは入力が画像のみのものばかりだった。とはいえ世の中…
あけましておめでとうございます。卒論と別の論文に追われて１ヶ月に最低１記事ができなかった追われてた割にはグラブルはめちゃくちゃしてたけど。ベストだベストを尽くせ... [1811.11718] Partial Convolution based PaddingをDropBlockの論文と一緒に読ん…
OSI参照モデルと走れメロスで初めて小説書きました。 書いてて思ったけど、キソーな内容なのに人に説明できるほど理解が自分の中で根付いてなくて腑甲斐ない メロヌは困惑した。必ず、かの無謬の叡智アマ＝リの論文をシオリンティウスに届けねばならぬと決意…
タイトル通りDropBlockという論文読みますた どういう内容かを雑にいえば、CNNのパラメータに対して cutout と呼ばれる一定のサイズの矩形でマスクする操作を行い、ドロップアウトと似た正則化の効果を得るみたいな話だったはず [1810.12890] DropBlock: A r…
TUCTFというのにチームjikyu600で参加できました。 もともとこっち方面で友達がほとんどいないんですが、研究室の先輩とその先輩の知り合いと、毎度質問ばっかして迷惑かけてしまっている先輩の3人が出てみたいと駄々こねたら忙しい中参加してくれてめちゃく…
月に1回は更新したかった。GANばっかも飽きるので別のこと書く openCVにcv2.pyrMeanShiftFilteringっていう画像変換がある。何というか入力画像の色合いが均一になってのっぺりした感じのものが出力として返ってくる。 左が入力画像で右がcv2.pyrMeanShiftFi…
その1の続き Standardな方のRSGANを実装してみる。 WGANまでTensorflowで実装してて今更Pytorchに変えたのはGeneratorとCriticのアーキテクチャの部分とか訓練の部分の定義がめんちいから。自分が効率悪い書き方してるだけの向上心がクズなだけです・・・ 訓…
生きてます お世話になってる博士の人にRelativistic GANなる論文を教えてもらったので読んだ。相変わらず自分から良さげな論文を探すスキルが向上しない・・みんなどっから情報収集してるんだ [1807.00734] The relativistic discriminator: a key element …
WGANの論文読んでTensorflowで実装する その１ - 時給600円の続き 前回はEarth Mover DistanceもしくはWasserstein Distanceが他のJSダイバージェンスやTV距離と比べて優れてるというのをまとめた。 このEM距離をGANの目的関数として使いたいが、 このままで…
前回、間違えてUnrolledGANの論文を読んでしまった。 このWGANというのが本当は読もうと思った論文。正直UnrolledGANを先に読んでなかったらWGANの理解が深まらなかったと思う。読んでてよかった という訳で論文はここからどうぞ [1701.07875] Wasserstein G…
別のGANの論文を読むつもりが間違えてUnrolledGANと呼ばれるものを印刷して読んでしまった 途中でこれ違う論文やんけと気づいたけど紙がもったいないのでちゃんと読んでUnrolledGANを実装した。 まちがえて読んだ論文はこれ [1611.02163] Unrolled Generativ…
前回でMLPでのGANの実装が大体できたので、次はDCGANを実装に挑戦する。 DCGANのDCは Deep Convolution のDCだから畳み込み層を追加してパワーアップした感じのGANなんだろかというのが論文を読む前のイメージだったりする。 コードはここ github.com いつも…
タイトルのまんま VAEの理解のために変分ベイズの方を優先したいが卒業がかかっているので先にGANの論文を読んだ GANの論文って多いっぽいが以下のリンクのものを読み読みした [1406.2661] Generative Adversarial Networks これは自分の頭がお猿さんなせい…
前回の続き VAEの理解に必要なベイズ学習について - 時給600円 パラメータの事前分布を自分で仮定して、観測データを元により適したパラメータを推定するのがベイズ学習といった話だった。 事前分布として固定値ではなく正規分布といった確率分布を与えてそ…
自己符号化器、初めて知った当初は中間層にて入力の次元数より少ない次元数で表現し、出力層(入力と同じ次元数)で復元を行うすごいやつといったイメージがあった。入力にあえてノイズを加えて出力としてノイズを除去したものを得るデノイジング自己符号化器…
そういえば年末年始あたりにメルカリのコンペに冬休みの自由研究として参加してました 他のことに追われていたらいつの間にかコンペが終了したので反省という名の手法の振り返りをする コンペ自体の詳細は以下のリンクから Mercari Price Suggestion Challen…
確率統計の本を読んでいて、共分散行列あたりで射影の話が出てきた。 そういえば射影についてのイメージがあやふやだったなと思ったのでメモ かなり前に読んだフーリエの冒険を参考にした。 上の画像においてをとに射影するというのはを射影したい方向のベク…
あまりこういうことするのは好きではないが、これからも勉強を続けていってどれくらい成長できたか確認したいと思ったので、タイトル通り機械学習の勉強を始めて1年ほど経ったので振り返ることにした。 始めた発端 学部2年の10月頃、大学の授業にあまり追わ…
よく聞く自然言語処理をやっとこさ触ってみることにした。 自然言語処理自体については図書館で借りた戦略的データサイエンスという本がちょっとだけ触れていてくれたのでこれを元に触ってみることにする www.oreilly.co.jp 今までSVMでも決定木でも学習に必…
機械学習に全然関係ないです togglという時間を計測したり分析してくれるサービスがありますね 最近勉強時間を測って振り返ってみようと思い使っているが、スマホやブラウザから操作すると大抵タイマーをストップするのを忘れて作業時間が43時間になったりす…
青いイルカの深層学習の本やスパース性に基づく機械学習の本でも、損失関数の説明あたりで平均期待二乗誤差といった誤差の期待値を最小化する式が出てくる なんとなく雰囲気で読んでいて、いつも期待値が得体の知れないもののように感じて詰まってしまってい…
タイトル通りL1ノルムとか正則化あたりを理解しようと思ったので「スパース性に基づく機械学習」という本を読んでる わからないというより日本語が理解できないところがいくつかあったのでメモとして残して、理解できた部分はここでまとめることにする。 わ…
その２の続き その２で写像って何だ？というとこから基底や逆行列についてメモした 最後で独立の意味って何だろう？とか任意のある行列に逆行列が存在するかの判定や任意でとった基底の組が基底としての条件を満たしているかの判断はどうすればいいんだろう…
その１の続き その１では線形代数の授業で雰囲気で覚えていた線形空間や基底についてメモった 小学校や中学校で方眼紙を使ったことがあると思うが、一つの四角のマスが長さ 1cm を表しているとして この方眼紙においては、一つの四角のマスの横()と縦()があ…
プログラミングのための線形代数という本で線形代数の復習をしている。4章あたりまで読んだので振り返りとしてメモを残すことにする。 よく変数で配列だったりタプルだったりを使うことがある。これは複数の数値や文字列の集まりを一つのものとして見る。物…
お久しぶりです。 最近プログラミングのための線形代数という本で線形代数のやり直しをしている。基底のイメージが掴みやすくて読んでいて楽しい 第二章の最後あたりにチコノフ正則化というものについて書いてあったので試してみることにした コードはいつも…
ここ1ヶ月ほど、会社のアルバイトで6クラスの画像分類モデルをTensorflowを使って作ることを任された 色々詰まった、考えさせられたことがあったのでメモ 画像分類だったらCNNで、ネットワークはVGG16だったりAlexNetで作りましたべろ〜んwって感じでいいと…
授業が始まって中々勉強に時間が取れないがちょっとだけPRML上巻を読んだ。 ベイズの定理について自分なりの解釈としてのメモをかくことに 中学で確率における同時確率(または結合確率)というのを習った。これは事象XとYがあるとして、XとYが同時に起こる確…
初心者向けですが深層学習の講師を最近やりました。 講義の中で実際にKaggleのコンペで腕試しをするということをしたかったので講義をやる前にチャレンジした。 今回腕試しをするコンペはkaggleのチュートリアルで有名なtitanicを選んだ。 Titanic: Machine …
結構間が空いたが、Fast R-CNNの論文を読んだ。適度にメモする。 SPPnetではSelectiveSearchから得た候補領域一つ一つをCNNにかけるというのを無くし、対象とする画像データ一枚からCNN(畳み込みの処理のみ)にかけて得た特徴マップから物体検出を行う手法を…
