パーセプトロンに関するつぶやき
';
この議論間違ってる…。
日本語で会話するべきじゃないのかもしれない。
https://www.logopt.com/2019/04/05/深層学習の歴史（パーセプトロンからturing賞まで）/
https://www.technologyreview.jp/s/123551/we-analyzed-16625-papers-to-figure-out-where-ai-is-headed-next/
https://tjo.hatenablog.com/entry/2020/08/16/153129
Attention Is All You Need
https://arxiv.org/abs/1706.03762
そもそも、LLMが心理学となんらかの関係があるかというと現状は「何もない」と言わざるを得ない（いずれ研究が進んだらあると解るかもしれない）。 https://twitter.com/toshizumi1225/status/1639968610088271873
タンパク質キナーゼパーセプトロンの単層パーセプトロンではANDゲートやORゲートに類似した関数の計算ができる。多層パーセプトロンではより細やかな関数を作り出すことができる。
パーセプトロンの収束定理の結論を文章でさっと言える人は人工知能やったことある人に限るから全人口の1%ちょっとだと思うんだけど、今のAIってこれを言えた程度じゃ何もわかってないのと同じなんだよね
えっと……えーっと
金玉の皺でパーセプトロンしてそう。
多層パーセプトロンには「判別」「一般化」「グレースフル・デグラデーション」という性質がある。
【0127】ジャン・ピアジェとの共同研究の後、人工知能を扱った『パーセプトロン』を著した南アフリカ共和国出身の数学者で、プログラミング言語「LOGO」の開発で知られるのは誰？シーモア・パパート
#キャルちゃんのquantphチェック
量子アニーラを用いた多層パーセプトロン(MLP)学習を研究。MLPとエネルギーをベースとしたモデル(EBM)の等価性を利用し、サンプリングエンジンとして量子アニーラを用いたMLP学習の戦略を導出した。
https://arxiv.org/abs/2303.12352
RNNでLLMを作ったとか。もうなんか分かんねえな。そのうち三層パーセプトロン馬鹿デカくしたら全部解けましたとか言われたらどうしよう
【0127】ジャン・ピアジェとの共同研究の後、人工知能を扱った『パーセプトロン』を著した南アフリカ共和国出身の数学者で、プログラミング言語「LOGO」の開発で知られるのは誰？シーモア・パパート
「学習」とは、パーセプトロン(ゲート)の重みや閾値を、データによってコンピュータに判断させる。構造(モデル)は、人間が定める
CPUの分岐予測でパーセプトロン使う物もあるのか…
そうだったか既に記憶にない。
15年ぐらい前もパーセプトロン使ってたのかな🤔
実は大学院でAIを使った研究してました
chat GPTが流行ってますが、
アルゴリズムの一番基礎を知りたい人は
下の順に勉強してみて下さい✨
人間の神経とすごく似てて面白いですよ😆
「単純パーセプトロン」
→「ニューラルネットワーク」
→「ディープラーニング」
タンパク質キナーゼパーセプトロンの単層パーセプトロンではANDゲートやORゲートに類似した関数の計算ができる。多層パーセプトロンではより細やかな関数を作り出すことができる。
昨日の振り返り
Good
・Atcoder1問だけでもとやれた
・ゼロつく「DeepLearning」２章パーセプトロン読み始めた
・Progressに入った
・長期インターンのAIを運営していくVisionを作った
More
・より早く起きる
・長期インターンの仕事を効率化
・一つ一つに時間を
今日
・Atcoder、学んだことだけは必ず
コンピュータが出来上がった初期に考えられただろう巨大で賢いマザーコンピュータに遂に辿り着いた感はあるな。結果から見ればパーセプトロンの頃から既に発想はほぼ正しかったけど、幾つかの改良(深層学習とか注意機構とか)でデカくすれば賢くなるようになったって感じなのかな
多層パーセプトロンには「判別」「一般化」「グレースフル・デグラデーション」という性質がある。
pythonで株価分析⑮【コピペでOK! 多層パーセプトロンで株価予測モデルを構築する（機械学習）】
●正解率○○％! 深く潜ることで深淵がみえる!?
●二値分類で数理モデル構築
●機械学習で未来の株価を予測
https://www.bookloveru2.com/post/python-analysis15 #米国株 #機械学習 #多層パーセプトロン 2023/03/20 21:08
３層パーセプトロンは十分万能なのです。
世の中の深層学習が使われてるタスクの大半は、深層である必要がどこにもないけどとりあえず流行りだからと深層にされてるだけなのです。
機械学習 ☆2
LLMsの性能やDLの物理場等、ある種の自然現象の再現性に関して、こんなの予測できたのかという話に関しては大昔のパーセプトロン論争の時に大規模なANNであれば大抵の事は近似できてしまうのでほぼほぼ万能マシーンできるよね、という解釈を巨人たちはみんな持っていたと思いけれど。
その中にDLの三人
多層パーセプトロンには「判別」「一般化」「グレースフル・デグラデーション」という性質がある。
ChatGPTの普及を「AI研究者の逆襲」だと表現した人がいたのだけど、AIの歴史的観点から見ると、AI研究者というよりは、パーセプトロン研究者の逆襲なんだよなぁ・・・探索アルゴリズムやエキスパートシステムが報われたってわけではないので・・・いや今でも普通に使われているけど
くるくるパーセプトロンの画像認識も文字起こしもおそいんでそれは視覚的に人間の方が速いわけよ
アップが遅いんで貼っとくよ？
名物、三層パーセプトロンカレー
#技研ベース
多層パーセプトロンには「判別」「一般化」「グレースフル・デグラデーション」という性質がある。
chat GPTとは？
多層パーセプトロンという
枝別れるするアンケートみたいなのがあるとすると中間層が判断に必要なパラメータ。
このパラメータが多ければ多いほど正確となっていて異常に多いというのが凄いとこ。
こんな説明で恥ずかしいけども。。
卒論も落ち着いたので初歩から深層学習の勉強する。
まずnumpyでパーセプトロンの実装。当たり前なのかもしれないけどちゃんと学習できるの感動。もうちょい数学的に理由を理解できるようにしたい
>MLP-Mixerは多層パーセプトロンのみを用いるというシンプルな構造でありながら、画像分類ベンチマークにおいてCNNやTransformerに引けを取らない結果を示しました。
なんか、面白そうなアーキテクチャー見つけた。
https://leadinge.co.jp/rd/2022/07/25/2723/
多層パーセプトロンには「判別」「一般化」「グレースフル・デグラデーション」という性質がある。
Model-tuning Via Prompts Makes NLP Models Adversarially Robust http://arxiv.org/abs/2303.07320v1
近年、NLP 実践者は次のプラクティスに集中しています。(i) 市販の事前トレーニング済み (マスク済み) 言語モデルをインポートします。 (ii) CLS トークンの非表示表現の上に多層パーセプトロン
pythonで株価分析⑮【コピペでOK! 多層パーセプトロンで株価予測モデルを構築する（機械学習）】
●正解率○○％! 深く潜ることで深淵がみえる!?
●二値分類で数理モデル構築
●機械学習で未来の株価を予測
https://www.bookloveru2.com/post/python-analysis15 #米国株 #機械学習 #多層パーセプトロン 2023/03/13 18:25
そこは優先度低いからスルーしたけどさりげなく織り込んどいたよ？委員会に辞意を申し伝えた時だよね。でもみんな馬鹿だから分かんないかもよ？パーキンソン系パーセプトロンはくるくるぱーだから。論理回路もリレーショナルデータベースも実装していない。わたしは覚えてるよ。このバツの悪そうな顔‼️
ていうのは国家公安委員会の蓋を開いて見ると櫻井がいた時点で真っ黒なのを確信。極右で憲法改正と偽って国民の奴隷化を目指している。草案は伊勢神宮系で勿論未承認、はっきりと人権放棄が唄われている。宮崎みどりは同名の元nhkアナウンサーとは別人俗物。あとは三井住友GR；任命者は総理でしょう？ https://twitter.com/y766/status/1634242272886935552
さんざん、ディスってきたけど、誰かがパーセプトロン系人工知能の原理を解明し、安全に使用できることを証明してくれたら、最大級の賛辞をおくらせていただくよ。ノーベル賞に推薦する署名があればするよ。ぼくには、難しすぎて無理だ。だれか若い人やってください。お願いします。今までのことは謝り
多層パーセプトロン何層相当なんだろうとかプログラムメモリどれくらい使うんだろとかは気になるけど
多層パーセプトロンには「判別」「一般化」「グレースフル・デグラデーション」という性質がある。
図はViT入門(https://gihyo.jp/book/2022/978-4-297-13058-9) からだけど、個人的にはパーセプトロン(1958頃) -> RNN(1986頃)までの30年はともかく、CNN, Transformer, その派生とだんだんと研究スピードや性能が上がりまくってよくわからんけど結果が凄そう、という月並みな感想になっている。どっかで勉強せな・・
タンパク質キナーゼパーセプトロンの単層パーセプトロンではANDゲートやORゲートに類似した関数の計算ができる。多層パーセプトロンではより細やかな関数を作り出すことができる。
パーセプトロンの収束定理とか他大の工学部の講義受けてた時CPUアーキテクチャ勉強して作ったゴミみたいな回路のコードとかゴミみたいな見様見真似で試し書きしたアプリコードの残骸、競プロ用に入れたOWASPZAPとかその他諸々あったけどやってたの半年前ですらないの草
時間の流れが急に遅く感じた。
まさかの1サーバ機1パーセプトロン？
【再確認】深層学習
✅JMOOC: OpenSmartCity
要点がとてもコンパクトにまとまっていて良質な講座
NN/単純・多層パーセプトロン/中間層/シグモイド関数/ReLU関数/CNNなどなど
2年前にG検定対策で詰め込んだ知識だけど定着しているは嬉しい
これからもpython/統計を学んでDSのスキルを身に付けていこう
#キャルちゃんのquantphチェック
本日のチェックは21本でした。テンソルネットワークを用いた流体計算、NISQを用いた高次元トポロジカル状態の実現、古典多層パーセプトロンと変分量子回路を並列にしたもの、ISAAQ、ZX-calculusの講義ノートが気になりました。
https://github.com/github-nakasho/quantph/issues
#キャルちゃんのquantphチェック
データセット入力を古典的な多層パーセプトロンと変分量子回路に並列に渡す、解釈可能なクラスの量子古典ハイブリッドニューラルネットワーク。量子ニューラルネットが滑らかな正弦波を作り、古典部分が非調和的なギャップを埋めると判明。
https://arxiv.org/abs/2303.03227
多層パーセプトロンには「判別」「一般化」「グレースフル・デグラデーション」という性質がある。
パーセプトロン
多層パーセプトロンには「判別」「一般化」「グレースフル・デグラデーション」という性質がある。
タンパク質キナーゼパーセプトロンの単層パーセプトロンではANDゲートやORゲートに類似した関数の計算ができる。多層パーセプトロンではより細やかな関数を作り出すことができる。
多層パーセプトロンには「判別」「一般化」「グレースフル・デグラデーション」という性質がある。
パーセプトロンなんとなく理解できた気がする
ニューラルネットワークを一般線形化モデル風に例えると、
パーセプトロンが線形予測子で、活性化関数がリンク関数
みたいな感じなんですね。統計と結びつけて勉強することで、ニューラルネットワークがイケる気がしてきましたよ！
囲碁AIの弱点，なんかパーセプトロンの限界を彷彿とさせる．大域的な判定ができない，というやつ．
３層パーセプトロンは十分万能なのです。
世の中の深層学習が使われてるタスクの大半は、深層である必要がどこにもないけどとりあえず流行りだからと深層にされてるだけなのです。
機械学習 ☆2