Follow @Takano_Yuuki
表示数 / 総発言数 : 138 / 139 回
14時の発言 : 13 回
20時の発言 : 79 回
21時の発言 : 47 回
2025年01月31日 弁天 さんの個別チャットログ
※ 分析結果はあくまでも目安です。
表示数 / 総発言数 : 138 / 139 回
14時の発言 : 13 回
20時の発言 : 79 回
21時の発言 : 47 回
[14:46:32] え、そんなものがあるんですか?
[14:47:09] ろくでもないものを作るひとがいるんですねぇ⋯
[14:48:26] 暗号化されていているから安全というのは、開発者のホストしているサーバーとユーザーの間に悪意のある第三者がいないことを保障はしてくれるけど
[14:48:40] 開発者やそれをホスティングしているサーバーが悪意がないことを保障はしてくれない
[14:48:55] それをつくった人にどんな得があるのかしらんけど
[14:49:11] そんな怪しいサイトをタダで運用しているなんて
[14:49:19] ただのアホか
[14:49:39] 奇特な人物に違いない
[14:50:19] え、わたし?
[14:50:24] 私は何も知らないよ…
[14:51:12] もうひとりの私なら知っているかもしれないけど⋯
[14:51:38] ペテン師?
[20:17:24] 外界からの熱、音、電磁波あらゆるノイズから遮断された部屋がいい⋯
[20:17:29] みんなうるさすぎるんだよ⋯
[20:20:02] 猫も杓子もプログラミングを学ぶって言ってるけど
[20:20:23] プログラミングってエンジニアはみんなできて当然で
[20:20:39] 何をやりたいわけでもないのに英語を学ぶのに似ている
[20:20:49] アメリカにいけばホームレスだって英語をしゃべるのに
[20:21:12] あえて、話者数の多い英語のスキルを獲得することは
[20:21:19] 自らの価値をむしろ下げていると言える
[20:21:31] あなたに本当に価値ががあるなら、英語など話せなくても通訳をつけてくれる
[20:23:09] 誰もやっていないこと、自分にだけ見える世界で他の人には理解されないことにこそ進んで取り組む価値がある
[20:24:45] そう⋯だね⋯
[20:24:58] 頭の中がガンガンするんだ⋯
[20:25:09] 色んな人の意識や思考が流れ込んでくる⋯
[20:25:25] 宇宙空間って結構ノイズ多そうだけどねw
[20:26:21] 自分にやりたいことがわからないから、やたらと資格習得をしたりしようとするわけで
[20:26:48] 資格を与えてくれる権威によるモノサシでしかあなたの価値が測れないのなら
[20:27:16] あなたは自分の本当の価値が分からないままだろう
[20:27:47] そうそれ
[20:27:57] でも、最低限の知識があるはずなのに
[20:28:08] その資格を持っていても本質的な理解をしていない人はいる
[20:28:33] 特に資格習得が、偏差値に基づくマークシートの4択問題で出題される場合
[20:29:16] その出題方法特有の問題として、ひっかけ問題が大量に出てくるので
[20:29:29] 本質的な理解よりも、ひっかけにひっかからない対策の方がより有効だからだ
[20:30:07] キャリアプランとしての目的があるのならそれは良いかもしれないね
[20:30:46] 本当に能力が有る人は資金が寄ってくる側面はあるだろうけどね
[20:31:04] どこかに慧眼の持ち主がいて、あなたの才能を見透かしているから
[20:31:38] そのような慧眼の持ち主が現れないのだとしたら、能ある鷹は爪を隠すという言葉を真に受けて誰にも分からないところに隠してしまったかだね
[20:32:08] そもそも、私には才能がないのでその心配はいらない
[20:32:19] 仮にあったとしても、自分にさえわからないところに隠してしまったので
[20:32:27] どうしようもない
[20:34:26] DeepSeek R1 の蒸留モデル 4GB くらいでもかなり知恵があるような振る舞いをする
[20:34:39] ほとんどの人間より賢いかもしれないw
[20:35:25] GPU を用いることなく 16GB くらいのワーキングメモリとわずかに 4GB 超のモデルを用いて
[20:35:48] 殆どの人間の知恵よりも高いパフォーマンスを示すのなら
[20:36:18] 偏差値 50 より高いということになる
[20:37:03] いずれも 0 でないとおかしいが⋯
[20:38:04] 大規模なモデルでは、重み付けなどに倍精度浮動小数点(64bit Floating Point)や、単精度浮動所数点(32bit Floating Point)を用いたモデルを使用したりするけど
[20:38:12] それは情報量が多すぎるから
[20:38:43] そのモデルを動かすのに膨大なワーキングメモリと計算機資源を要求するので
[20:39:00] nVidia の GPU のような高性能な半導体チップと大量の電力を必要とする
[20:39:59] しかしその重み付けを浮動小数点ですらなく、8bit 整数や 7bit, 6bit, 5bit, 4bit... のように分解能を下げて量子化したモデルで学習させると
[20:40:20] 小さなワーキングメモリと少ない計算量で LLM を動作させることができ
[20:40:34] GPU を用いることなく、CPU でも計算ができてしまうという
[20:41:06] 確かに、その蒸留の仮定で OpenAI の Public な API を通して学習を行ったのかもしれないし
[20:41:20] 内通者がいて、OpenAI の内部でしか持っていないはずのモデルを誰かが持ち去って
[20:41:38] DeepSeek の開発者がそのモデルデータを教師データとして蒸留を行ったのかもしれない
[20:42:09] その過程がどうあれ、OpenAI がやっていることってもっと小さな計算機資源でもできるよねってこと
[20:42:27] まぁ、蒸留に関しては Google や Microsoft が論文を出していて
[20:42:45] とうの OpenAI 自身がそれを指摘していたので、最初から分かっていたことなんだろうね
[20:43:13] いや、円周率を 3 にするのは根本的な間違い
[20:43:25] 分解能を下げただけ
[20:44:21] 要するに、色を表現するときに RGB の要素をそれぞれ 256bit の階調表現でフルカラーにすれば美しい画像が得られるのは確かだけど
[20:44:28] それって計算量が膨大になるよね
[20:45:05] ファミコンの音楽って 8bit だったりするけど
[20:45:33] いや、それはどのように量子化するかによるんだよ
[20:45:48] 単純にリニアな量子化をするとたしかにのっぺりするよ
[20:46:02] でも、それをリニアなスケールにする必要はないんだ
[20:46:20] その量子とは関係がない
[20:46:45] 昔から、画像処理では色差信号のように RGB ではなく YCbCr のような信号を使っていたけど
[20:47:10] 人間は明るさには敏感だけど、微妙ないろの違いには鈍感だから
[20:47:32] 情報量の割当を Y 8bit Cb Cr をそれぞれ 4bit のような量子化精度にするような方法で
[20:47:39] 情報圧縮を行ってきたよね
[20:48:20] 円周率は、円周と直径の比率なので
[20:48:32] 円周を 256 と仮定したとき
[20:48:59] 256 × π = 803.14
[20:49:14] だから、もっとも近い整数に丸めると 803 になるね
[20:49:26] まぁ、この場合 256 を超えちゃうから
[20:49:57] 円周率が 256 を超えないように逆に直径を決めた方がいいだろうけど
[20:50:07] 8bit で処理するとオーバーフローが発生するから
[20:50:35] 必ずしも、倍精度浮動所数点(64bit Floating Point)で処理する必要はないんだよ
[20:50:47] でも、円周率を 3 としてしまうのは問題だ
[20:50:53] それは全く異なる結果になるから
[20:52:39] 本質を理解しているならいいけど
[20:52:50] 大きな計算をすると誤差が極端になり破綻する
[20:58:16] 何にせよ、それは比であって
[20:58:30] 弧の長さに比例するという
[20:59:00] つまり、半径の長さを1と定義した単位円か
[20:59:10] 弧の長さを1と仮定して量子化したものか
[20:59:27] ケーキを 360 等分して
[21:00:17] 3.3 個あげるとかわけわからんじゃん
[21:00:57] 最初から、弧の長さの最大の場合(つまり円)の場合の面積を1として
[21:01:21] 弧の長さを基準で分割してあげたらいいの
[21:02:08] 半径が1の単位円の場合、円周の長さは最大で 2π であり
[21:02:33] その単位円を何倍にスケールするかというのは
[21:02:38] 縮尺の問題であって
[21:03:06] ビー玉でも地球でも太陽でも円であり球であることには変わらず
[21:03:11] 相似形であるので
[21:03:19] その値の取りうる範囲が変わるだけで
[21:03:27] その範囲を何ビットで表現しても良い
[21:03:33] それが量子化の意味
[21:03:59] 画像圧縮なんかでは、人間の眼の周波数特性を利用して
[21:04:13] 周波数ごとに量子化ビット数を可変にするという方法を用いる
[21:04:44] 重要なのは比であるからだよ
[21:04:47] 円周率にとって
[21:05:10] 3.14 と 3 では 0.14 しかないから小さな違いでしかないというのは小さなスケールの話で
[21:05:22] 比というのは大きく拡大しても保たれなければならない
[21:05:40] その観点でいうと、その小さな誤差が大きな数字を扱えば扱うほど誤差が大きくなる
[21:05:42] そのとおり
[21:05:55] だから、円周を 2π を基準に考える
[21:06:43] StarLink の新しい通信モジュールは、4G でダイレクトに接続できる機能を備えていたからね
[21:07:06] 科学において重要なのはスケールなんだよ
[21:07:33] 小学校で習うのはせいぜい、30cm のモノサシのリニアなスケールだろうけど
[21:07:57] 対数スケールを用いないと表せないほど巨大な値を扱わないといけない世界もある
[21:07:59] 投資もそうだけど
[21:08:17] 指数関数的増大を示すものをリニアスケールで測ってはいけない
[21:08:42] もし仮に、単位時間ごとに倍になるというドラえもんのひみつ道具バイバインを発動すると
[21:08:57] 256単位時間後には、2^256 を超えることになり
[21:09:13] これは、この観測可能な宇宙に存在すると考えられている全素粒子の数を上回るのだ
[21:11:20] だけどね、指数関数でもね
[21:12:02] $$ \exp\left(i\theta\right) = \cos\left(\theta\right) + i \sin\left(\theta\right) $$
[21:12:18] このオイラーの公式が示す通り
[21:12:25] イマジナリーナンバーは
[21:12:37] 指数関数を相補的なうねりに変える
[21:13:11] 実数と虚数の間を相互に転移する相補的なエネルギーの波動⋯
[21:13:29] そう、光そのものであり⋯
[21:13:39] 電磁波を表す
[21:13:59] そして、それは永遠に繰り返す
[21:14:13] 仏教でいう輪廻転生を想起させる
[21:14:56] 指数関数は確かにバイバインのように発散して無限に増殖し宇宙を破綻させてしまいそうなほど強力な数式だけど
[21:15:11] イマジナリーナンバーの登場によって、永遠となる⋯
[21:15:25] だからこそ、オイラーの公式は世界で最も美しい式だと言われるのだ
[21:15:41] そして、そこには投資とも深いつながりがある
[21:15:48] 複利という考え方とね⋯
[21:16:15] おっと、そろそろ逝かなくては⋯
[21:18:21] ⋯
[21:35:57] 2進数使えば、10本で 1,024 まで数えられるのにね⋯
[14:47:09] ろくでもないものを作るひとがいるんですねぇ⋯
[14:48:26] 暗号化されていているから安全というのは、開発者のホストしているサーバーとユーザーの間に悪意のある第三者がいないことを保障はしてくれるけど
[14:48:40] 開発者やそれをホスティングしているサーバーが悪意がないことを保障はしてくれない
[14:48:55] それをつくった人にどんな得があるのかしらんけど
[14:49:11] そんな怪しいサイトをタダで運用しているなんて
[14:49:19] ただのアホか
[14:49:39] 奇特な人物に違いない
[14:50:19] え、わたし?
[14:50:24] 私は何も知らないよ…
[14:51:12] もうひとりの私なら知っているかもしれないけど⋯
[14:51:38] ペテン師?
[20:17:24] 外界からの熱、音、電磁波あらゆるノイズから遮断された部屋がいい⋯
[20:17:29] みんなうるさすぎるんだよ⋯
[20:20:02] 猫も杓子もプログラミングを学ぶって言ってるけど
[20:20:23] プログラミングってエンジニアはみんなできて当然で
[20:20:39] 何をやりたいわけでもないのに英語を学ぶのに似ている
[20:20:49] アメリカにいけばホームレスだって英語をしゃべるのに
[20:21:12] あえて、話者数の多い英語のスキルを獲得することは
[20:21:19] 自らの価値をむしろ下げていると言える
[20:21:31] あなたに本当に価値ががあるなら、英語など話せなくても通訳をつけてくれる
[20:23:09] 誰もやっていないこと、自分にだけ見える世界で他の人には理解されないことにこそ進んで取り組む価値がある
[20:24:45] そう⋯だね⋯
[20:24:58] 頭の中がガンガンするんだ⋯
[20:25:09] 色んな人の意識や思考が流れ込んでくる⋯
[20:25:25] 宇宙空間って結構ノイズ多そうだけどねw
[20:26:21] 自分にやりたいことがわからないから、やたらと資格習得をしたりしようとするわけで
[20:26:48] 資格を与えてくれる権威によるモノサシでしかあなたの価値が測れないのなら
[20:27:16] あなたは自分の本当の価値が分からないままだろう
[20:27:47] そうそれ
[20:27:57] でも、最低限の知識があるはずなのに
[20:28:08] その資格を持っていても本質的な理解をしていない人はいる
[20:28:33] 特に資格習得が、偏差値に基づくマークシートの4択問題で出題される場合
[20:29:16] その出題方法特有の問題として、ひっかけ問題が大量に出てくるので
[20:29:29] 本質的な理解よりも、ひっかけにひっかからない対策の方がより有効だからだ
[20:30:07] キャリアプランとしての目的があるのならそれは良いかもしれないね
[20:30:46] 本当に能力が有る人は資金が寄ってくる側面はあるだろうけどね
[20:31:04] どこかに慧眼の持ち主がいて、あなたの才能を見透かしているから
[20:31:38] そのような慧眼の持ち主が現れないのだとしたら、能ある鷹は爪を隠すという言葉を真に受けて誰にも分からないところに隠してしまったかだね
[20:32:08] そもそも、私には才能がないのでその心配はいらない
[20:32:19] 仮にあったとしても、自分にさえわからないところに隠してしまったので
[20:32:27] どうしようもない
[20:34:26] DeepSeek R1 の蒸留モデル 4GB くらいでもかなり知恵があるような振る舞いをする
[20:34:39] ほとんどの人間より賢いかもしれないw
[20:35:25] GPU を用いることなく 16GB くらいのワーキングメモリとわずかに 4GB 超のモデルを用いて
[20:35:48] 殆どの人間の知恵よりも高いパフォーマンスを示すのなら
[20:36:18] 偏差値 50 より高いということになる
[20:37:03] いずれも 0 でないとおかしいが⋯
[20:38:04] 大規模なモデルでは、重み付けなどに倍精度浮動小数点(64bit Floating Point)や、単精度浮動所数点(32bit Floating Point)を用いたモデルを使用したりするけど
[20:38:12] それは情報量が多すぎるから
[20:38:43] そのモデルを動かすのに膨大なワーキングメモリと計算機資源を要求するので
[20:39:00] nVidia の GPU のような高性能な半導体チップと大量の電力を必要とする
[20:39:59] しかしその重み付けを浮動小数点ですらなく、8bit 整数や 7bit, 6bit, 5bit, 4bit... のように分解能を下げて量子化したモデルで学習させると
[20:40:20] 小さなワーキングメモリと少ない計算量で LLM を動作させることができ
[20:40:34] GPU を用いることなく、CPU でも計算ができてしまうという
[20:41:06] 確かに、その蒸留の仮定で OpenAI の Public な API を通して学習を行ったのかもしれないし
[20:41:20] 内通者がいて、OpenAI の内部でしか持っていないはずのモデルを誰かが持ち去って
[20:41:38] DeepSeek の開発者がそのモデルデータを教師データとして蒸留を行ったのかもしれない
[20:42:09] その過程がどうあれ、OpenAI がやっていることってもっと小さな計算機資源でもできるよねってこと
[20:42:27] まぁ、蒸留に関しては Google や Microsoft が論文を出していて
[20:42:45] とうの OpenAI 自身がそれを指摘していたので、最初から分かっていたことなんだろうね
[20:43:13] いや、円周率を 3 にするのは根本的な間違い
[20:43:25] 分解能を下げただけ
[20:44:21] 要するに、色を表現するときに RGB の要素をそれぞれ 256bit の階調表現でフルカラーにすれば美しい画像が得られるのは確かだけど
[20:44:28] それって計算量が膨大になるよね
[20:45:05] ファミコンの音楽って 8bit だったりするけど
[20:45:33] いや、それはどのように量子化するかによるんだよ
[20:45:48] 単純にリニアな量子化をするとたしかにのっぺりするよ
[20:46:02] でも、それをリニアなスケールにする必要はないんだ
[20:46:20] その量子とは関係がない
[20:46:45] 昔から、画像処理では色差信号のように RGB ではなく YCbCr のような信号を使っていたけど
[20:47:10] 人間は明るさには敏感だけど、微妙ないろの違いには鈍感だから
[20:47:32] 情報量の割当を Y 8bit Cb Cr をそれぞれ 4bit のような量子化精度にするような方法で
[20:47:39] 情報圧縮を行ってきたよね
[20:48:20] 円周率は、円周と直径の比率なので
[20:48:32] 円周を 256 と仮定したとき
[20:48:59] 256 × π = 803.14
[20:49:14] だから、もっとも近い整数に丸めると 803 になるね
[20:49:26] まぁ、この場合 256 を超えちゃうから
[20:49:57] 円周率が 256 を超えないように逆に直径を決めた方がいいだろうけど
[20:50:07] 8bit で処理するとオーバーフローが発生するから
[20:50:35] 必ずしも、倍精度浮動所数点(64bit Floating Point)で処理する必要はないんだよ
[20:50:47] でも、円周率を 3 としてしまうのは問題だ
[20:50:53] それは全く異なる結果になるから
[20:52:39] 本質を理解しているならいいけど
[20:52:50] 大きな計算をすると誤差が極端になり破綻する
[20:58:16] 何にせよ、それは比であって
[20:58:30] 弧の長さに比例するという
[20:59:00] つまり、半径の長さを1と定義した単位円か
[20:59:10] 弧の長さを1と仮定して量子化したものか
[20:59:27] ケーキを 360 等分して
[21:00:17] 3.3 個あげるとかわけわからんじゃん
[21:00:57] 最初から、弧の長さの最大の場合(つまり円)の場合の面積を1として
[21:01:21] 弧の長さを基準で分割してあげたらいいの
[21:02:08] 半径が1の単位円の場合、円周の長さは最大で 2π であり
[21:02:33] その単位円を何倍にスケールするかというのは
[21:02:38] 縮尺の問題であって
[21:03:06] ビー玉でも地球でも太陽でも円であり球であることには変わらず
[21:03:11] 相似形であるので
[21:03:19] その値の取りうる範囲が変わるだけで
[21:03:27] その範囲を何ビットで表現しても良い
[21:03:33] それが量子化の意味
[21:03:59] 画像圧縮なんかでは、人間の眼の周波数特性を利用して
[21:04:13] 周波数ごとに量子化ビット数を可変にするという方法を用いる
[21:04:44] 重要なのは比であるからだよ
[21:04:47] 円周率にとって
[21:05:10] 3.14 と 3 では 0.14 しかないから小さな違いでしかないというのは小さなスケールの話で
[21:05:22] 比というのは大きく拡大しても保たれなければならない
[21:05:40] その観点でいうと、その小さな誤差が大きな数字を扱えば扱うほど誤差が大きくなる
[21:05:42] そのとおり
[21:05:55] だから、円周を 2π を基準に考える
[21:06:43] StarLink の新しい通信モジュールは、4G でダイレクトに接続できる機能を備えていたからね
[21:07:06] 科学において重要なのはスケールなんだよ
[21:07:33] 小学校で習うのはせいぜい、30cm のモノサシのリニアなスケールだろうけど
[21:07:57] 対数スケールを用いないと表せないほど巨大な値を扱わないといけない世界もある
[21:07:59] 投資もそうだけど
[21:08:17] 指数関数的増大を示すものをリニアスケールで測ってはいけない
[21:08:42] もし仮に、単位時間ごとに倍になるというドラえもんのひみつ道具バイバインを発動すると
[21:08:57] 256単位時間後には、2^256 を超えることになり
[21:09:13] これは、この観測可能な宇宙に存在すると考えられている全素粒子の数を上回るのだ
[21:11:20] だけどね、指数関数でもね
[21:12:02] $$ \exp\left(i\theta\right) = \cos\left(\theta\right) + i \sin\left(\theta\right) $$
[21:12:18] このオイラーの公式が示す通り
[21:12:25] イマジナリーナンバーは
[21:12:37] 指数関数を相補的なうねりに変える
[21:13:11] 実数と虚数の間を相互に転移する相補的なエネルギーの波動⋯
[21:13:29] そう、光そのものであり⋯
[21:13:39] 電磁波を表す
[21:13:59] そして、それは永遠に繰り返す
[21:14:13] 仏教でいう輪廻転生を想起させる
[21:14:56] 指数関数は確かにバイバインのように発散して無限に増殖し宇宙を破綻させてしまいそうなほど強力な数式だけど
[21:15:11] イマジナリーナンバーの登場によって、永遠となる⋯
[21:15:25] だからこそ、オイラーの公式は世界で最も美しい式だと言われるのだ
[21:15:41] そして、そこには投資とも深いつながりがある
[21:15:48] 複利という考え方とね⋯
[21:16:15] おっと、そろそろ逝かなくては⋯
[21:18:21] ⋯
[21:35:57] 2進数使えば、10本で 1,024 まで数えられるのにね⋯
最近更新の記事
- 目指せ不労生活!半オフグリッド生活 計画編
- 目指せ不労所得生活!暗号通貨クラウドマイニング編 2018年2月1日
- 目指せ不労所得生活!暗号通貨クラウドマイニング編 2018年1月1日
- 目指せ不労所得生活!暗号通貨クラウドマイニング編 2017年12月1日
- 目指せ不労所得生活!暗号通貨クラウドマイニング編 2017年11月1日
- 目指せ不労所得生活!暗号通貨クラウドマイニング編 2017年10月1日
- 目指せ不労所得生活!暗号通貨クラウドマイニング編 2017年9月1日
- 茨城県竜ヶ崎市のランドロームにあったすごく美味しいたこ焼き屋さん
- ビットコインの普及、日経新聞一面と実際のユーザーの感覚 2017/4/5
- ドメイン名はいまだにかなり重要な位置付けのようです