J.A.R.V.I.SLife is not just Live2024-03-20T00:22:44.288Zhttps://www.liunaijie.top/Liu NaiJieHexoSpark内容整理https://www.liunaijie.top/2024/01/20/publish/Spark%E5%86%85%E5%AE%B9%E6%95%B4%E7%90%86/2024-01-20T06:10:23.000Z2024-03-20T00:22:44.288Z
<p>最近在换工作, 抽个时间把这几年所学的内容整理一下.<br>接触spark已经3年多的时间, 把之前写的一些文章进行一下综合性的整理.</p>
Iceberghttps://www.liunaijie.top/2023/11/23/coding/big_data/iceberg/Iceberg/2023-11-23T13:23:00.000Z2024-03-20T00:22:44.284Z
<h1 id="前言"><a href="#前言" class="headerlink" title="前言"></a>前言</h1><p>本文将记录一下iceberg表的文件存储结构, 数据写入流程, 查询流程的等. 基于Spark引擎.</p>
A media platform base on web3, IPFShttps://www.liunaijie.top/2023/09/18/life/inspiration/A%20media%20platform%20base%20on%20web3,%20IPFS/2023-09-18T13:30:00.000Z2024-03-20T00:22:44.288Z
<h1 id="Purpose"><a href="#Purpose" class="headerlink" title="Purpose"></a>Purpose</h1><p>Now there has a lot of media company, but they won the data, means they can delete your video at any time and
图像处理入门-基础概念https://www.liunaijie.top/2023/09/11/coding/image_process/%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86%E5%85%A5%E9%97%A8-%E5%9F%BA%E7%A1%80%E6%A6%82%E5%BF%B5/2023-09-11T13:20:00.000Z2024-03-20T00:22:44.284Z
<p>最近买了台相机, 出去拍了一些照片, 然后突然想到AI来做照片的处理,优化等. 所以找了一些课程来学习一下图像处理的基础知识.<br>目前从这些课程中学习:<br><a href="https://www.bilibili.com/video/BV1Kh411X7Qv?p=3" target="_blank" rel="noopener">https://www.bilibili.com/v
LSM-Treehttps://www.liunaijie.top/2023/09/10/coding/algorithm/LSM-Tree/2023-09-10T13:29:00.000Z2024-03-20T00:22:44.276Z
<p><img src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAASwAAAEsCAMAAABOo35HAAAABGdBTUEAAK/INwWK6QAAABl0RVh0U29mdHdhcmUAQWRvYmUgSW1hZ2VSZWFkeXHJZTwAAAC9UExURVlZWdPT07KysmRkZIWFhfT09JmZmWZmZm9vb39/f
比特币与区块链https://www.liunaijie.top/2023/08/06/publish/%E6%AF%94%E7%89%B9%E5%B8%81%E4%B8%8E%E5%8C%BA%E5%9D%97%E9%93%BE/2023-08-06T02:31:11.000Z2024-03-20T00:22:44.292Z
<p>前段时间看了一个web3的视频, 对区块链有了兴趣, 想了解一下这是什么内容, 底层原理等.<br>看了一段时间的材料, 用这篇文章总结一下目前的看法.<br>推荐课程: <a href="https://www.bilibili.com/video/BV1Vt411X7JF/" target="_blank" rel="noopener">北京大学肖臻老师《区块链技术与应用》公开课</a
SparkContext的源码分析https://www.liunaijie.top/2023/07/30/publish/SparkContext%E7%9A%84%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90/2023-07-30T05:20:43.000Z2024-03-20T00:22:44.288Z
<p>继上一篇分析完Spark的提交流程之后, 这次继续分析下SparkContext的源码.</p>
<h1 id="创建"><a href="#创建" class="headerlink" title="创建"></a>创建</h1><p>当Spark通过反射调用用户提交类的主函数时, 用户的主函数内会完成SparkContext的创建.<br>还是以<code>JavaWordCount</
Spark中的提交流程https://www.liunaijie.top/2023/07/22/publish/Spark%E7%9A%84%E6%8F%90%E4%BA%A4%E6%B5%81%E7%A8%8B/2023-07-22T03:10:23.000Z2024-03-20T00:22:44.292Z
<p>本文以Spark3.4版本,提交任务方式为Yarn Cluster,以<code>JavaWordCount</code>这个应用程序为例来分析一下一个Spark任务的提交过程。<br>过程中会对代码做一些删减,主要目的是了解从用户提交任务开始到一个任务如何开始运行.<br>本文主要记录两种提交任务的方式,<code>spark-submit.sh</code>与<code>SparkLau
Flink学习(一)https://www.liunaijie.top/2022/12/04/publish/Flink%E5%AD%A6%E4%B9%A0(%E4%B8%80)/2022-12-04T02:08:12.000Z2024-03-20T00:22:44.288Z
<h1 id="时间语义"><a href="#时间语义" class="headerlink" title="时间语义"></a>时间语义</h1><p>Flink中的时间有三种:</p>
<ul>
<li>事件时间 Event Time. 事件真实发生的时间. </li>
<li>摄入时间 Ingestion time. 事件接入到Flink系统的时间</li>
<li>处理时间 Proce
ClickHouse-ReplicatedMergeTreehttps://www.liunaijie.top/2022/10/09/coding/big_data/clickhouse/ReplicatedMergeTree/2022-10-09T12:25:23.000Z2024-03-20T00:22:44.280Z
<p>ClickHouse的备份机制依赖于zookeeper来实现,并且只有MergeTree系列的表可以支持副本。</p>
<p>副本是表级别的,不是整个服务器级别的,所以在相同的服务器(cluster)上可以同时存在备份表和非备份表。</p>
<p>副本不依赖与分片,每个分片都有它自己的独立副本。</p>
<h2 id="修改配置"><a href="#修改配置" class="headerl