Fix crash when using XRender and restoring image from X (bug#44930)

* src/dispextern.h (struct image): Add original dimension elements.
* src/image.c (image_set_transform): Store the original dimensions.
(image_get_x_image): If we're using transforms use the original
dimensions with XGetImage.

Bind k to image-kill-buffer in doc-view-mode-map.

* lisp/doc-view.el (doc-view-mode-map): Bind k to image-kill-buffer.
The binding k -> doc-view-kill-proc-and-buffer has been removed in
2015 and the function been made an obsolete function alias to
image-kill-buffer (bug#45157).

Fix crash (segfault) in etags on generating tags for Erlang files

* lib-src/etags.c: Set allocated and lastlen to zero, after
freeing last ptr in Erlang_functions to prevent dereferencing NULL
pointer (bug#45122).

Copyright-paperwork-exempt: yes

(cherry picked from commit 2d8f0364fcd1d5dad2b82dd3a9af870b03854547)

Update publicsuffix.txt from upstream

* etc/publicsuffix.txt: Update from
https://publicsuffix.org/list/public_suffix_list.dat
dated 2020-11-30 21:57:25 UTC.

* lisp/vc/vc.el: Update args of backend API calls in the header comments

https://lists.gnu.org/archive/html/emacs-devel/2020-12/msg00283.html

Backport Handle read-char-from-minibuffer and y-or-n-p from pre-command-hook

* lisp/subr.el (read-char-from-minibuffer-insert-char)
(read-char-from-minibuffer-insert-other, y-or-n-p-insert-y)
(y-or-n-p-insert-n, y-or-n-p-insert-other):
Check for 'minibufferp' before executing the body.
(read-char-from-minibuffer, y-or-n-p): Let-bind this-command
before calling read-from-minibuffer.  (Bug#45029)

; Do not merge to master.

Improve documentation of streams in batch mode

* doc/lispref/os.texi (Batch Mode):
* doc/lispref/streams.texi (Input Streams, Output Streams): Better
documentation of I/O streams in batch mode, with more
cross-references.

Support ks_c_5601-1987 encoding

* lisp/language/korean.el (ks_c_5601-1987): Define as an alias for
'korean-iso-8bit.  (It is sometimes used in email messages.)

Fix Xaw widget text disappearing when built with cairo (bug#43418)

* lwlib/lwlib-utils.c (crxft_font_open_name): Use FcFontMatch to
get a pattern to pass to cairo_ft_font_face_create_for_pattern.

Improve documentation of 'ps-print-color-p'

* doc/emacs/misc.texi (PostScript Variables): Improve and clarify
the description of 'ps-print-color-p'.  (Bug#44962)

; * lisp/simple.el (move-beginning-of-line): Doc fix.

; * src/charset.c (Fmap_charset_chars): Doc fix.

; * src/chartab.c, src/lisp.h: Fix typos in comments.

; Auto-commit of loaddefs files.

Reset xref-show-xrefs-function temporarily

* lisp/dired-aux.el (dired-do-find-regexp-and-replace):
Make sure xref-show-xrefs-function has the necessary value (bug#44905).

Don't show in 'view-lossage' responses to xterm feature queries

* lisp/term/xterm.el (xterm--read-event-for-query): Prevent
recording the characters read as the xterm response to a query,
so as not to show them in 'view-lossage'.  (Bug#44908)

; * src/buffer.c: Fix comment describing 'buffer_defaults'.

Adapt Tramp versions.  Do not merge

* doc/misc/tramp.texi (Obtaining @value{tramp})
(Remote shell setup, Remote processes, Archive file names):
* doc/misc/trampver.texi:
* lisp/net/tramp.el:
* lisp/net/trampver.el (tramp-version)
(customize-package-emacs-version-alist): Adapt Tramp versions.

Return the correct suffix in eww-make-unique-file-name

* lisp/net/eww.el (eww-make-unique-file-name): Return the correct
suffix (bug#44936).

Save bookmarks by using `write-file' (bug#12507)

Go back to using `write-file' to save bookmarks, instead of using
`write-region'.  This means numbered backups of the bookmark file may
get made again, depending on the value of `bookmark-version-control'.

Thanks especially to Drew Adams and Eli Zaretskii for their
persistence in tracking down information relevant to this change.

Fix filing messages when 'rmail-output-reset-deleted-flag' is non-nil

* lisp/mail/rmailout.el (rmail-output): Fix off-by-one error in
deciding when to advance to the next message under non-nil
'rmail-output-reset-deleted-flag'.  (Bug#44839)

Make file copying in tramp-gvfs more robust

* test/lisp/net/tramp-tests.el (tramp-test11-copy-file)
(tramp-test12-rename-file): Do not skip for tramp-gvfs.el.

* lisp/net/tramp-gvfs.el (tramp-gvfs-do-copy-or-rename-file):
Add sanity checks.

Revert "Fix incorrect handling of module runtime and environment pointers."

This reverts commit cdc632fbe6e149318147a98cccf1b7af191f2ce8.
Those changes are too significant and non-trivial to be
suitable for a release branch at this time.

Fix incorrect handling of module runtime and environment pointers.

We used to store module runtime and environment pointers in the static
lists Vmodule_runtimes and Vmodule_environments.  However, this is
incorrect because these objects have to be kept per-thread.  With this
naive approach, interleaving module function calls in separate threads
leads to environments being removed in the wrong order, which in turn
can cause local module values to be incorrectly garbage-collected.

Instead, turn Vmodule_runtimes and Vmodule_environments into
hashtables keyed by the thread objects.  The fix is relatively
localized and should therefore be safe enough for the release branch.

Module assertions now have to walk the pointer list for the current
thread, which is more correct since they now only find environments
for the current thread.

Also add a unit test that exemplifies the problem.  It interleaves two
module calls in two threads so that the first call ends while the
second one is still active.  Without this change, this test triggers
an assertion failure.

* src/emacs-module.c (Fmodule_load, initialize_environment)
(finalize_environment, finalize_runtime_unwind): Store runtime and
environment pointers in per-thread lists.
(syms_of_module): Initialize runtimes and environments hashtables.
(module_assert_runtime, module_assert_env, value_to_lisp): Consider
only objects for the current thread.
(module_gc_hash_table_size, module_hash_push, module_hash_pop): New
generic hashtable helper functions.
(module_objects, module_push_pointer, module_pop_pointer): New helper
functions to main thread-specific lists of runtime and environment
pointers.
(mark_modules): Mark all environments in all threads.

* test/data/emacs-module/mod-test.c (Fmod_test_funcall): New test
function.
(emacs_module_init): Bind it.

* test/src/emacs-module-tests.el (emacs-module-tests--variable): New
helper type to guard access to state in a thread-safe way.
(emacs-module-tests--wait-for-variable)
(emacs-module-tests--change-variable): New helper functions.
(emacs-module-tests/interleaved-threads): New unit test.

CC Mode: Fix error in cache handling.  This fixes bug #43481

* lisp/progmodes/cc-engine.el (c-full-pp-to-literal): Handle correctly END
being before HERE by using parse-partial-sexp to get the end of the literal
containing HERE.

Revert extra focus redirection in do_switch_frame (Bug#24803)

* src/frame.c (do_switch_frame): Do not also redirect frame
focus when FRAME has its minibuffer window on the selected
frame which was intended to fix Bug#24500.  It may cause
Bug#24803 and lead to a nasty state where no active cursor is
shown on any frame, see
https://lists.gnu.org/archive/html/emacs-devel/2020-11/msg01137.html.

Minor cleanup of tramp-tests.el on MS Windows

* test/lisp/net/tramp-tests.el (tramp-test29-start-file-process):
Do not test remote pty on MS Windows.

Fix handling of defcustom :local tag

For discussion, see the following emacs-devel thread:
https://lists.gnu.org/r/emacs-devel/2020-11/msg00734.html

* lisp/custom.el (custom-declare-variable): Delay call to
make-variable-buffer-local until after user option has been
initialized with a value.  Otherwise the user option may be
initialized to nil.
* test/lisp/custom-tests.el (custom--test-local-option)
(custom--test-permanent-option): New :local user options.
(custom-test-local-option): New test for defcustom :local keyword.

CC Mode.  Fix an off by one error.  Fixes bug #41809

* lisp/progmodes/cc-engine.el (c-full-pp-to-literal): Change > to >= (twice).

Fix display artifacts when 'display' properties cover newlines

* src/xdisp.c (pos_visible_p): Set glyph_row of scratch iterators
to NULL, to avoid producing glyphs while we figure out the layout.
(Bug#44826)

Sync latest SKK-JISYO.L

* leim/SKK-DIC/SKK-JISYO.L: Sync to current upstream version.

(cherry picked from commit 6a5f9700846551a7f3795e257356dbab865116f4)

Update publicsuffix.txt from upstream

* etc/publicsuffix.txt: Update from
https://publicsuffix.org/list/public_suffix_list.dat
dated 2020-10-09 08:23:34 UTC.

(cherry picked from commit 5b13afab0a903ead8363482529019d4fb80ec4b4)

Fix Bug#44481

* lisp/net/tramp.el (tramp-system-name): New defconst.
(tramp-default-host, tramp-restricted-shell-hosts-alist)
(tramp-local-host-regexp):
* lisp/net/tramp-sh.el (tramp-maybe-open-connection): Use it.  (Bug#44481)

Minor Edebug manual keystroke clarifications

* doc/lispref/edebug.texi (Edebug Misc): Also mention the `a'
binding to abort (bug#44697).  Also fix `d' function reference, and
add `P' reference.

(cherry picked from commit b613f25f97abf756101eaa2af90689a19c0b3350)

Make ignoring modifiers on IME input optional

By default, ignore modifier keys on IME input, but add
a variable to get back old behavior.
* src/w32fns.c (syms_of_w32fns): New variable
w32-ignore-modifiers-on-IME-input.
(w32_wnd_proc): Use it to ignore modifier keys when IME input is
used.  (Bug#44641)

* etc/NEWS: Announce the change and the new variable.

Ignore modifiers when processing WM_IME_CHAR messages

* src/w32fns.c (w32_wnd_proc): Ignore modifiers when processing
WM_IME_CHAR messages.

Improve documentation of 'font-spec'

* doc/lispref/display.texi (Low-Level Font):
* src/font.c (Ffont_spec): Document 'font-spec' keys that are
supported, but were undocumented.

Further doc fixes for dotimes about RESULT

* lisp/subr.el (dotimes): Be even more explicit about RESULT
(bug#16206).

(cherry picked from commit 5b0d8d0f288fd505ca90bd30df709a5e7ab540d6)

; * doc/misc/eshell.texi (Input/Output): Fix typo.

; * INSTALL: Correct a recent change.

Debian stopped including the major version number in the emacs package
name after version 25, so there is no 'emacs27-dbg' package.
We may as well drop this clause altogether, since Debian stable has
version 26.

No need to merge to master (where this information is in etc/PROBLEMS
in any case).

; * lisp/emacs-lisp/benchmark.el (benchmark-run): Fix docstring

; * lib-src/make-fingerprint.c: Update commentary.

Reformat argument commentary in etags.c

* lib-src/etags.c (pfnote, consider_token, C_entries): Resurrect
original format of comments to function arguments.

Make the invocation of combine-change-calls in comment-region valid

This fixes bug #44581.  The problem was that whitespace outside of the (BEG
END) region was being deleted, and this made the invocation of
combine-change-calls with (BEG END) invalid.

* lisp/newcomment.el (comment-region-default): Amend the second argument to
combine-change-calls.

* lisp/progmodes/cc-langs.el (c-<>-notable-chars-re): Fix wrong '-' in regexp

; Update the expected result files in test/manual/etags.

Update the various INSTALL files

* nt/INSTALL.W64:
* nt/INSTALL:
* INSTALL: Update the installation information, in particular the
fact that HarfBuzz is now preferred as the shaping library.

Don't leave lock files after 'replace-buffer-contents'

* src/editfns.c (Freplace_buffer_contents): Unlock the buffer's
file if no changes have been made.  (Bug#44303)

(cherry picked from commit a5867ddfbd721568005175bf6c725f7834b21ea4)

Fix input method translation near read-only text

* lisp/international/quail.el (quail-input-method): Don't disable
input method when the character after point has the read-only
property.  Suggested by Evgeny Zajcev <lg.zevlg@gmail.com>
(Bug#44466)

* doc/emacs/mule.texi (Input Methods): Document that input methods
are inhibited in read-only text.

Fix display of truncated R2L lines on TTY frames

* src/xdisp.c (extend_face_to_end_of_line): Use a while-loop, not
a do-while loop, to avoid appending an extra glyph at the end of a
line that is one character shorter than the window-width.  This is
needed to fix display of reversed glyph rows that are almost as
wide as the window, because append_space_for_newline already added
one space glyph.

Avoid crashes when a reversed glyph row starts with a composition

* src/dispnew.c (build_frame_matrix_from_leaf_window): Add an
assertion to prevent us from overwriting non-char glyphs with the
vertical border glyph.
* src/xdisp.c (extend_face_to_end_of_line): Account for one glyph
possibly inserted by append_space_for_newline.  (Bug#44506)
Remove a kludgey correction for an off-by-one error in column
counting, which is no longer needed.

; * .gitignore: src/fingerprint.c not generated since 2019-04-09.

Update information about refcards

* admin/release-process (refcards):
* admin/make-tarball.txt (refcards): Update information about
generating refcards and required TeX/LaTeX packages.

Avoid crashes in the daemon due to user interaction

* src/minibuf.c (read_minibuf): Avoid crashes in the daemon if the
init file invokes some kind of minibuffer interaction, by not
updating the selected frame if it's the initial frame.
(Bug#44583)

Some minor changes to Tramp, do not merge with master

* lisp/net/tramp.el (tramp-handle-directory-files)
(tramp-handle-directory-files-and-attributes):
* lisp/net/tramp-adb.el
(tramp-adb-handle-directory-files-and-attributes):
* lisp/net/tramp-rclone.el (tramp-rclone-handle-directory-files):
* lisp/net/tramp-sh.el (tramp-sh-handle-directory-files-and-attributes):
* lisp/net/tramp-smb.el (tramp-smb-handle-directory-files): Add _COUNT.
Make the functions forward compatible.

* lisp/net/tramp-gvfs.el (tramp-gvfs-enabled):
Increase `max-specpdl-size' temporarily.

* test/lisp/net/tramp-tests.el (tramp--test-share-p): New defun.
(tramp-test05-expand-file-name-relative): Use it.

Add more doc-view requirements

* lisp/doc-view.el: Add more requirements.

Fix undefined behavior when fetching glyphs from the display vector.

You can trigger this rather obscure bug by enabling selective display
if the second glyph in its display vector has an invalid face.  For
example, evaluate

(set-display-table-slot standard-display-table
                        'selective-display [?A (?B . invalid)])

and then enable selective display.

* src/xdisp.c (next_element_from_display_vector): Check whether next
glyph code is valid before accessing it.

Fix pcase rx form snag with '?' and '??' (bug#44532)

This is a regression from Emacs 26.
Reported by Phillip Stephani.

* lisp/emacs-lisp/rx.el (rx--pcase-transform): Process ? and ?? correctly.
* test/lisp/emacs-lisp/rx-tests.el (rx-pcase): Add test case.

(cherry picked from commit 575b0681d926463960fc00d1e33decaa71d5c956)

Update the doc-view header line

Avoid breaking Arabic shaping in 'window-text-pixel-size'

* src/xdisp.c (CHAR_COMPOSED_P): If the bidi_p flag is not set,
pass -1 to composition_reseat_it, so that the shaping engine will
figure out the directionality of the text.  This is important,
e.g., when using move_it_* functions in some context that is not
redisplay, such as 'window-text-pixel-size'.  (Bug#44521)

doc-view.el comment clarification

* lisp/doc-view.el: Make the commentary mention that it's not
limited to a narrow range of file formats (bug#44504).

Update erc documentation about C-c C-b

* doc/misc/erc.texi (Keystroke Summary): C-c C-b runs
erc-switch-to-buffer, which is implemented in terms of
read-buffer (bug#44498).

Fix 'uudecode-decode-region-internal' in multibyte buffers

* lisp/mail/uudecode.el (uudecode-decode-region-internal): Fix
inserting the decoded string into a multibyte buffer.  Optimize by
working with characters, not strings.  (Bug#44411)

Copyright-paperwork-exempt: yes

Fix 'send-string-to-terminal' writing very long strings

* src/dispnew.c (Fsend_string_to_terminal): Prevent partial writes
by blocking SIGIO while 'fwrite' runs.  (Bug#44320)

* lisp/subr.el (read-char-from-minibuffer): Doc fix.  (Bug#44451)

Merge branch 'emacs-27' of git.savannah.gnu.org:/srv/git/emacs into emacs-27

Fix documentation of 'windmove-swap-states-default-keybindings'

* doc/emacs/windows.texi (Window Convenience): Fix description of
'windmove-swap-states-default-keybindings' and related index
entry.  (Bug#44441)

Split windows evenly when 'min-margins' parameter was set (Bug#44483)

* lisp/window.el (split-window): Make new window inherit any
'min-margins' parameter from WINDOW so that horizontal splits
reliably produce windows of same width (Bug#44483).

Handle Cairo errors in ftcrfont_open

* src/ftcrfont.c (ftcrfont_open): Handle Cairo errors (bug#41627).

(cherry picked from commit 954a4decfcc8e41084789516773b22d0adc11d91)

Backport: Fix exiting the finder-commentary buffer

Do not merge to master.

* lisp/finder.el (finder-exit): Fix exiting the finder-commentary
buffer.  (Bug#44384)
(finder-buffer): New defconst.
(finder-list-keywords): Use above new defconst.

; * lisp/international/mule.el (define-coding-system): Doc fix.

* src/w32fns.c (Fw32_register_hot_key): Doc fix.  (Bug#44456)

Prevent redisplay from moving point behind user's back

* src/bidi.c (bidi_at_paragraph_end, bidi_find_paragraph_start):
Bind inhibit-quit to a non-nil value around calls to
fast_looking_at, to prevent breaking out of redisplay_window,
which temporarily moves point in buffers shown in non-selected
windows.  (Bug#44448)

Document that the :match function for a widget takes an external value

* doc/misc/widget.texi (Basic Types): Document what an external value
is.  Document that a :match function expects the value to be in the
external format.  (Bug#8717)

Don't render XML declaration of an HTML document (bug#44348)

* lisp/net/eww.el (eww--preprocess-html): Prevent converting the
left angle bracket in the sequence "<?" to an HTML entity.

Recover the contents of the schemas.xml file

* etc/schema/schemas.xml: Recover the file, which was apparently
(mostly) removed by mistake by commit 165f738382 (bug#42851).

Copyright-paperwork-exempt: yes

; * src/xdisp.c (display_string): Fix a typo in a comment.

Improve indexing of check-declare

* doc/lispref/functions.texi (Declaring Functions): Improve indexing.

; * lisp/autoinsert.el (auto-insert-alist): Fix texinfo URL.

The old texinfo domain seems to no longer be controlled by the GNU
project, starting at least as early as 2012.  See also:
https://web.archive.org/web/20120410044746/http://www.texinfo.org/

; Auto-commit of loaddefs files.

* doc/lispref/commands.texi (Key Sequence Input): Fix indexing.

(cherry picked from commit 41c4f337c8f798d4700dcd13b73ad4ccdb3257eb)

Updating docs with all special window prefix keys.

* doc/lispref/commands.texi (Key Sequence Input): Add documentation for
missing special window areas.  Explicitly call out window or frame.

(cherry picked from commit a105db13e11fd15cc72804bf33672122d1c3f2e1)

Improve reproducibility of generated -pkg.el files

* lisp/emacs-lisp/package.el (package-generate-description-file):
Don't include the full name of the source file in the header,
since that varies non-reproducibly according to the build directory.
https://bugs.debian.org/972861
Note that elpa.gnu.org's admin/archive-contents.el does this by hand
and already only includes the nondirectory part.

Make sure pixel sizes are zero when setting window size for ptys.

* sysdep.c (set_window_size): Initialize data to zero to avoid
passing any garbage from the stack to ioctl.

Fix failure of 'emacs --daemon' on Cygwin

* src/emacs.c (DAEMON_MUST_EXEC): Define unconditionally on
Cygwin, not just if HAVE_NTGUI is defined.  This fixes the failure
of 'emacs --daemon' to start on the non-w32 Cygwin builds.
(Bug#44285)

CC Mode: Only recognize foo (*bar) as a function pointer when followed by (

* lisp/progmodes/cc-engine.el (c-forward-over-decl-or-cast-1): (after CASE 2)
test variables got-suffix-after-parens and at-decl-end before invoking
c-fdoc-shift-type-backward.

Fix NEWS entry for fix of Bug#44080

* src/buffer.c (syms_of_buffer) <fill-column>: Improve doc string.

Don't skip empty lines when fitting mini frame to buffer (Bug#44080)

* lisp/window.el (fit-mini-frame-to-buffer,
window--resize-mini-frame, fit-frame-to-buffer,
fit-frame-to-buffer-1): By default, fit a mini frame without skipping its
buffer's leading or trailing empty lines.
* src/frame.c (resize-mini-frames): Update doc-string.
* lisp/cus-start.el (resize-mini-frames): Update for customize.
* doc/lispref/minibuf.texi (resize-mini-frames): Update description.

; * etc/tutorials/TUTORIAL.de: Fix grammar (Bug#44246)

Improve documentation of display-fill-column-indicator

* lisp/display-fill-column-indicator.el
(display-fill-column-indicator-mode): Mention the globalized
version in the doc string.

* doc/emacs/display.texi (Displaying Boundaries): Improve and
clarify the documentation of display-fill-column-indicator.
Suggest using the minor mode as the primary means for turning the
feature on.

* src/xdisp.c (syms_of_xdisp) <display-fill-column-indicator>
<display-fill-column-indicator-character>: Doc fix.  (Bug#44226)

* INSTALL: Mention efaq.texi for installation of intlfonts.

Use WebKit sandboxing

* src/xwidget.c (Fmake_xwidget): Enable sandboxing if WebKit 2.26
or later.  Do this early, as required for sandboxing (Bug#43071).
Co-authored-by: Qiantan Hong <qhong@mit.edu>
Copyright-paperwork-exempt: yes

Fix tramp-sh-handle-make-process; don't merge with master

* lisp/net/tramp-sh.el (tramp-sh-handle-make-process): Accept nil
COMMAND.  (Bug#44151)

* test/lisp/net/tramp-tests.el (tramp-test29-start-file-process):
Extend test.

Merge branch 'emacs-27' of git.sv.gnu.org:/srv/git/emacs into emacs-27

Fix an error in tramp-sh-handle-make-process.  Dont' merge with master

* lisp/net/tramp-sh.el (tramp-sh-handle-make-process): Don't use heredoc
script whent the argument contains a string.

Recommend lexical-binding in Coding Conventions

* doc/lispref/tips.texi (Coding Conventions, Library Headers):
Recommend using lexical-binding.

Avoid rare crashes while producing line numbers

* src/xdisp.c (maybe_produce_line_number): Prevent freeing of
realized faces for as long as we are using lnum_face_id and
current_lnum_face_id for producing glyphs.  (Bug#44111)

Improve documentation of 'Info-hide-note-references' in info.texi

* doc/misc/info.texi (Help-Xref): Improve the wording.
(Emacs Info Variables): Update the documentation of
'Info-hide-note-references'.  (Bug#44043)

* admin/release-process: Add note to update files from upstream.

(cherry picked from commit 86dd9d12aa5a273da2efd4ce8c6e35ae343f1494)